Planung und Vorbereitung
Versuchsplan und Variablen
Behaltens- und Verständnisleistungen
Bei der Untersuchung multimedialer Lernumgebungen wird zur Messung der Lernwirksamkeit oftmals zwischen Behaltens- und Verstehensleistungen der Lernenden unterschieden. Gelegentlich wird die Verständnisleistung in "transfernahe" und "transferferne" Leistungen unterteilt (z.B. Rourke und Sweller, 2009). In aktuellen Publikationen (z.B. Van Merriënboer und Sluijsmans, 2009) wird bisweilen eine noch detailliertere Aufschlüsselung der Transferleistungen gefordert. Nicht immer erfolgt eine klare, definitorische Trennung zwischen Behaltens- und Verständnisleistungen (z.B. Mayer et al., 2001). In Anlehnung an Bloom (z.B. Bloom und Krathwohl, 1956; Bloom, Madaus, und Hastings, 1981) und Mayer (2005b) werden Behalten und Verstehen wie folgt voneinander abgegrenzt:
- Behaltensleistung: Hierunter soll die Leistung verstanden werden, Informationen zu speichern und zu einem späteren Zeitpunkt wieder abzurufen bzw. wieder zu erkennen. Erfasst werden kann diese Fähigkeit unter anderem durch die Prüfung, ob die Lernenden Faktenwissen wiederholen, auflisten, benennen, wieder erkennen und reproduzieren können.
- Verständnisleistung: Die Verständnisleistung bezieht sich darauf, die Bedeutung der gespeicherten Informationen zu erfassen und diese in neuen Kontexten einsetzen zu können. In einem Transfertest kann beispielsweise geprüft werden, ob die Versuchsteilnehmer in der Lage sind, Vorhersagen über zukünftige und/oder unbekannte Ereignisse zu treffen, ihr Wissen in neuen Kontexten anzuwenden und Schlussfolgerungen aus den präsentierten Informationen zu ziehen (vgl. G. Cooper und Sweller, 1987).
Trotz klarer Abgrenzung der beiden Konstrukte hängen diese miteinander zusammen. Verständnis kann nur dann in Erscheinung treten, wenn Informationen zuvor gespeichert worden sind, d.h. Behalten wird für die Verständnisleistung vorausgesetzt. Diese Konfundierung erschwert die getrennte Messung der beiden Variablen. In diesem Zusammenhang weist Mayer (2008) darauf hin, dass die Ausarbeitung geeigneter Lernfragen die anspruchsvollste und schwierigste Tätigkeit im Rahmen eines pädagogischen Forschungsprojektes sei. Des Weiteren unterscheiden sich die angenommenen intrapsychischen Prozesse, die für das Behalten und Verstehen von elektronischen Lernmaterialien notwendig sind, in den einzelnen E-Learning Theorien.
Cronbachs a-Werte
In zahlreichen E-Learning Artikeln finden sich zu Behaltens- und Verständnisfragen Cronbachs a-Werte (Cronbach, 1951). Diese Kennwerte sollen sofern eine bestimmte Schwelle überschritten wird (gewöhnlich über .70, siehe z.B. Schmitt, 1996) die Unidimensionalität (Eindimensionalität) und Reliabilität (Zuverlässigkeit) der Messung belegen. Dies ist einerseits problematisch, da man Behalten und Verständnis nicht als eindimensionale Konstrukte betrachten muss. Ebenso könnte man annehmen, dass sich das Verständnis für einen dargebotenen Lerninhalt in einzelne Verständnisdimensionen unterteilen lässt (vgl. Bloom und Krathwohl, 1956; Bloom et al., 1981). Andererseits ist der Cronbachs a-Kennwert als Nachweis für Unidimensionalität ungeeignet und auch in anderer Hinsicht methodisch zu kritisieren (z.B. Schmitt, 1996). Seine Höhe ist beispielsweise in starkem Maße abhängig von der Itemzahl des Tests. Je mehr Fragen der Lerntest besitzt, desto höhere Cronbachs a-Werte werden erreicht unabhängig von der Dimensionalität und Reliabilität des Fragebogens. Insofern rate ich eher davon ab, Cronbachs a-Werte als Nachweis für die Unidimensionalität und Reliabilität der selbst konstruierten Fragebögen anzugeben.
Drittvariablen
Drittvariablen stellen einen Oberbegriff für alle Variablen dar, die weder als unabhängige noch als abhängige Variablen zu bezeichnen sind. Sie können beispielsweise als Moderatorvariablen in Erscheinung treten und somit den Zusammenhang zwischen der Prädiktorvariable und dem Kriterium beeinflussen (moderieren). Innerhalb der aktuellen E-Learning Forschung werden vor allem Lernereigenschaften wie Lernerexpertise oder das räumliche Vorstellungsvermögen als Drittvariablen herangezogen.
Lernzeit
Neben verschiedenen Lernereigenschaften wird gelegentlich auch die mit den Versuchsmaterialien verbrachte Zeit als Drittvariable berücksichtigt. Dabei gehen die Meinungen auseinander, ob die Lernzeit für alle Versuchspersonen im Vorfeld beschränkt werden (z.B. Mayer und Johnson, 2008) oder die nicht fixierte Lernzeit als Drittvariable in die statistische Analyse einfließen sollte. Eine Festlegung der Lernzeit auf einen sehr kurzen Zeitraum kann zu hohen Effektstärken der E-Learning Studie führen, wie dies in zahlreichen Untersuchungen von Mayer der Fall ist. Andererseits wird durch eine fehlende Zeitbegrenzung der Forderung Rechnung getragen, die E-Learning Studie stärker an die alltäglichen Erfahrungen der Lernenden anzugleichen (z.B. Brody, 1981; Lewalter, 1997).