Berichterstellung
Methode
Überblick
Im Abschnitt Methode wird die durchgeführte Untersuchung beschrieben. Dazu erfolgt eine Darstellung des Versuchsplans, der verwendeten Materialien und Geräte sowie des Versuchsablaufs selbst. Zudem sind die eingesetzten Fragebögen und die Stichprobe vorzustellen. Die durchgeführte Datenaggregation wird im Methodenteil nur kurz skizziert.
Versuchsdesign
Die Beschreibung des Untersuchungsdesigns liefert dem Leser einen Überblick über die gesamte Studie und wird daher zumeist an den Anfang des Methodenteils gestellt (Bortz und Döring, 2006). Gelegentlich dient die Darstellung des Versuchsdesigns auch als zusammenfassende Übersicht und markiert den Schluss des Methodenabschnitts. Das Untersuchungsdesign charakterisiert zum einen den grundsätzlichen Untersuchungsansatz. Beispielsweise wird angegeben, ob ein korrelatives, quasi-experimentelles oder experimentelles Design zum Einsatz kam oder ob die Daten im Labor oder Feld erhoben wurden. Zum anderen werden Anzahl und Art der unabhängigen, abhängigen und berücksichtigten Drittvariablen der Studie aufgeführt. Beispielsweise stellt man durch die Angabe "2x2-faktorieller, bivariater Zufallsversuchsplan" klar, dass zwei, jeweils zweifachgestufte unabhängige Variablen verwendet wurden. Eine unabhängige Variable könnte zwei unterschiedliche Lernumgebungen (A versus B) beinhalten, während sich der zweite Faktor auf zwei verschiedene Gestaltungsformate (mit versus ohne Signalisierungen) beziehen könnte. Da es sich um einen Zufallsversuchsplan handelt, wurde jede Versuchsperson zufällig (randomisiert) auf eine der insgesamt vier (2x2) verschiedenen Bedingungen zugewiesen. Als abhängige Variablen wurden vielleicht die Behaltens- und Verständnisleistungen der Probanden erfasst. Folglich resultiert ein bivariater (d.h. zwei abhängige Variablen) Versuchsplan. Bem (2003) und Beller (2008) empfehlen, inhaltlich aussagekräftige Begriffe und Abkürzungen bei der Benennung von Gruppen und Variablen zu verwenden anstelle inhaltlich leerer Bezeichnungen (z.B. Gruppe A).
Stichprobe
Nach Bortz und Döring (2006) erfolgt die Stichprobenbeschreibung nicht im Methodenteil, sondern erst zu Beginn des Ergebnisteils. Dies ist zumindest für die mir bekannten E-Learning Studien völlig untypisch. Die Darstellung der Stichprobe beschränkt sich in den meisten E-Learning Untersuchungen auf gängige Angaben wie die Anzahl an Versuchsteilnehmern, die Art der Rekrutierung sowie die Geschlechts- und Altersverteilung. Darüber hinaus wird zumeist kurz auf die inhaltliche Expertise der Probanden eingegangen, da sich diese in vielen Studien als bedeutsame Moderatorvariable erwiesen hat. Andere Lernereigenschaften wie etwa das räumliche Vorstellungsvermögen werden in der Regel nur dann erfasst und in der Stichprobenbeschreibung aufgegriffen, wenn zu diesen spezifische Hypothesen aufgestellt wurden.
Material
Im Methodenteil sind die Untersuchungsmaterialien (z.B. Lernmaterialien) zu beschreiben. Durch die Darstellung der Lernmaterialien sollte der Leser zumindest in groben Zügen verstehen können, was inhaltlich vermittelt wurde. Ebenfalls aufgeführt werden Messgeräte (z.B. Eyetracker), eingesetzte Fragebögen (z.B. NASA-TLX) und Tests (z.B. IQ-Tests). Bei selbstkonstruierten Fragebögen werden in der E-Learning Literatur zumeist ein bis zwei Fragen für den Leser beispielhaft abgedruckt. Häufig werden zu den verwendeten Fragebögen (z.B. zur Messung der Lernleistung) Cronbachs a-Werte angegeben (zur Problematik dieses Kennwertes siehe hier).
Versuchsablauf
Der Versuchsablauf stellt die einzelnen Schritte der Studie dar. Dieser Abschnitt enthält Angaben über den Ort und die Dauer der Datenerhebung sowie den genauen Ablauf der Untersuchung. Zahlreiche E-Learning Studien besitzen einen ähnlichen Untersuchungsablauf. Zunächst wird der Teilnehmer durch den Versuchsleiter oder speziell bei Online-Erhebungen das Programm begrüßt und über den gesamten Versuchsablauf informiert. Weitere einleitende Hinweise schließen sich an. In einigen Studien erfolgt sodann ein Vortest, um die Expertise der Lernenden zu erfassen. Danach bearbeitet der Teilnehmer die (interaktiven) Lernmaterialien und beantwortet die im Anschluss gestellten Lernfragen sowie weitere Fragen zu den Untersuchungsmaterialien (z.B. subjektive Bewertungen der Lernmaterialien, siehe auch hier). Demographische Angaben wie Geschlecht und Alter sowie Persönlichkeitsfragebögen und Tests (z.B. IQ-Tests) werden typischerweise am Ende oder alternativ zu Beginn der Studie präsentiert. Eine angemessene Aufklärung der Probanden über den Versuch komplettiert die Untersuchung.
Datenaggregation
Zur Datenaggregation finden sich in den meisten Artikeln zum Thema E-Learning nur sehr kurze Ausführungen. Sinnvoll sind unter anderem Angaben zur Eliminierung von Ausreißern. Auf die Angabe der eingesetzten Statistiksoftware bei der Datenauswertung wird hingegen in der Regel verzichtet. Gelegentlich wird der kurze Abschnitt zur Datenaggregation auch an den Beginn des Ergebnisteils gestellt.
Bem (2003) regt hinsichtlich des Methodenteils an, dem Leser die gesamte Untersuchung aus der Sichtweise eines Versuchsteilnehmers vorzustellen. Zudem empfiehlt er, den Methodenabschnitt mit einer kurzen Zusammenfassung der Vorgehensweise abzuschließen.