Auswertung
Überblick
Die Datenauswertung stellt einen wichtigen Bestandteil einer (E-Learning) Untersuchung dar, über die man sich bereits im Vorfeld der Erhebung Gedanken machen sollte (vgl. Bortz und Döring, 2006). Nach Eingabe und Aufbereitung des Datenmaterials sind die Ergebnisse zu visualisieren und die aufgestellten Hypothesen zu überprüfen. Für sämtliche Ergebnisse sollten standardisierte Effektgrößen berechnet und mitgeteilt werden. Abschließend werden ausgewählte statistische Verfahren zur Berücksichtigung von Drittvariablen bei der Datenauswertung einer E-Learning Studie erörtert.
Dateneingabe und Datenaufbereitung
Vor der Auswertung müssen die Daten zunächst in eine Matrix überführt werden. Diese Matrix sollte zeilenweise die untersuchten Versuchspersonen enthalten, die Variablen werden hingegen spaltenweise abgetragen. Zur besseren Zuordnung der Probanden bietet sich die Vergabe einer Versuchspersonennummer in der ersten Spalte an. Die Daten aus E-Learning Untersuchungen stehen häufig bereits in elektronischer Form zur Verfügung und müssen nicht mehr per Hand eingegeben werden. Sofern man Fragebögen in Papierform eingesetzt hat, sind die Ergebnisse jeder Versuchsperson einzugeben. Im Vorfeld sollte jeder Fragebogen mit der entsprechenden Versuchspersonennummer nummeriert werden, um eine leichtere Zuordnung zu gewährleisten.
Empfehlungen zur Dateneingabe und Datenaufbereitung
Für den Aufbau der Matrix und die Überführung der Daten in diese Matrix können folgende Empfehlungen gegeben werden (vgl. Bühl, 2008):
- Prägnante Variablenbezeichnungen verwenden: Mittlerweile sind die Variablennamen in Statistikprogrammen wie z.B. SPSS meist nicht mehr auf acht Zeichen begrenzt. Insofern können inhaltlich aussagekräftige Bezeichnungen verwendet werden. Trotzdem sollten diese Namen möglichst kurz sein, um die Übersichtlichkeit der Matrix zu wahren. Sofern das Statistikprogramm zusätzliche Variablenbeschreibungen anbietet, sollten diese für ausführlichere Darstellungen der Variablen genutzt werden.
- Datenmatrix übersichtlich ordnen: Die Datenmatrix selbst sollte eine "innere Ordnung" aufweisen. Beispielsweise bietet es sich an, Einzelitems zu einem bestimmten Konstrukt (z.B. das Vorwissen des Probanden) in unmittelbarer räumlicher Nähe zu gruppieren. Insgesamt habe ich mit folgender Variablenreihenfolge gute Erfahrungen gemacht: Versuchspersonennummer, unabhängige Variablen, abhängige Variablen (nur Gesamtleistungen), relevante Drittvariablen (nur Gesamtwerte), Einzelitems der abhängigen Variablen, Einzelitems sämtlicher Drittvariablen sowie sonstige Variablen.
- Codierungen einheitlich festlegen: Die in der Untersuchung genutzten Variablenausprägungen können wie zum Beispiel beim Alter der Versuchsperson zum Teil unmittelbar übernommen werden. Bei einigen Variablen (z.B. beim Geschlecht des Probanden) ist jedoch eine Umkodierung erforderlich. Derartige Transformationen sollten konsistent vollzogen werden. Beispielsweise bietet es sich an, bei Ja/Nein-Fragen einheitlich für "Ja" durchgängig eine bestimmte Zahl zu verwenden und für "Nein" durchgängig eine andere. Diese Zuordnungen sollten in den entsprechenden Wertelabels vermerkt werden, sofern das Statistikprogramm dies anbietet.
- Eingegebene Daten überprüfen: Im Anschluss an die Eingabe und vor der eigentlichen Auswertung sollte man die Daten auf Eingabefehler überprüfen. Dies kann unter anderem durch Ermittlung deskriptivstatistischer Kennwerte erfolgen. Zum Beispiel kann man die Minimal- und Maximalwerte einer Variablen ermitteln und diese mit den zulässigen Grenzen vergleichen. Auch die Prüfung auf (logische) Unstimmigkeiten ist sinnvoll (z.B. ein Alter von 20 Jahren und eine Semesterzahl von 12).
- Umgang mit fehlenden Daten: Eine Herausforderung bei der Datenaufbereitung stellen fehlende Werte (missing data bzw. missing values) dar. Für den Umgang mit diesen Daten stehen mehrere Möglichkeiten zur Verfügung. Vor allem moderne Verfahren, wie etwa Maximum Likelihood Schätzungen oder multiple Imputationsverfahren, sind im Vergleich zu traditionellen Ansätzen (z.B. einfaches Löschen oder aber Ersetzen durch den Mittelwert) mit einer Reihe von statistischen Vorteilen verbunden. Sie kommen aber in der pädagogischen Forschung bisher nur selten zum Einsatz (z.B. Peugh und Enders, 2004).