Auswertung
Hypothesenüberprüfung
Nur wenige Hypothesen testen
Die Überprüfung der aufgestellten Hypothesen ist ein zentraler Bestandteil der Datenauswertung (Bortz und Döring, 2006). In aller Regel sollten in einer einzelnen empirischen Untersuchung nur wenige Forschungsfragen mit Hilfe eines überschaubaren Forschungsdesigns statistisch getestet werden. Eine Überprüfung zu vieler Hypothesen führt zu einem zeitlichen Mehraufwand, der unter anderem durch eine größere Anzahl an benötigten Versuchsteilnehmern und/oder durch eine längere Untersuchungszeit der einzelnen Versuchspersonen verursacht wird. Zudem verliert die spätere Ergebnisdarstellung häufig an Übersichtlichkeit.
Einfache statistische Verfahren nutzen
Bei der inferenzstatistischen Hypothesenüberprüfung sollte meiner Meinung nach auf einfache und gängige statistische Verfahren zurückgegriffen werden, mit denen die Forschungsfragen so eindeutig wie möglich zu beantworten sind. Häufig gelangen in aktuellen Artikeln zum Thema E-Learning Varianzanalysen zum Einsatz, mit deren Hilfe die aufgestellten Hypothesen getestet werden. Der Einsatz neuerer und vielfach noch unbekannter statistischer Verfahren kann die spätere Veröffentlichung der empirischen Arbeit erschweren. Andererseits können mit diesen Verfahren interessante und komplexe Zusammenhänge im Datensatz ermittelt werden, die durch traditionelle Analysemethoden nicht aufdeckbar sind. Um beiden Gesichtspunkten gerecht zu werden, kann es sich anbieten, auf einfache statistische Verfahren bei der Überprüfung von Hypothesen zurückzugreifen, sofern diese die Forschungsfrage beantworten können, während der Einsatz neuerer statistischer Verfahren vornehmlich auf die Darstellung weiterer Befunde beschränkt bleiben sollte. Diese weiteren Befunde können zum Beispiel den Einbezug von zusätzlichen Drittvariablen beinhalten. Sowohl bei der Überprüfung der Hypothesen als auch bei der Beschreibung weiterer Befunde sollten in jedem Fall Angaben zur Effektgröße bereitgestellt werden.
Relevante abhängige Variablen einbeziehen
Die Testung der Hypothesen sollte sämtliche abhängige Variablen enthalten, die in den Hypothesen aufgeführt worden sind. Dabei sollten diese zunächst einer gemeinsamen Analyse unterworfen werden. Wird beispielsweise ein Effekt auf die Behaltens- und Verständnisleistung als abhängige Variablen postuliert, so sollten diese beiden Variablen zunächst gemeinsam in die Datenauswertung einfließen. Dies könnte beispielsweise mit Hilfe einer multivariaten Varianzanalyse (MANOVA) bzw. mit Hilfe einer kanonischen Korrelation erfolgen. Die gemeinsame Betrachtung aller abhängigen Variablen verhindert im Vergleich zu mehreren univariaten Analysen (z.B. mehreren univariaten Varianzanalysen) eine Kumulierung des Alphafehlers. Jedoch ist die Interpretation von zwei oder mehreren abhängigen Variablen oftmals schwierig. Beispielsweise ist bei einem signifikanten Ergebnis auf die Variablen Behalten und Verständnis unklar, ob sich der Effekt auf beide oder nur eine abhängige Variable ausgewirkt hat. In der (E-Learning) Forschung werden daher häufig sofern die multivariate Gesamtanalyse signifikant war nachträglich entsprechende univariate Analysen durchgeführt, um eine bessere Interpretation der Ergebnisse zu gewährleisten.
Inferenzstatistische Voraussetzungen überprüfen
Bevor eine aufgestellte Hypothese inferenzstatistisch getestet werden kann, sollten zunächst die inferenzstatistischen Voraussetzungen des gewünschten statistischen Verfahrens überprüft werden. Beispielhaft seien hier die Voraussetzungen für eine multivariate Varianzanalyse ohne Messwiederholung aufgeführt (vgl. Bortz, 2005; Stevens, 2001), die in der Forschung zum Thema E-Learning des Öfteren anzutreffen ist:
- Intervallskalenniveau der abhängigen Variablen: Hiermit ist gemeint, dass sämtliche abhängige Variablen äquidistante (gleichabständige) Intervalle vorweisen müssen. Äquidistanz der Intervalle zwei bis vier und sieben bis neun läge beispielsweise vor, wenn dieser gleichgroße Zahlenabstand von zwei auch in der Realität einem gleichgroßen Abstand entspräche.
- Unabhängigkeit der Fehlerkomponenten von den Treatment-Effekten: Die Beeinflussung eines Messwertes durch Fehlereffekte (Störvariablen) sollte unabhängig davon sein, wie die übrigen Messwerte durch diese Fehlereffekte beeinflusst werden.
- Multivariate Normalverteilung: Die abhängigen Variablen sind in der Population für jede einzelne Bedingungskombination multivariat normalverteilt.
- Homogenität der Varianz-Kovarianz-Matrizen: Diese Voraussetzung bezieht sich auf die Gleichartigkeit der beobachteten Varianz-Kovarianz-Matrizen der einzelnen Faktorstufenkombinationen. Sie wird auch als Homoskedastizität bezeichnet.