Planung und Vorbereitung

Stichprobenumfangsplanung

Zu beachten ist, dass die angenommene Effektgröße einen zentralen Einfluss auf den Stichprobenumfang besitzt. Bei einem angenommenen mittleren Effekt (d = 0.50) nach Cohen (1988) würde sich die Versuchspersonenanzahl bereits auf 210 erhöhen, bei einem angenommenen kleinen Effekt (d = 0.20) gar auf 1302. Die Größe des Effekts ist in vielen (E-Learning) Untersuchungen jedoch im Vorfeld nur sehr schwer abzuschätzen und gleicht bisweilen einem Ratespiel. Neben einer Vorstudie können neuere statistische Ansätze (z.B. das sequentielle Testen, bei dem fortlaufend geprüft wird, ob der Stichprobenumfang für eine inferenzstatistische Entscheidung ausreicht) dieses Problem umgehen. Sie sind innerhalb der E-Learning Forschung allerdings nicht gängig.

Neben der Effektgröße besitzt auch die Art des Versuchsplans einen maßgeblichen Einfluss auf den benötigten Stichprobenumfang. Der Versuchsplan sollte in erster Linie in Abhängigkeit der zu beantwortenden Forschungsfrage ausgewählt werden. Nachrangig können jedoch folgende Empfehlungen zur Wahl des Designs und Aufstellung von Hypothesen beachtet werden, die einen positiven Einfluss auf den Stichprobenumfang besitzen:

• Versuchsplan einfach halten: Nach Möglichkeit sollte auf zu komplexe Versuchspläne mit mannigfaltigen unabhängigen Variablen verzichtet werden. Dies gilt besonders dann, wenn diese Variablen eine große Zahl an Faktorstufen besitzen.
• Untersuchung auf wenige Hypothesen beschränken: Aufgrund der durchzuführenden Adjustierung des a-Niveaus und dem damit einhergehenden Powerverlust sollten nur so wenige Hypothesen wie unbedingt erforderlich inferenzstatistisch getestet werden.
• Zweifachgestufte unabhängige Variablen hinzufügen: Die Hinzunahme von zweifachgestuften unabhängigen Variablen führt im univariaten Fall (d.h. bei einer abhängigen Variable) zumeist nur zu einem unbedeutenden Teststärkeverlust. Ihre Hinzunahme kann daher empfohlen werden, sofern eine solche Variable auch nach inhaltlichen Gesichtspunkten sinnvoll ist.
• Höhergestufte unabhängige Variablen nach Möglichkeit vermeiden: Bereits dreifachgestufte unabhängige Variablen belasten die Teststärke deutlich stärker als eine zweifachgestufte unabhängige Variable. Daher sollten eher zwei oder mehrere zweifachgestufte unabhängige Variablen in den Versuchsplan hinzugenommen werden als eine einzige drei- oder vierfachgestufte unabhängige Variable.
• Kovariaten verwenden: Kovariaten belasten die Power in aller Regel nur unerheblich und können daher problemlos in den Versuchsplan integriert werden. Dies gilt nur, sofern deren Messung nicht allzu viel Zeit veranschlagt (z.B. ist ein aufwendiger IQ-Test von drei Stunden für eine fünfminütige Untersuchung kaum empfehlenswert).
• Anzahl an abhängigen Variablen in Abhängigkeit der Anzahl an unabhängigen Variablen festlegen: Nach Teststärkegesichtspunkten ist – bei Verwendung der Prüfgröße Pillai-Bartlett's V – die Anzahl an abhängigen Variablen dann optimal, wenn sie der Anzahl an unabhängigen Variablen entspricht. Aufgrund der Alphafehlerkumulierung sollten mehrere abhängige Variablen mittels multivariater Verfahren (z.B. MANOVA) ausgewertet werden und nicht mittels vieler univariater Verfahren (z.B. ANOVAs). Allerdings ist bei diesen multivariaten Verfahren die Interpretation von zwei oder mehreren abhängigen Variablen oftmals schwierig. In der (E-Learning) Forschung wird die Interpretation nachträglich häufig doch einzig aufgrund univariater Analysen vorgenommen.

Die genannten Empfehlungen gelten für Versuchspläne ohne Messwiederholung, die in der Forschung zu E-Learning sehr häufig zum Einsatz gelangen.