Planung und Vorbereitung
Versuchsplan und Variablen
Versuchsplan
Nach Festlegung des generellen Untersuchungsansatzes und Aufstellung der zu überprüfenden Hypothesen kann der Versuchsplan (bzw. das Design) ausgearbeitet werden. Ähnlich wie bei der Untersuchungsmethode ist kein Design per se anderen Versuchsplänen überlegen, sondern die Wahl hängt primär von der gewählten Forschungsfrage und den hierzu aufgestellten Hypothesen ab. Diese sollten mit Hilfe des Versuchplans so eindeutig wie möglich überprüfbar sein.
Einfachheit
Des Weiteren sollte das Forschungsdesign so einfach wie möglich gehalten werden (Mayer, 2008). Unnötig komplizierte Versuchspläne erschweren die Beantwortung der Forschungsfrage und erfordern einen zeitlichen Mehraufwand. Dieser entsteht durch eine größere Anzahl an benötigten Versuchsteilnehmern und/oder durch längere Untersuchungszeiten der einzelnen Versuchspersonen. Versuchspläne werden vor allem durch eine zu große Variablenanzahl (unnötig) kompliziert. Bezüglich der Variablen wird zwischen unabhängigen und abhängigen Variablen sowie weiteren Drittvariablen unterschieden.
Unabhängige Variablen
Unabhängige Variablen bzw. Prädiktorvariablen stellen Variablen dar, mit deren Hilfe eine abhängige Variable vorhergesagt werden soll. Während die unabhängige Variable im Rahmen der Varianzanalyse vom Versuchsleiter gezielt verändert wird, ist dies bei Prädiktorvariablen im Kontext der Regressionsanalyse nicht der Fall. Gleichwohl sind Varianz- und Regressionsanalyse bei der Datenauswertung mathematisch identisch.
In einem E-Learning Experiment könnte beispielsweise ein Text einzelnen Probanden mit, und anderen ohne Signalisierungen dargeboten und der Lernerfolg gemessen werden. In diesem Fall läge eine zweifachgestufte unabhängige Variable vor, die den Lernerfolg als abhängige Variable vorhersagen soll.
Typischerweise werden in E-Learning Experimenten Versuchsmaterialien in mehreren Versionen (z.B. mit und ohne Signalisierungen) konzipiert und die dort erreichten Lernleistungen sowie andere abhängige Variablen miteinander verglichen. Eine Versuchsperson erhält dabei fast immer nur eine einzige Version, da eine mehrfache Darbietung nahezu identischer Lernmaterialien mit ungewünschten Lerneffekten verbunden wäre. Um derartige Störeinflüsse zu vermeiden, wird somit auf eine Messwiederholung dieser Variablen verzichtet.
Neben den Versuchsmaterialien können auch Lernervariablen als Prädiktorvariablen fungieren. Zum Beispiel könnte die Intelligenz der Probanden als vorhersagende Variable für den Lernerfolg dienen. In aller Regel beschränken sich die meisten Studien zum Thema E-Learning jedoch auf die Expertise der Lernenden als weitere Prädiktorvariable.
Abhängige Variablen
Abhängige Variablen bzw. Kriteriumsvariablen sind Variablen, deren Werte mit Hilfe der unabhängigen Variablen vorhergesagt werden sollen. Einige Studien zum Thema E-Learning verwenden als abhängige Variablen beispielsweise das Bewertungsurteil der Probanden über die dargebotenen Lernmaterialien. Dieses Urteil kann wertvolle Aufschlüsse darüber geben, wie Lernende die Materialien wahrgenommen haben. Als Kriterium zur Prüfung auf Lernförderlichkeit ist dieses Urteil hingegen ungeeignet, da solche subjektiven Bewertungen häufig nur sehr gering mit dem objektiven Lernerfolg korrelieren (z.B. P. A. Kirschner et al., 2006; Krause, Stark, und Mandl, 2009; Maki, 1998; Rey, 2008b). Ein Lernwirksamkeitsnachweis ist daher durch Variablen zu erbringen, welche die tatsächliche Lernleistung der Versuchsteilnehmer erfassen.