Durchführung
Online-Fragebögen
Nachteile
Neben diesen Vorteilen sind jedoch auch Nachteile bei der Verwendung von Online-Fragebögen zu beachten:
- Gefahr der Mehrfachteilnahme: Bei Online-Befragungen, die nicht im Rahmen klassischer Laboruntersuchungen durchgeführt werden, besteht grundsätzlich die Gefahr der Mehrfachteilnahme von Probanden (Beller, 2008). Vermieden werden kann dies durch einen nur einmal verwendbaren Link zum Fragebogen bzw. zur Untersuchung oder durch Vergabe eines eindeutigen Passworts. Die vollständige Anonymität ist somit jedoch nicht mehr gewährleistet. Andere Maßnahmen wie der Vergleich der IP-Adressen, die Verwendung von Cookies oder die Überprüfung der Antworten auf Zeitkonsistenz können die Mehrfachteilnahme lediglich einschränken, diese jedoch nicht gänzlich unterbinden (Vadillo und Matute, 2009).
- Fragwürdige Stichprobenrepräsentativität: Hinsichtlich der Stichprobenrepräsentativität ist zu kritisieren, dass Probanden über einen Internetzugang verfügen müssen, um an der Online-Befragung zu partizipieren. Zudem entscheiden sie in aller Regel durch eigene Auswahl (Selbstselektion) darüber, ob sie an der Studie teilnehmen. Verwendet man ein Online-Panel, d.h. einen "Pool von registrierten Personen, welche sich bereit erklärt haben, wiederholt an marktforscherischen oder wissenschaftlichen Online-Untersuchungen teilzunehmen" (Göritz, Reinhold, und Batinic, 2000, S. 62), kann ebenfalls das Problem der Häufung bestimmter Probandengruppen bestehen (Batinic, 2004). Somit liegt keine Zufallsstichprobe mehr vor, so dass strenggenommen keine inferenzstatistischen Auswertungen vorgenommen werden können. Allerdings trifft dieser Kritikpunkt vermutlich noch in erheblich stärkerem Maße für die meisten herkömmlichen Untersuchungen im universitären Kontext mit einer hochselektiven Studierendenstichprobe zu (Sarris und Reiß, 2005).
- Problematische Vergleichbarkeit: Online-Befragungen werden von Probanden zu unterschiedlichen Zeiten und an verschiedenen Orten durchgeführt. Beispielsweise könnte eine Person an einer Befragung in konzentrierter Atomsphäre, mit ausreichender Zeit und ohne Ablenkung teilnehmen. Eine andere Person füllt den elektronischen Fragebogen vielleicht in einem lauten Bahnhof via Notebook und WLAN- oder UMTS-Verbindung aus, um die Wartezeit auf die nächste Regionalbahn zu nutzen. Auch unterschiedliche Hardware (z.B. Monitorgröße) und Software (z.B. Webbrowser) verhindern, dass Probanden die Online-Untersuchung unter den gleichen Bedingungen bearbeiten. Trotz dieser Probleme finden sich beim Vergleich von Labor- und Internet-Untersuchungen häufig ähnliche Ergebnisse für die beiden Erhebungsverfahren (Vadillo und Matute, 2009).
- Hohe Abbrecherquote: Häufig ist die Abbrecherquote in Online-Untersuchungen deutlich größer als in Studien, die an einem bestimmten Ort im Rahmen von Einzel- oder Gruppenexperimenten durchgeführt werden (vgl. Batinic, 2004). Dies kann den Vorteil der schnellen Datenerhebung erheblich relativieren. Zudem kommen die Ausfälle nicht zufällig zustande. Durch diese selektiven Abbrüche ist auch hier das Vorliegen einer Zufallsstichprobe gefährdet. Maßnahmen, die den Abbruch an einer Online-Studie verhindern können, werden hier erörtert.