Der Begriff Multimodalität weist darauf hin, dass Lerner die dargebotenen Informationen mit mehreren Sinnesmodalitäten wahrnehmen und verarbeiten (Issing, 1998). Typischerweise werden in multimodalen Lernumgebungen lediglich das visuelle und
auditive System zur Aufnahme der präsentierten Informationen eingesetzt. Auch hier ist mit der Bezeichnung Multimodalität
nicht die interne Codierung der aufgenommen Mitteilung gemeint.
Augen
Die meisten Sinneseindrücke, die durch die Außenwelt hervorgerufen werden und in unser Gedächtnis gelangen, werden durch unseren
Sehsinn vermittelt (Kandel, Schwartz und Jessell, 1995). Im Gegensatz zu einer Kamera stellt das Sehen einen aktiven (Konstruktions-)Prozess
dar, bei dem zweidimensionale Abbilder auf der Retina zu einer dreidimensionalen Wahrnehmung der Welt führen (Kandel et al.,
1995). Auch bei einzelnen Theorien zum multimedialen Lernen spielt der aktive Konstruktionsprozess nicht nur beim Sehen eine wichtige Rolle.
Ohren
Neben dem visuellen System ist vor allem das auditive System für die Informationsaufnahme im Kontext des Wissenserwerbs zuständig.
Im Vergleich zu den visuell vermittelten sind die auditiven Informationen in Form von Schallwellen flüchtiger Natur. Mehrere
multimediale Lerntheorien nehmen auf der Grundlage von Baddeleys (1992, 2002) Arbeitsgedächtnismodell an, dass visuelle und auditive Informationen in zwei unterschiedlichen Subsystemen des Arbeitsgedächtnisses verarbeitet werden.
Durch die Nutzung des auditiven Teilsystems, der sogenannten phonologischen Schleife, könne das visuelle Subsystem in vielen
Fällen entlastet und so die Lernleistung verbessert werden.
Weitere Sinnesmodalitäten
Andere Sinnessysteme wie zum Beispiel der Geschmackssinn oder der Tastsinn spielen beim E-Learning derzeit keine oder nur
eine untergeordnete Rolle. Text- und Bildinformationen werden eben in aller Regel visuell bzw. auditiv aufgenommen (die Blindenschrift von Braille stellt hier eine Ausnahme dar). Gleichwohl gibt es vereinzelt erste Bemühungen, auch diese Sinnesmodalitäten
in Theorien zum multimedialen Lernen zu berücksichtigen. Die kognitiv-affektive Theorie des Lernens mit Medien von Moreno und Mayer (Moreno, 2005; Moreno und Mayer, 2007) ist ein Beispiel hierfür.