Potenzialfeld „Multimodal Communication“

Kommunikation ist grundsätzlich multimodal. In gesprochenen Sprachen ergänzen visuelle und andere Modalitäten die gesprochene Sprache, etwa durch manuelle und mimische Gesten. Gebärdensprachen — Sprachen mit einem vollständig grammatikalisierten Kommunikationssystem im visuellen Bereich — können ebenfalls mehrere Ausdruckskanäle gleichzeitig nutzen, darunter manuelle Gebärden, Mimik, Körperhaltung und Kopfbewegungen. Schriftsprache integriert häufig visuelle Elemente wie Emojis oder Bilder, und auch in der Tierkommunikation findet sich Multimodalität, etwa wenn vokale und manuelle Signale miteinander kombiniert werden.

Innerhalb der theoretischen Linguistik ist Multimodalität ein vergleichsweise junges Forschungsfeld, das solche Phänomene in formale linguistische Theorien integrieren möchte. Ein zentrales Ziel besteht darin, die formalen Bestandteile visueller Kommunikation zu erfassen, indem bedeutungstragende Elemente in den kontinuierlichen Signalen von Körper-, Kopf-, Arm- und Handbewegungen identifiziert werden. Eine besondere Herausforderung liegt in der Analyse ikonischer und depiktiver Elemente — also vokaler oder visueller Ausdrücke, deren Form Aspekte ihrer Bedeutung widerspiegelt, wie etwa sprachbegleitende Gesten —, die sich bislang nur schwer in bestehende formale Modelle integrieren lassen.

Das Potenzialfeld Multimodal Communication verfolgt das Ziel, die Forschung zu Multimodalität an der Goethe-Universität und innerhalb der Rhein-Main-Universitäten (RMU) zu stärken, indem Räume für strukturierten Austausch über disziplinäre Grenzen hinweg geschaffen werden. Das Potenzialfeld ist dabei bewusst offen und explorativ angelegt und soll Forschende ins Gespräch bringen, deren Arbeit sich auf unterschiedliche Weise mit Multimodalität beschäftigt; etwa in der Linguistik, Literaturwissenschaft, Theater- und Performanceforschung, Anthropologie, Film- und Medienwissenschaft, Kulturwissenschaft, Geschichtswissenschaft, Philosophie, Psychologie und Neurokognition, Musikwissenschaft, Informatik, Illustration und verwandten Bereichen.