Multimodal Language Department

Sprachen können nicht nur über Gesprochenes und Geschriebenes wahrgenommen werden, sondern auch über sichtbare Körperausdrücke (Hände, Körper und Gesicht). Alle gesprochenen Sprachen nutzen neben dem Gesprochenen auch Gebärden, und in Gehörlosen-Gemeinschaften können alle Aspekte der Sprache mithilfe des sichtbaren Körpers in der Gebärdensprache ausgedrückt werden. Der einzigartige Beitrag dieser sichtbaren Ausdrücke zu unserem Verständnis des menschlichen Sprachvermögens ist allerdings weniger erforscht. Das Multimodal Language Department hat sich zum Ziel gesetzt, zu verstehen, wie sichtbare Merkmale von Sprache zusammen mit Gesprochenem oder Gebärdensprache einen fundamentalen Aspekt der menschlichen Sprachfähigkeit bilden und so zu ihrem einzigartigen, flexiblen und anpassungsfähigen Charakter beitragen. Ziel der Abteilung ist es, Sprache und Linguistik als multimodale Phänomene darzustellen.

Zu diesem Zweck führen wir Feldforschungen durch, um herauszufinden, wie Gebärden in gesprochenen Sprachen mit unterschiedlichen sprachlichen Strukturen – etwa Wortstellung oder Prosodie -– sowie in verschiedenen Gebärdensprachen verwendet werden, um universelle und verschiedene Muster zu verstehen. Das Multimodal Language Department hat sich außerdem zum Ziel gesetzt, die Rolle von neuralen, kognitiven und linguistischen Verarbeitungsmechanismen und die Anforderungen von Sprachgebrauch bei Interaktionen und Sprachübermittlung (zum Beispiel Lerneinschränkungen) bei der Bildung der multimodalen Strukturen von Sprache zu verstehen. Das allgemeine Ziel ist es daher, die kognitiven und sozialen Grundlagen der menschlichen Sprachfähigkeit zu entschlüsseln, indem ihre multimodale und sprachübergreifende Diversität als fundamentales Gestaltungsmerkmal berücksichtigt wird.

Unsere Forscher*innen kombinieren mehrere Methoden wie zum Beispiel Korpus- und Computerlinguistik, experimentelle Methoden, maschinelles Lernen, KI und virtuelle Realität, um die Struktur, den Gebrauch, die Verarbeitung und die Übertragung multimodaler Sprache zu erforschen. Wir arbeiten mit zahlreichen Sprachbenutzerinnen und Sprachbenutzern verschiedener gesprochener – und  Gebärdensprachen auf der ganzen Welt sowie auch mit Einzelpersonen, die verschiedene Zugänge zur sensorischen Wahrnehmung haben, etwa gehörlose oder blinde Menschen, Menschen in verschiedenen Altersgruppen und Menschen mit Autismus-Spektrum-Störung.