Multimodal Language Department

Talen kunnen niet alleen worden uitgedrukt en waargenomen door middel van spraak of geschreven tekst, maar ook door zichtbare lichaamsuitdrukkingen (handen, lichaam en gezicht). Alle gesproken talen gebruiken naast spraak ook gebaren, en in dovengemeenschappen kunnen alle aspecten van taal in gebarentaal worden uitgedrukt via het zichtbare lichaam. Over de unieke bijdrage van dergelijke zichtbare uitingen aan ons begrip van het menselijke taalvermogen is echter minder bekend. De afdeling Multimodale Taalkunde streeft ernaar inzicht te krijgen in hoe visuele kenmerken van taal, naast spraak of gebarentalen, een fundamenteel aspect vormen van het menselijk taalvermogen, en bijdragen tot diens unieke flexibele en adaptieve karakter. De afdeling streeft ernaar de opvatting van taal en linguïstiek als multimodale fenomenen te conventionaliseren.

Om dit te bereiken verrichten we veldwerk naar het gebruik van gebaren in gesproken talen met verschillende linguïstische structuren - zoals woordvolgorde of prosodie - en in verschillende gebarentalen, om universele en uiteenlopende patronen te doorgronden. De afdeling Multimodale Taalkunde streeft er ook naar inzicht te krijgen in de rol van neurale, cognitieve en linguïstische verwerkingsmechanismen, vereisten van taalgebruik in interactie en taaloverdracht (bijvoorbeeld leerbeperkingen) bij het vormgeven van multimodale structuren van taal. Het algemene doel is dan ook de cognitieve en sociale grondslagen van het menselijk taalvermogen te ontrafelen, door de multimodale en crosslinguïstische diversiteit ervan als een fundamenteel ontwerpkenmerk te beschouwen.

Onze onderzoekers combineren verschillende methoden, zoals corpus- en computationele taalkunde, experimentele methoden, machinaal leren, AI en virtuele realiteit, om multimodale taalstructuur, gebruik, verwerking en overdracht te onderzoeken. We werken met verschillende taalgebruikers van diverse gebarentalen en gesproken talen over de hele wereld en met individuen die op een andere manier toegang hebben tot zintuiglijke ervaring, zoals dove en blinde taalgebruikers, mensen in verschillende leeftijdsgroepen, en mensen met een stoornis in het autistisch spectrum.