Inproceedings,
Unifikationsbasierte Sprach-Gesten Fusion für Multimodale VR/AR-Schnittstellen
Virtuelle und Erweiterte Realität, 7. Workshop of the GI special interest group VR/AR, page 145--156. Shaker Verlag, (2010)
Abstract
Dieser Artikel beschreibt ein System zur Umsetzung multimodaler Interaktionen in Systemen der Virtual, Augmented und Mixed Reality. Die Bewegungen eines Benutzers werden über ein Marker-gestütztes Infrarottrackingsystem einer Zeitreihen- und Featureanalyse unterworfen. Die folgende Gestenerkennung klassifiziert Bewegungsmuster über ein konnektionistisches Lernverfahren mittels neuronaler Netze. Neben der reinen Klassifikation werden relevante Bewegungsdaten korreliert, um eine spätere Auswertung der spatialen Gestenexpression zu ermöglichen. Die Fusion der gestischen und sprachlichen Eingaben verwendet einen Unifikationsansatz für multimodale Grammatiken. Für den Kontext interaktiver Systeme wurde der zugrundeliegende Chart-Parser um die Möglichkeit einer inkrementellen Verarbeitung erweitert. So genannte Featlets ermöglichen eine vereinheitlichte Verarbeitung der Sprach- und Gesteneinheiten innerhalb der Unifikation. Der Fusionsprozess verwendet dabei sowohl eine semantische wie auch eine temporale Zuordnung. Der atomare Unifikationsschritt bleibt universell, alternative Relationen ermöglichen ein variables Agreement. Die Eingabeverarbeitungskomponenten werden unter Benutzung des Actor-Models lose an eine VR/AR-Middleware gekoppelt.
