High-Level Modeling of Multimodal Interaction Techniques Using NiMMiT

The past few years, multimodal interaction has been gaining importance in virtual environments. Although multimodality renders interacting with an environment more natural and intuitive, the development cycle of such an application is often long and expensive. In our overall field of research, we investigate how modelbased design can facilitate the development process by designing environments through the use of highlevel diagrams. In this scope, we present ‘NiMMiT’, a graphical notation for expressing and evaluating multimodal user interaction; we elaborate on the NiMMiT primitives and demonstrate its use by means of a comprehensive example.

Plattform Musikalische Bildung

Bei der Plattform Musikalische Bildung handelt es sich um ein Projekt der Hochschule für Musik Detmold. Die Plattform vereinigt in sich Ideen zum vernetzten Musiklernen, neu entwickelten Online-Musiklern-Tools sowie den Austausch und die Modifizierung dieser erstellten Kurse durch andere Dozenten und Lehrenden. Die Plattform steht allen Dozenten und Lehrern, Studierenden und Schülern an Hochschulen, aber auch Musikschulen und allgemein bildenden Schulen kostenlos zur Verfügung. Auf die Einblendung von Werbebannern wird verzichtet. Die Inbetriebnahme einer Betaversion ist im Oktober 2014 erfolgt. Weitere Ausbaustufen sind in Planung aber noch nicht gegenfinanziert.

Bewegungsklassifikation mithilfe mobiler Sensoren

In diesem Beitrag wird eine neue Methode zur Analyse des manuellen Kommissionierprozesses vorgestellt, mit der u. a. die Kommissionierzeitanteile automatisch erfasst werden können. Diese Methode basiert auf einer sensorgestützten Bewegungsklassifikation, wie sie bspw. im Sport oder in der Medizin Anwendung findet. Dabei werden mobile Sensoren genutzt, die fortlaufend Messwerte wie z. B. die Beschleunigung oder die Drehgeschwindigkeit des Kommissionierers aufzeichnen. Auf Basis dieser Daten können Informationen über die ausgeführten Bewegungen und insbesondere über die durchlaufenen Bewegungszustände gewonnen werden. Dieser Ansatz wird im vorliegenden Beitrag auf die Kommissionierung übertragen. Dazu werden zunächst Klassen relevanter Bewegungen identifiziert und anschließend mit Verfahren aus dem maschinellen Lernen verarbeitet. Die Klassifikation erfolgt nach dem Prinzip des überwachten Lernens. Dabei werden durchschnittliche Erkennungsraten von bis zu 78,94 Prozent erzielt.