3-D Audio in Mobile Communication Devices: Methods for Mobile Head-Tracking

Future generations of mobile communication devices will serve more and more as multimedia platforms capable of reproducing high quality audio. In order to achieve a 3-D sound perception the reproduction quality of audio via headphones can be significantly increased by applying binaural technology. To be independent of individual head-related transfer functions (HRTFs) and to guarantee a good performance for all listeners, an adaptation of the synthesized sound field to the listener's head movements is required. In this article several methods of head-tracking for mobile communication devices are presented and compared. A system for testing the identified methods is set up and experiments are performed to evaluate the prosand cons of each method. The implementation of such a device in a 3-D audio system is described and applications making use of such a system are identified and discussed.

3-D Audio in Mobile Communication Devices: Effects of Self-Created and External Sounds on Presence in Auditory Virtual Environments

This article describes a series of experiments which were carried out to measure the sense of presence in auditory virtual environments. Within the study a comparison of self-created signals to signals created by the surrounding environment is drawn. Furthermore, it is investigated if the room characteristics of the simulated environment have consequences on the perception of presence during vocalization or when listening to speech. Finally the experiments give information about the influence of background signals on the sense of presence. In the experiments subjects rated the degree of perceived presence in an auditory virtual environment on a perceptual scale. It is described which parameters have the most influence on the perception of presence and which ones are of minor influence. The results show that on the one hand an external speaker has more influence on the sense of presence than an adequate presentation of one’s own voice. On the other hand both room reflections and adequately presented background signals significantly increase the perceived presence in the virtual environment.

Marker-Based Embodied Interaction for Handheld Augmented Reality Games

This article deals with embodied user interfaces for handheld augmented reality games, which consist of both physical and virtual components. We have developed a number of spatial interaction techniques that optically capture the device's movement and orientation relative to a visual marker. Such physical interactions in 3-D space enable manipulative control of mobile games. In addition to acting as a physical controller that recognizes multiple game-dependent gestures, the mobile device augments the camera view with graphical overlays. We describe three game prototypes that use ubiquitous product packaging and other passive media as backgrounds for handheld augmentation. The prototypes can be realized on widely available off-the-shelf hardware and require only minimal setup and infrastructure support.

Fossilierung in Echtzeit

Die Kunstgeschichte hat seit ihrer Einsetzung als universitäres Lehrfach auf eine Erweiterung ihrer Bestände und Themengebiete hingearbeitet. Stärker als andere Disziplinen war sie dabei bald auf die Möglichkeiten der Bildreproduktion angewiesen. Sie kommuniziert und popularisiert ihre Inhalte durch Lichtbilder und Kataloge und hat auch an der Entwicklung entsprechender Medien, vom Bilderalbum bis zur Fotodokumentation, mitgewirkt. Mittlerweile erwirbt ein Kunsthistoriker immer mehr Kenntnisse auch auf der Basis reproduzierter, mobiler Aufnahmen von Kunstwerken entlegenster Orte und verdichtet diese zu einem abstrakten Kanon kulturellen Erbes. Im digitalen Raum könnte nun die Gefahr bestehen, dass die bloße Fortschreibung dieser Praxis, zumal an eine anonyme Öffentlichkeit gerichtet, zu einer Verkrustung überkommener Sehweisen führt; der Einsatz von digitalen Medien würde dann keine methodische Innovation darstellen, sondern vielmehr das Gegenteil bewirken. Auf der anderen Seite vollziehen sich Wissenstransformationen nicht allein durch die Anwendung bahnbrechender Technologien; sie bedürfen auch der entsprechenden institutionellen Einbettung. Der Aufbau simpler Kommunikationswege wie E-Mail, der Einsatz erprobter Techniken wie der 3-D-Visualisierung oder die Gestaltung kostspieliger Datenbanken und Informationssysteme verändert - graduell, aber dauerhaft - die bestehenden Fachstrukturen und Denkgewohnheiten. Nur ein Bruchteil der Fragen, die mit dem Einsatz des Computers einhergehen, sind primär technischer Natur. Die Diskussion neuer Medien könnte zu einem professionelleren Selbstverständnis der kunstgeschichtlichen Forschung beitragen, wenn Fragen des Managements, der Projektgestaltung oder der Einwerbung von Drittmitteln nicht länger als Nebensachen abgetan werden; auch sie gehören zu einer wissenschaftlichen Methodik.