Exploring Urban Environments Using Virtual and Augmented Reality

In this paper, we propose the use of specific system architecture, based on mobile device, for navigation in urban environments. The aim of this work is to assess how virtual and augmented reality interface paradigms can provide enhanced location based services using real-time techniques in the context of these two different technologies. The virtual reality interface is based on faithful graphical representation of the localities of interest, coupled with sensory information on the location and orientation of the user, while the augmented reality interface uses computer vision techniques to capture patterns from the real environment and overlay additional way-finding information, aligned with real imagery, in real-time. The knowledge obtained from the evaluation of the virtual reality navigational experience has been used to inform the design of the augmented reality interface. Initial results of the user testing of the experimental augmented reality system for navigation are presented.

Comparison of 2D and 3D GUI Widgets for Stereoscopic Multitouch Setups

Recent developments in the area of interactive entertainment have suggested to combine stereoscopic visualization with multi-touch displays, which has the potential to open up new vistas for natural interaction with interactive three-dimensional (3D) applications. However, the question arises how the user interfaces for system control in such 3D setups should be designed in order to provide an effective user experience. In this article we introduce 3D GUI widgets for interaction with stereoscopic touch displays. The design of the widgets was inspired to skeuomorphism and affordances in such a way that the user should be able to operate the virtual objects in the same way as their real-world equivalents. We evaluate the developed widgets and compared them with their 2D counterparts in the scope of an example application in order to analyze the usability of and user behavior with the widgets. The results reveal differences in user behavior with and without stereoscopic display during touch interaction, and show that the developed 2D as well as 3D GUI widgets can be used effectively in different applications.

Influence of Comfort on 3D Selection Task Performance in Immersive Desktop Setups

Immersive virtual environments (IVEs) have the potential to afford natural interaction in the three-dimensional (3D) space around a user. However, interaction performance in 3D mid-air is often reduced and depends on a variety of ergonomics factors, the user's endurance, muscular strength, as well as fitness. In particular, in contrast to traditional desktop-based setups, users often cannot rest their arms in a comfortable pose during the interaction. In this article we analyze the impact of comfort on 3D selection tasks in an immersive desktop setup. First, in a pre-study we identified how comfortable or uncomfortable specific interaction positions and poses are for users who are standing upright. Then, we investigated differences in 3D selection task performance when users interact with their hands in a comfortable or uncomfortable body pose, while sitting on a chair in front of a table while the VE was displayed on a headmounted display (HMD). We conducted a Fitts' Law experiment to evaluate selection performance in different poses. The results suggest that users achieve a significantly higher performance in a comfortable pose when they rest their elbow on the table.

Evolutionäre Optimierung von Mensch-Maschine-Schnittstellen

Vorgestellt wird eine weltweit neue Methode, Schnittstellen zwischen Menschen und Maschinen für individuelle Bediener anzupassen. Durch Anwenden von Abstraktionen evolutionärer Mechanismen wie Selektion, Rekombination und Mutation in der EOGUI-Methodik (Evolutionary Optimization of Graphical User Interfaces) kann eine rechnergestützte Umsetzung der Methode für Graphische Bedienoberflächen, insbesondere für industrielle Prozesse, bereitgestellt werden. In die Evolutionäre Optimierung fließen sowohl die objektiven, d.h. messbaren Größen wie Auswahlhäufigkeiten und -zeiten, mit ein, als auch das anhand von Online-Fragebögen erfasste subjektive Empfinden der Bediener. Auf diese Weise wird die Visualisierung von Systemen den Bedürfnissen und Präferenzen einzelner Bedienern angepasst. Im Rahmen dieser Arbeit kann der Bediener aus vier Bedienoberflächen unterschiedlicher Abstraktionsgrade für den Beispielprozess MIPS ( MIschungsProzess-Simulation) die Objekte auswählen, die ihn bei der Prozessführung am besten unterstützen. Über den EOGUI-Algorithmus werden diese Objekte ausgewählt, ggf. verändert und in einer neuen, dem Bediener angepassten graphischen Bedienoberfläche zusammengefasst. Unter Verwendung des MIPS-Prozesses wurden Experimente mit der EOGUI-Methodik durchgeführt, um die Anwendbarkeit, Akzeptanz und Wirksamkeit der Methode für die Führung industrieller Prozesse zu überprüfen. Anhand der Untersuchungen kann zu großen Teilen gezeigt werden, dass die entwickelte Methodik zur Evolutionären Optimierung von Mensch-Maschine-Schnittstellen industrielle Prozessvisualisierungen tatsächlich an den einzelnen Bediener anpaßt und die Prozessführung verbessert.

Visualisierungsverfahren zur Interaktion mit objekt-relationalen Datenbanken

In der vorliegenden Arbeit 1 wird ein neues, erweiter- und konfigurierbares Visualisierungsverfahren zur Interaktion mit komplex strukturierten Datenobjekten vorgestellt. Die Erweiterbarkeit bezieht sich dabei auf die vom Verfahren einsetzbaren Techniken der Visualisierung (Visualisierungsfunktionen) und auf die in das Verfahren integrierte Interaktion. Die mit dem Verfahren generierbaren Repräsentationen sind besonders zum Browsen in den Objekten und zum Editieren der Objekte geeignet, die typischerweise in objekt-relationalen Datenbanken gespeichert werden. Die generierten Repräsentationen können modulartig in vorhandene graphische Benutzerschnittstellen integriert werden oder als vollständige graphische Benutzerschnittstelle einer Anwendung eingesetzt werden. Modularität und Orthogonalität, also die sinnvolle Aufteilung in Funktionseinheiten und die Möglichkeit, Methoden einer Komponente auf andere Komponenten anzuwenden, werden als Mittel eingesetzt, mit weniger Komponenten mehr Funktionalität zu erreichen. Für den Teilaspekt der Benutzerschnittstelle wurde dies durch Visualisierungsvorschriften für Datenobjekte (Relationen, Tabellen) vorgeschlagen, indem ein Baum aus der Strukturdefinition (Schema) abgeleitet und als persistentes (Meta-) Datenobjekt in der Datenbank gespeichert wird. Sie werden kurz "Visualisierungen" genannt. Wie gezeigt werden kann, sind sechs Meta-Objekte die notwendige und hinreichende Anzahl und Ausprägung von Schemata und Visualisierungen zur Definition und visuellen Repräsentation beliebiger Anwendungs-Objekte (Schemata und durch sie definierte Tabellen), inklusive ihrer eigenen Schemata und Visualisierungen. Der Einsatz der Selbstreferenzierung mit Meta-Objekten hat zu mehr Sicherheit und Kompaktheit ohne nenneswerte Laufzeiteinbußen geführt.

Optimization-Based Robotic Manipulation for Safe Interaction with Human Operators

This thesis investigates a method for human-robot interaction (HRI) in order to uphold productivity of industrial robots like minimization of the shortest operation time, while ensuring human safety like collision avoidance. For solving such problems an online motion planning approach for robotic manipulators with HRI has been proposed. The approach is based on model predictive control (MPC) with embedded mixed integer programming. The planning strategies of the robotic manipulators mainly considered in the thesis are directly performed in the workspace for easy obstacle representation. The non-convex optimization problem is approximated by a mixed-integer program (MIP). It is further effectively reformulated such that the number of binary variables and the number of feasible integer solutions are drastically decreased. Safety-relevant regions, which are potentially occupied by the human operators, can be generated online by a proposed method based on hidden Markov models. In contrast to previous approaches, which derive predictions based on probability density functions in the form of single points, such as most likely or expected human positions, the proposed method computes safety-relevant subsets of the workspace as a region which is possibly occupied by the human at future instances of time. The method is further enhanced by combining reachability analysis to increase the prediction accuracy. These safety-relevant regions can subsequently serve as safety constraints when the motion is planned by optimization. This way one arrives at motion plans that are safe, i.e. plans that avoid collision with a probability not less than a predefined threshold. The developed methods have been successfully applied to a developed demonstrator, where an industrial robot works in the same space as a human operator. The task of the industrial robot is to drive its end-effector according to a nominal sequence of grippingmotion-releasing operations while no collision with a human arm occurs.

Evaluation of Auditory Displays Supporting Aircraft Approach and Landing

Abstract: The paper describes an auditory interface using directional sound as a possible support for pilots during approach in an instrument landing scenario. Several ways of producing directional sounds are illustrated. One using speaker pairs and controlling power distribution between speakers is evaluated experimentally. Results show, that power alone is insufficient for positioning single isolated sound events, although discrimination in the horizontal plane performs better than in the vertical. Additional sound parameters to compensate for this are proposed.

Extraktion und kartographische Visualisierung von Informationen aus Weblogs

Beim Information Retrieval ist in Anbetracht der Informationsflut entscheidend, relevante Informationen zu finden. Ein vielversprechender Ansatz liegt im Semantischen Web, wobei dem System die Bedeutung von Informationen ontologiebasiert beigebracht wird. Sucht der Benutzer nach Stichworten, werden ihm anhand der Ontologie verwandte Begriffe angezeigt und er kann mittels Mensch-Maschine-Interaktion seine relevanten Informationen extrahieren. Um eine solche Interaktion zu fördern, werden die Ergebnisse visuell aufgearbeitet. Dabei liegt der Mehrwert darin, dass der Benutzer anstelle von Tausenden von Suchresultaten in einer fast endlosen Liste, ein kartographisch visualisiertes Suchresultat geliefert bekommt. Dabei hilft die Visualisierung, unvorhergesehene Beziehungen zu entdecken und zu erforschen.

Morphologische und quantitative Untersuchungen synaptischer Körperchen in Retina und Zirbeldrüse von Säugetieren und Mensch

Um mit sehr hoher Geschwindigkeit Sinnesreize zur Weiterverarbeitung übertragen zu können, besitzen im Ruhezustand Dauerimpulse liefernde Rezeptorzellen in Sinnesorganen, wie z.B. der Netzhaut (Retina), spezialisierte glutamaterge Synapsen, die durch präsynapti-sche Körperchen (SK) charakterisiert sind, die außerdem nur in Parenchymzellen der Zirbel-drüse vorkommen. SK binden mit hoher Affinität Neurotransmittervesikel und zeigen licht- bzw. reizabhängige morphologische Veränderungen. Sie dienen der Speicherung, eventuell auch dem Transport dieser Vesikel zum Ort der Reizübertragung, der nahen aktiven Zone der Ribbonsynapse. Um Dynamik und Funktion der Zellorganellen zu verstehen, ist es wichtig, ihre genaue Topo-graphie und dreidimensionale (3D) Struktur unter verschiedenen Bedingungen zu kennen. So wurden aus Serienschnitten der Retina und Zirbeldrüse mit Hilfe geeigneter, teils selbst programmierter Software 3D-Rekonstruktionen der SK durchgeführt. Untersucht wurden die ersten und zweiten Synapsen der Sehbahn in Retinae von Mensch, Maus und Ratte, Zapfen-terminale des Hühnchens und SK in Zirbeldrüsen von Ratte, Meerschweinchen und Kaninchen. Analysiert wurde zu verschiedenen Zeitpunkten der Photoperiode oder unter experimentellen Bedingungen entnommenes Frischgewebe sowie Material aus Organkultu-ren. Außerdem wurden SK unter diversen Bedingungen quantifiziert, wobei eine neue Zähl-methode entwickelt wurde, die auf einer Modifikation des Disektors basiert und die Quantifi-zierung auch anderer seltener Ultrastrukturen am Elektronenmikroskop ermöglicht. Im Gegensatz zur etablierten Zählmethode, die die Profilzahl von SK in einer definierten Fläche (PZ) angibt, liefert die vorgestellte Methode die aussagekräftigere Zahl der SK in definierten Volumina und hängt weder von deren Form noch Größe ab. Diverse Kalkulationen zeigten, daß eine Umrechnung von am selben Material gewonnenen PZ in validere Disektor Werte nicht präzise genug möglich ist. Um sinnvolle Aussagen zur Quantität von SK machen zu können, ist es daher erforderlich, die Methode für jedes Tier einer identisch behandelten Gruppe anzuwenden. Es konnte gezeigt werden, daß SK eine konstante Dicke von 35 nm haben. In der Retina sind sie meist nur in einer Ebene C-förmig gebogene Bänder, weshalb sie auch als "synaptic ribbons" bezeichnet werden, oder Platten mit Breite zu Höhe Verhältnissen zwischen 6:1 bis 3:1. Die elektronendichten, unter Normalbedingungen durch regelmäßig polymerisierte Dimere des Hauptproteins RIBEYE pentalamellären SK binden über dünne Proteinbrücken glutamathaltige Neurotransmittervesikel. Ihre untere lange schmale Kante ist über feines elektronendichtes Material an einem, als arciform density (ad) bezeichneten Plaque der Zell-membran verankert, der die Form einer gebogenen Rinne hat. Die zumeist senkrecht darauf stehenden SK zeigen an ihrer membranfernen langen Kante zu Beginn der Lichtphase, ins-besondere aber unter Dauerlicht partiell verdickte Ränder, die auf An- bzw. Abbauvorgänge hinweisen. Diese Veränderungen waren nur in Stäbchenterminalen und Pinealozyten in Ver-bindung mit dem Auftreten kleinerer klumpiger bis kugelförmiger SK nachweisbar und zeig-ten sich in den Schnitten als runde oder irreguläre Profile, die dann neben den "üblichen" stabförmigen SK-Anschnitten vorlagen. Die 3D-Rekonstruktion von Stäbchenterminalen der menschlichen Retina zeigte, daß diese entsprechend der Zahl ihrer SK 1-3 Ribbonsynapsen aufweisen. Letztere bestehen aus einem an der Zellmembran senkrecht über eine ad verankerten SK und der aktiven Zone, die einem ca. 200 nm breiten Bereich der Zellmembran in Fortsetzung der ad nach seitlich oben entspricht. Die boomerang- bis hufeisenförmigen SK haben 2 parallele flache Hauptflächen. Postsynaptisch liegen zwei Horizontalzellfortsätze, welche mit variabeln Aufspaltungen von einem engen Hilus aus tief in Stäbchenendkolben invaginiert sind. Sie verbreitern sich termi-nal und zeigen große breite oft aufgefächerte bzw. verzweigte Auftreibungen. Die Ribbon-synapsen sind in die zwischen solchen Endauftreibungen entstehenden Rinnen eingesenkt. Unterhalb ihrer ad berühren sich die Horizontalzellterminale. Etwas darunter enden 1-2 ca. 100 nm breite Bipolarzelldendriten, die vom Zentrum der Invagination des Stäbchenterminals zum Hilus hin dünner werden, um zum Soma invaginierender ON-Bipolarzellen weiterzulau-fen. Da die Zahl der in den Stäbchenendkolben eintretenden Fortsätze variabel ist, fanden sich Konstellationen von 1-3 SK, 1-3 Horizontal- und 1-4 Bipolarzellterminalen, wie sie auch in der Literatur beschrieben sind. Drei zentrale Ausschnitte menschlicher Zapfenpedikel wurden aus lückenlosen Serienschnit-ten mit ihren Mitochondrien, SK und den in Form von Triaden hier invaginierenden postrib-bonsynaptischen Fortsätzen rekonstruiert. Der Grundbauplan der Ribbonsynapsen ist hier dem der Stäbchen ähnlich, jedoch sind die SK kürzer, die Invaginationen deutlich kleiner und nie verzweigt, die Bipolarzelldendriten breiter und die Horizontalzellfortsätze terminal weniger stark und nur rundlich aufgetrieben. Zapfen-SK sind nur in einer Ebene schwach gebogene Bänder. Die gefundene Zahl von Zapfen SK paßt zu Literaturdaten, deren Zusammenfas-sung für Primaten foveanah 10-20 und peripher 30-40 SK zeigt. In Bipolarzellaxonen des Menschen waren SK nicht immer über leistenartige Membranplaques am Plasmalemm ver-ankert. Die hier flachen Ribbonsynapsen zeigten kleinere bandförmige oder nur ca. 250 x 150 x 35 nm große plattenförmige SK mit etwas größerem Abstand zu den aktiven Zonen als in Photorezeptoren. Bei BALB/c Mäusen, deren SK besonders deutlich auf Veränderungen der Photoperiode oder experimentelle Bedingungen reagieren, zeigten Rekonstruktionen von Stäbchenribbon-synapsen am Ende der Dunkelphase band- bis boomerangförmige SK und weder Klumpen noch Kugeln. Im ersten Drittel und gegen Ende der Lichtphase fanden sich jedoch ca. 20 Prozent solch veränderter SK. Gleichzeitig waren die mittleren Abschnitte vieler SK unter beiden Lichtbedingungen dünner als am Ende der Dunkelphase. Die langen, oft mehrfach gebogenen und verdrehten Zapfen-SK dieser Mäuse waren unabhängig von den Lichtbedin-gungen oft deutlich größer als die der Stäbchen, wohingegen beim Menschen Zapfen-SK re-lativ gerade, bandförmige Zellorganellen geringerer Größe als in Stäbchen darstellten. Während in Stäbchenterminalen nur ausnahmsweise mehr als ein größeres bandförmiges SK (neben eventuellen kugelförmigen) vorlag, zeigten sich in den Zapfen orts- und spezies-abhängig 15 bis über 25 meist bandförmige Organellen, die in wenigen Fällen mit zwei ge-legentlich sogar 3 verschiedenen Triaden aus 2 Horizontal- und einem Bipolarzellfortsatz ver-bunden waren. Dies ist bei BALB/c Mäusen, die weniger, aber größere Zapfen-SK zeigten, häufiger als beim Menschen. Die SK der Bipolarzellen in der inneren plexiformen Schicht waren speziesübergreifend meist lange Bänder oder kleine Platten mit ca. 250 x 150 nm großen Hauptflächen und nur ge-ringen Verdrehungen. Verschiedene Bipolarzelltypen haben unterschiedlich viele SK. Im Rahmen der Arbeit erstmals erstellte 3D-Rekonstruktion ektopischer synaptischer Körper-chen (eSK) konnten belegen, daß diese in Bipolarzelldendriten lokalisiert sind. Die kleinen, leicht gebogenen, 35 nm dicken Platten, deren große Oberflächen Dimensionen von meist nur ca. 100 x 200 nm hatten, sind praktisch nie an der Zellmembran verankert, sondern ste-hen in einigen Fällen über zu langen Tubuli fusionierte Vesikel mit dem Interzellularspalt in Verbindung. Dies könnte ein Hinweis auf eine "compound" Endo- oder Exozytose sein. Sel-ten finden sich zwei, ausnahmsweise auch drei parallel zueinander angeordnete SK im Inne-ren der Bipolarzelldendriten, meistens nahe deren Eintritt in Stäbchenendkolben. Im Gegen-satz zur Ratte fanden sich eSK bei seit Geburt unter Dauerdunkelheit gehaltenen BALB/c Mäusen sogar im in Stäbchen- bzw. Zapfenterminal invaginierten Abschnitt von Bipolarzell-dendriten. Neben plattenförmigen SK lagen bei diesen Mäusen auch innen hohle klumpen-förmige Organellen in Stäbchenbipolarzelldendriten vor. Unter Organkultur und Ca++-Entzug fanden sich in Stäbchen die massivsten Veränderungen von SK, die entweder als Klumpen oder Kugeln vorlagen oder massive Protrusionen an ei-nem kleinen plattenförmigen Abschnitt zeigten, der noch an der ad befestigt blieb. Die Be-funde deuten darauf hin, daß Licht über Kalziumentzug zu Verklumpungen an SK und zur Abschnürung von klumpen- bis kugelförmigen SK Fragmenten führt. Bei der Rekonstruktion mit anti-β-Dystroglykan Immunogold-markierter Zapfenterminalen der Hühnchenretina konnte erstmals gezeigt werden, daß sich dieses zum Dystrophin-assozierten Glykoproteinkomplex gehörende Protein in perisynaptischen Fortsätzen der Pho-torezeptoren seitlich und an ihren Spitzen fand, während Horizontal- und Bipolarzellfortsätze nicht markiert waren. Dies deutet auf eine neue strukturelle oder funktionelle Domäne in Pho-torezeptorterminalen hin, die eine noch im Detail zu klärende Rolle bei der synaptischen Transmission spielt, da bei Mutationen im Dystrophin-assoziierten Proteinkomplex eine Ver-änderung der synaptischen Kommunikation in der äußeren plexiformen Schicht zu beobach-ten ist. In der Zirbeldrüse sind die meisten SK wenig gebogene, flache, plattenförmige Strukturen, die bei der Ratte meist ca. 300x150x35 nm groß sind. Daneben gibt es deutlich längere bandförmige Organellen und unter Normalbedingungen bei Ratte und Hühnchen praktisch keine, bei Meerschweinchen nur wenige klumpige oder kugelförmige SK. Pinealozyten der Meerschweinchenzirbeldrüse weisen üblicherweise Felder parallel gruppierter plattenförmi-ger synaptischer Körperchen auf. Unter Dauerlicht zeigten sich an der Membran benachbar-ter Zellen einander gegenüberliegende Felder stark verbogener, partiell verdickter SK, die vermutlich aus verschmolzenen Einzelplatten entstanden waren sowie deutlich mehr kugeli-ge bzw. klumpige SK. Die Organellen nehmen nachts an Größe zu, wodurch sich ihre Ober-fläche vergrößert, bei Ratten nimmt sie um 19,3 Prozent von 0,041 auf 0,0501 µm² zu. Da die plattenförmigen SK eine konstante Dicke von 35 nm hatten, läßt sich so ein durchschnitt-liches Volumen von 1,47x10-3 µm³ für 12.00 und von 1,75x10-3 µm³ für Mitternacht mit einer Zunahme von 0,28x10-3 µm³ (entspricht 19,3 %) errechnen. Der Vergleich von Pinealocyten-SK von unter LD 4:20 zu LD 20:4 gehaltenen Ratten zeigte unter LD 20:4 insignifikant mehr SK, die signifikant längere Profile hatten, was auf eine Größenzunahme der Organellen hin-deutet. Überlegungen und mathematische Berechnungen, was Profillängenmessungen bedeuten und wieviele Profile für sinnvolle Vergleiche ausgewertet werden müßten, werden kritisch diskutiert. Die selbst erhobenen Befunde werden im Kontext mit allen verfügbaren Literaturdaten de origine, dem Auftreten von SK in der Ontogenese sowie SK betreffenden pathologischen und Altersveränderungen betrachtet. Hierbei deutet die Analyse der Chronobiologie von SK in quantitativer und morphologischer Hinsicht auf eine Abhängigkeit von der Photoperiode bzw. Licht und Dunkelheit und nicht auf eine endogene zirkadiane Rhythmik hin. Die oberhalb funktionell wichtiger Ca++-Känale lokalisierten SK setzen in Photorezeptoren die Lichtinformation in exozytierte Glutamatquanten um, wobei das Glutamat an verschiedenen postsynaptischen Orten wirkt. Die zuvor nie so anschaulich durch 3D-Stereoanimationen visualisierten Befunde zeigen, daß die Morphologie von SK hier für eine maximal schnelle Freisetzung der gebundenen Transmittervesikel an in unmittelbarer Nähe gelegenen aktiven Zonen der Ribbonsynapsen optimiert ist. Der molekulare Aufbau von SK wird ultrastrukturell nachvollzogen und die Funktion der Organellen diskutiert. Diesbezüglich ist die Vesikelspei-cherung erwiesen, das "Priming" für die Exozytose beinahe bewiesen, eine Koordinations-funktion für multivesikuläre Transmitterfreisetzung ist denkbar, während eine Förderband-funktion eher unwahrscheinlich ist. In breve haben die im Rahmen dieser Habilitation ge-wonnenen Erkenntnisse und entwickelten Methoden einige Beiträge zur Klärung des mor-phologisch funktionellen Gesamtverständnisses der Ribbonsynapsen geleistet.