Decision Making for Teams of Mobile Robots

In the past years, we could observe a significant amount of new robotic systems in science, industry, and everyday life. To reduce the complexity of these systems, the industry constructs robots that are designated for the execution of a specific task such as vacuum cleaning, autonomous driving, observation, or transportation operations. As a result, such robotic systems need to combine their capabilities to accomplish complex tasks that exceed the abilities of individual robots. However, to achieve emergent cooperative behavior, multi-robot systems require a decision process that copes with the communication challenges of the application domain. This work investigates a distributed multi-robot decision process, which addresses unreliable and transient communication. This process composed by five steps, which we embedded into the ALICA multi-agent coordination language guided by the PROViDE negotiation middleware. The first step encompasses the specification of the decision problem, which is an integral part of the ALICA implementation. In our decision process, we describe multi-robot problems by continuous nonlinear constraint satisfaction problems. The second step addresses the calculation of solution proposals for this problem specification. Here, we propose an efficient solution algorithm that integrates incomplete local search and interval propagation techniques into a satisfiability solver, which forms a satisfiability modulo theories (SMT) solver. In the third decision step, the PROViDE middleware replicates the solution proposals among the robots. This replication process is parameterized with a distribution method, which determines the consistency properties of the proposals. In a fourth step, we investigate the conflict resolution. Therefore, an acceptance method ensures that each robot supports one of the replicated proposals. As we integrated the conflict resolution into the replication process, a sound selection of the distribution and acceptance methods leads to an eventual convergence of the robot proposals. In order to avoid the execution of conflicting proposals, the last step comprises a decision method, which selects a proposal for implementation in case the conflict resolution fails. The evaluation of our work shows that the usage of incomplete solution techniques of the constraint satisfaction solver outperforms the runtime of other state-of-the-art approaches for many typical robotic problems. We further show by experimental setups and practical application in the RoboCup environment that our decision process is suitable for making quick decisions in the presence of packet loss and delay. Moreover, PROViDE requires less memory and bandwidth compared to other state-of-the-art middleware approaches.

Information Exchange and Fusion in Dynamic and Heterogeneous Distributed Environments

Context awareness, dynamic reconfiguration at runtime and heterogeneity are key characteristics of future distributed systems, particularly in ubiquitous and mobile computing scenarios. The main contributions of this dissertation are theoretical as well as architectural concepts facilitating information exchange and fusion in heterogeneous and dynamic distributed environments. Our main focus is on bridging the heterogeneity issues and, at the same time, considering uncertain, imprecise and unreliable sensor information in information fusion and reasoning approaches. A domain ontology is used to establish a common vocabulary for the exchanged information. We thereby explicitly support different representations for the same kind of information and provide Inter-Representation Operations that convert between them. Special account is taken of the conversion of associated meta-data that express uncertainty and impreciseness. The Unscented Transformation, for example, is applied to propagate Gaussian normal distributions across highly non-linear Inter-Representation Operations. Uncertain sensor information is fused using the Dempster-Shafer Theory of Evidence as it allows explicit modelling of partial and complete ignorance. We also show how to incorporate the Dempster-Shafer Theory of Evidence into probabilistic reasoning schemes such as Hidden Markov Models in order to be able to consider the uncertainty of sensor information when deriving high-level information from low-level data. For all these concepts we provide architectural support as a guideline for developers of innovative information exchange and fusion infrastructures that are particularly targeted at heterogeneous dynamic environments. Two case studies serve as proof of concept. The first case study focuses on heterogeneous autonomous robots that have to spontaneously form a cooperative team in order to achieve a common goal. The second case study is concerned with an approach for user activity recognition which serves as baseline for a context-aware adaptive application. Both case studies demonstrate the viability and strengths of the proposed solution and emphasize that the Dempster-Shafer Theory of Evidence should be preferred to pure probability theory in applications involving non-linear Inter-Representation Operations.

Untersuchungen zu kumulativen psychischen und physiologischen Effekten des fliegenden Personals auf der Kurzstrecke

Die fliegerische Tätigkeit auf der Kurzstrecke in der zivilen Luftfahrt unterliegt arbeitsspezifischen Belastungsfaktoren, die sich in wesentlichen Punkten von denen auf der Langstrecke unterscheiden. Eine hohe Arbeitsbelastung auf der Kurzstrecke ist mit vielen Starts und Landungen am Tag verbunden. Neben der Anzahl der Flugabschnitte können auch lange Flugdienstzeiten und/oder unregelmäßige Arbeitszeiten sowie der Zeitdruck während der Einsätze auf der Kurzstrecke zur Belastung für Cockpitbesatzungsmitglieder werden und zu Ermüdungserscheinungen führen. Bisher wurden flugmedizinische und -psychologische Daten hauptsächlich auf der Langstrecke in Bezug auf die Auswirkungen der Jet-Leg Symptomatik und kaum auf der Kurzstrecke erhoben. Deshalb wurde im Rahmen des DLR- Projekts „Untersuchungen zu kumulativen psychischen und physiologischen Effekten des fliegenden Personals auf der Kurzstrecke“ eine Langzeituntersuchung zur Belastung/Beanspruchung, Ermüdung sowie Erholung des Cockpitpersonals auf der Kurzstrecke über jeweils 56 Tage durchgeführt. In Zusammenarbeit mit der Deutschen Lufthansa AG dauerte die Untersuchung zu den Auswirkungen arbeitsspezifischer Belastungsfaktoren auf die Cockpitbesatzungsmitglieder der Boeing 737-Flotte von 2003 bis 2006. ZIEL: Unter Berücksichtigung theoretisch fundierter arbeitspsychologischer Konzepte war das Ziel der Studie, kumulative und akute Effekte auf das Schlaf-Wach-Verhalten, auf die Belastung/Beanspruchung sowie auf die Müdigkeit zu identifizieren, die durch aufeinander folgende Einsätze auf der Kurzstrecke innerhalb eines Zeitraums von acht Wochen auftreten können. Hierfür wurden Daten von 29 Piloten (N=13 Kapitäne; N=16 Erste Offiziere) aufgezeichnet. Das Durchschnittsalter lag bei 33,8 ± 7,9 Jahren (Kapitäne: 42,0 ± 3,8 Jahre; Erste Offiziere: 27,4 ± 2,2 Jahre). METHODEN: Über ein Handheld PC konnten effizient Fragebögen bearbeitet und das Sleep Log sowie das Flight Log geführt werden. Die subjektive Ermüdung und Arbeitsbeanspruchung wurden durch standardisierte Fragebögen (z.B. Ermüdungsskala von Samn & Perelli (1982), NASA-TLX) operationalisiert. Im Sleep Log und im Flight Log wurden das Schlaf-Wach-Verhalten sowie flugspezifische Daten dokumentiert (z.B. Dienstbeginn, Dienstende, Flugabschnitte, Zielorte, etc.). Der Schlaf-Wach-Zyklus wurde mittels der Aktimetrie während des gesamten Messverlaufs aufgezeichnet. Die objektive Leistungsfähigkeit wurde täglich morgens und abends mit Hilfe einer computergestützten Psychomotor Vigilance Task (PVT) nach Dinges & Powell (1985) erfasst. Die Leistung in der PVT diente als Indikator für die Ermüdung eines Piloten. Zusätzliche Befragungen mit Paper-Pencil-Fragebögen sollten Aufschluss über relevante, psychosoziale Randbedingungen geben, die bei den täglichen Erhebungen nicht berücksichtigt wurden (z.B. Arbeitszufriedenheit; Essgewohnheiten; Kollegenbeziehungen). ERGEBNISSE: Unter Beachtung kumulativer Effekte wurde über die Studiendauer keine Veränderung in der Schlafqualität und im Schlafbedürfnis festgestellt. Die Müdigkeit nahm dagegen während der achtwöchigen Untersuchung zu. Die Reaktionszeit in der PVT zeigte an Flugdiensttagen eine Verschlechterung über die Zeit. Insgesamt wurden keine kritischen längerfristigen Effekte analysiert. Akute signifikante Effekte wurden bei der Ermüdung, der Gesamtbelastung und der Leistungsfähigkeit an Flugdiensttagen gefunden. Die Ermüdung als auch die Gesamtbelastung stiegen bei zunehmender Flugdienstdauer und Leganzahl und die Leistung nahm in der PVT ab. Der „time on task“ Effekt zeigte sich besonders in der Ermüdung durch die fliegerische Tätigkeit ab einer Flugdienstzeit von > 10 Stunden und > 4 Legs pro Tag. SCHLUSSFOLGERUNG: Mit diesen Ergebnissen konnte eine wissenschaftliche Datenbasis geschaffen werden aus der Empfehlungen resultieren, wie die Einsatzplanung für das Cockpitpersonal auf der Kurzstrecke unter flugmedizinischen und flugpsychologischen Gesichtspunkten optimiert werden kann. Zudem kann ein sachgerechter Beitrag im Rahmen der Diskussion zur Flugdienst- und Ruhezeitenregelung auf europäischer Ebene geleistet werden.

Optimization-Based Robotic Manipulation for Safe Interaction with Human Operators

This thesis investigates a method for human-robot interaction (HRI) in order to uphold productivity of industrial robots like minimization of the shortest operation time, while ensuring human safety like collision avoidance. For solving such problems an online motion planning approach for robotic manipulators with HRI has been proposed. The approach is based on model predictive control (MPC) with embedded mixed integer programming. The planning strategies of the robotic manipulators mainly considered in the thesis are directly performed in the workspace for easy obstacle representation. The non-convex optimization problem is approximated by a mixed-integer program (MIP). It is further effectively reformulated such that the number of binary variables and the number of feasible integer solutions are drastically decreased. Safety-relevant regions, which are potentially occupied by the human operators, can be generated online by a proposed method based on hidden Markov models. In contrast to previous approaches, which derive predictions based on probability density functions in the form of single points, such as most likely or expected human positions, the proposed method computes safety-relevant subsets of the workspace as a region which is possibly occupied by the human at future instances of time. The method is further enhanced by combining reachability analysis to increase the prediction accuracy. These safety-relevant regions can subsequently serve as safety constraints when the motion is planned by optimization. This way one arrives at motion plans that are safe, i.e. plans that avoid collision with a probability not less than a predefined threshold. The developed methods have been successfully applied to a developed demonstrator, where an industrial robot works in the same space as a human operator. The task of the industrial robot is to drive its end-effector according to a nominal sequence of grippingmotion-releasing operations while no collision with a human arm occurs.