Information Exchange and Fusion in Dynamic and Heterogeneous Distributed Environments

Context awareness, dynamic reconfiguration at runtime and heterogeneity are key characteristics of future distributed systems, particularly in ubiquitous and mobile computing scenarios. The main contributions of this dissertation are theoretical as well as architectural concepts facilitating information exchange and fusion in heterogeneous and dynamic distributed environments. Our main focus is on bridging the heterogeneity issues and, at the same time, considering uncertain, imprecise and unreliable sensor information in information fusion and reasoning approaches. A domain ontology is used to establish a common vocabulary for the exchanged information. We thereby explicitly support different representations for the same kind of information and provide Inter-Representation Operations that convert between them. Special account is taken of the conversion of associated meta-data that express uncertainty and impreciseness. The Unscented Transformation, for example, is applied to propagate Gaussian normal distributions across highly non-linear Inter-Representation Operations. Uncertain sensor information is fused using the Dempster-Shafer Theory of Evidence as it allows explicit modelling of partial and complete ignorance. We also show how to incorporate the Dempster-Shafer Theory of Evidence into probabilistic reasoning schemes such as Hidden Markov Models in order to be able to consider the uncertainty of sensor information when deriving high-level information from low-level data. For all these concepts we provide architectural support as a guideline for developers of innovative information exchange and fusion infrastructures that are particularly targeted at heterogeneous dynamic environments. Two case studies serve as proof of concept. The first case study focuses on heterogeneous autonomous robots that have to spontaneously form a cooperative team in order to achieve a common goal. The second case study is concerned with an approach for user activity recognition which serves as baseline for a context-aware adaptive application. Both case studies demonstrate the viability and strengths of the proposed solution and emphasize that the Dempster-Shafer Theory of Evidence should be preferred to pure probability theory in applications involving non-linear Inter-Representation Operations.

Sensordatenfusionsansätze in der Thermografie zur Verbesserung der Messergebnisse

Thermografie hat sich als wichtiges Hilfsmittel für die Inspektion, Prüfung und Überwachung etabliert. Bei vielen Anwendungen ist eine einzelne Messung allein oft nicht aussagekräftig, z. B. weil Strukturen nicht deutlich genug wahrgenommen werden können, das Messobjekt größer als das Blickfeld der Optik ist oder sich Kenngrößen erst aus dem zeitlichen Verlauf von Messungen ergeben. Zudem erfasst der Bediener der Kamera mit seinen Sinnen und seiner Erfahrung noch viele weitere Einflussgrößen, die bei der Entscheidungsfindung berücksichtigt werden. Eine Automatisierung von Inspektionsaufgaben in unbekannten Umgebungen ist also sehr komplex. In dieser Arbeit werden daher verschiedene Sensordatenfusionsansätze untersucht, die in der Thermografie eingesetzt werden können. Das Ziel bei der Fusion ist dabei die Verbesserung der Qualität der Messung und die Vergrößerung der verfügbaren Menge an nutzbaren Informationen über ein Messobjekt. Die betrachteten Ansätze können entweder nur mit Messungen der Thermografiekamera durchgeführt werden: zur Rauschunterdrückung durch zeitliche Mittelwertbildung, zur Vergrößerung der Schärfentiefe durch Kombination von Aufnahmen mit unterschiedlichem Fokus, zur Vergrößerung der Dynamik (also des Temperaturmessbereichs) durch Kombination von Messungen mit unterschiedlichen Messbereichen und durch Veränderung von Filtereinstellungen zur Unterdrückung von Störungen und zum Ableiten von geometrischen Informationen und Oberflächeneigenschaften. Weiterhin kann durch Veränderung der Kameraausrichtung das Blickfeld vergrößert und die geometrische Auflösung verbessert werden. Die Datenfusion von Thermogrammen kann aber auch mit Daten von anderen bildgebenden Messgeräten durchgeführt werden. Betrachtet wird die Kombination mit normalen Kameras im sichtbaren Spektralbereich, Thermografiekameras in anderen Wellenlängenbereichen und Tiefenkameras/Entfernungsmessgeräten (3D-Scanner, Laserscanner). Dadurch lassen sich für einen Messpunkt mehr Informationen gewinnen und die Messdaten können geometrisch als 3D-Modelle interpretiert und analysiert werden. Die Vielzahl an Informationen soll eine solide Dokumentation und gute (automatische) Analyse ermöglichen. Neben den Grundlagen zur Thermografie, dem punktweisen Zusammenführen von Messdaten und den oben genannten Sensordatenfusionsansätzen, wird ein Anwendungsbeispiel gezeigt. Darin soll die Machbarkeit der automatisierten Inspektionsdurchführung und die Kombination und praktische Anwendung der verschiedenen Sensordatenfusionsansätze gezeigt werden.