Reinforcement Lernen mit Regularisierungsnetzwerken

Die Arbeit behandelt das Problem der Skalierbarkeit von Reinforcement Lernen auf hochdimensionale und komplexe Aufgabenstellungen. Unter Reinforcement Lernen versteht man dabei eine auf approximativem Dynamischen Programmieren basierende Klasse von Lernverfahren, die speziell Anwendung in der Künstlichen Intelligenz findet und zur autonomen Steuerung simulierter Agenten oder realer Hardwareroboter in dynamischen und unwägbaren Umwelten genutzt werden kann. Dazu wird mittels Regression aus Stichproben eine Funktion bestimmt, die die Lösung einer "Optimalitätsgleichung" (Bellman) ist und aus der sich näherungsweise optimale Entscheidungen ableiten lassen. Eine große Hürde stellt dabei die Dimensionalität des Zustandsraums dar, die häufig hoch und daher traditionellen gitterbasierten Approximationsverfahren wenig zugänglich ist. Das Ziel dieser Arbeit ist es, Reinforcement Lernen durch nichtparametrisierte Funktionsapproximation (genauer, Regularisierungsnetze) auf -- im Prinzip beliebig -- hochdimensionale Probleme anwendbar zu machen. Regularisierungsnetze sind eine Verallgemeinerung von gewöhnlichen Basisfunktionsnetzen, die die gesuchte Lösung durch die Daten parametrisieren, wodurch die explizite Wahl von Knoten/Basisfunktionen entfällt und so bei hochdimensionalen Eingaben der "Fluch der Dimension" umgangen werden kann. Gleichzeitig sind Regularisierungsnetze aber auch lineare Approximatoren, die technisch einfach handhabbar sind und für die die bestehenden Konvergenzaussagen von Reinforcement Lernen Gültigkeit behalten (anders als etwa bei Feed-Forward Neuronalen Netzen). Allen diesen theoretischen Vorteilen gegenüber steht allerdings ein sehr praktisches Problem: der Rechenaufwand bei der Verwendung von Regularisierungsnetzen skaliert von Natur aus wie O(n**3), wobei n die Anzahl der Daten ist. Das ist besonders deswegen problematisch, weil bei Reinforcement Lernen der Lernprozeß online erfolgt -- die Stichproben werden von einem Agenten/Roboter erzeugt, während er mit der Umwelt interagiert. Anpassungen an der Lösung müssen daher sofort und mit wenig Rechenaufwand vorgenommen werden. Der Beitrag dieser Arbeit gliedert sich daher in zwei Teile: Im ersten Teil der Arbeit formulieren wir für Regularisierungsnetze einen effizienten Lernalgorithmus zum Lösen allgemeiner Regressionsaufgaben, der speziell auf die Anforderungen von Online-Lernen zugeschnitten ist. Unser Ansatz basiert auf der Vorgehensweise von Recursive Least-Squares, kann aber mit konstantem Zeitaufwand nicht nur neue Daten sondern auch neue Basisfunktionen in das bestehende Modell einfügen. Ermöglicht wird das durch die "Subset of Regressors" Approximation, wodurch der Kern durch eine stark reduzierte Auswahl von Trainingsdaten approximiert wird, und einer gierigen Auswahlwahlprozedur, die diese Basiselemente direkt aus dem Datenstrom zur Laufzeit selektiert. Im zweiten Teil übertragen wir diesen Algorithmus auf approximative Politik-Evaluation mittels Least-Squares basiertem Temporal-Difference Lernen, und integrieren diesen Baustein in ein Gesamtsystem zum autonomen Lernen von optimalem Verhalten. Insgesamt entwickeln wir ein in hohem Maße dateneffizientes Verfahren, das insbesondere für Lernprobleme aus der Robotik mit kontinuierlichen und hochdimensionalen Zustandsräumen sowie stochastischen Zustandsübergängen geeignet ist. Dabei sind wir nicht auf ein Modell der Umwelt angewiesen, arbeiten weitestgehend unabhängig von der Dimension des Zustandsraums, erzielen Konvergenz bereits mit relativ wenigen Agent-Umwelt Interaktionen, und können dank des effizienten Online-Algorithmus auch im Kontext zeitkritischer Echtzeitanwendungen operieren. Wir demonstrieren die Leistungsfähigkeit unseres Ansatzes anhand von zwei realistischen und komplexen Anwendungsbeispielen: dem Problem RoboCup-Keepaway, sowie der Steuerung eines (simulierten) Oktopus-Tentakels.

"Talking about Marriage ..." : Polizeiarbeit in Upper West, Ghana /// Arbeitspapiere / Institut für Ethnologie und Afrikastudien ; 102

Polizei in Afrika ist korrupt und schlecht ausgebildet und eine „Marionette“ der Regierungen − so das nicht nur im populären, sondern auch sozialwissenschaftlichen Diskurs vermittelte Bild. Eine ethnographische Perspektive, die Polizeiarbeit im Alltag beobachtet und auf die Interaktionsstrategien der Polizisten mit Klienten und ihre Deutungen und Selbstbilder fokussiert, erlaubt neue Einsichten in das alltägliche Funktionieren der Organisation. Die vorliegende Arbeit basiert auf einem dreimonatigen Aufenthalt in der domestic violence unit der Police Headquarters in der Upper West Region Ghanas. Sie zeigt unter anderem, wie die Akteure die Ausbildung zum Polizisten, Gehaltsfragen, Versetzungen, Geschlechterverhältnis und Beförderungen konzeptionalisieren und wo sie sich in ihrer Arbeitswelt positionieren. Die besondere Aufmerksamkeit der Arbeit gilt der Interaktion der Polizisten mit Akteuren außerhalb ihrer Organisation, den „Klienten“. Eine zentrale Erkenntnis ist, dass die Klienten erst mit Hilfe typischer bürokratischer Praktiken und Redensarten als solche von den Polizisten konstruiert werden. Dabei sind die Klienten aber weder passiv polizeilicher Willkür ausgeliefert noch können einflussreiche Klienten die Polizei nach ihrem Gusto manipulieren. In zwei Fallstudien von Verhandlungssituationen wird deutlich, wie Polizisten Autorität in der Interaktion mit Klienten herstellen und legitimieren und welche Maßnahmen Klienten ihrerseits ergreifen, um die Situation zu ihren Gunsten zu gestalten.

Numerical modelling of fluid-structure interaction with application in hemodynamics

The thesis deals with numerical algorithms for fluid-structure interaction problems with application in blood flow modelling. It starts with a short introduction on the mathematical description of incompressible viscous flow with non-Newtonian viscosity and a moving linear viscoelastic structure. The mathematical model consists of the generalized Navier-Stokes equation used for the description of fluid flow and the generalized string model for structure movement. The arbitrary Lagrangian-Eulerian approach is used in order to take into account moving computational domain. A part of the thesis is devoted to the discussion on the non-Newtonian behaviour of shear-thinning fluids, which is in our case blood, and derivation of two non-Newtonian models frequently used in the blood flow modelling. Further we give a brief overview on recent fluid-structure interaction schemes with discussion about the difficulties arising in numerical modelling of blood flow. Our main contribution lies in numerical and experimental study of a new loosely-coupled partitioned scheme called the kinematic splitting fluid-structure interaction algorithm. We present stability analysis for a coupled problem of non-Newtonian shear-dependent fluids in moving domains with viscoelastic boundaries. Here, we assume both, the nonlinearity in convective as well is diffusive term. We analyse the convergence of proposed numerical scheme for a simplified fluid model of the Oseen type. Moreover, we present series of experiments including numerical error analysis, comparison of hemodynamic parameters for the Newtonian and non-Newtonian fluids and comparison of several physiologically relevant computational geometries in terms of wall displacement and wall shear stress. Numerical analysis and extensive experimental study for several standard geometries confirm reliability and accuracy of the proposed kinematic splitting scheme in order to approximate fluid-structure interaction problems.

Das Phosphoproteom von Plattenepithelkarzinomen des Kopf-Hals-Bereichs nach Bestrahlung und Applikation des Cyclooxygenase-Inhibitors Flurbiprofen

Ziel: Die Radiotherapie hat in der Behandlung von Plattenepithelkarzinomen des Kopf- und Halsbereichs nach wie vor einen hohen Stellenwert. Der Erfolg eines Therapieregimes, das die Behandlung mit ionisierenden Strahlen einschließt, ist jedoch häufig limitiert durch die Entwicklung radioresistenter Tumorzellpopulationen, die nicht selten durch die Bestrahlung selbst induziert wird. Die Mechanismen, die zu einer solchen bestrahlungsinduzierten Radioresistenz führen sind bisher nur unvollständig verstanden und Methoden, durch die die Entwicklung von Radioresistenz verhindert werden könnte, wie beispielsweise der präventive Einsatz von Pharmazeutika, sind bislang nicht systematisch untersucht. Das Ziel der vorliegenden Arbeit war es zu überprüfen, ob der Cyclooxygenase-Inhibitor Flurbiprofen durch Bestrahlung induzierte Veränderungen der Phosphoprotein-Expression verstärken oder abschwächen kann und ob sich aus solchen Modifikationen des Bestrahlungsergebnisses ein radioprotektiver Effekt der Flurbiprofenapplikation ableiten lässt. Methoden: Es wurde ein experimenteller Ansatz gewählt, der mittels 2D PAGE und anschließender MALDI-TOF Massenspektrometrie das Phosphoproteom einer HNSCC-Zelllinie unter verschiedenen Bedingungen untersuchte. Die Zellen wurden entweder mit einer Energiedosis von 8 Gy bestrahlt, mit einer 200 μM Flurbiprofen enthaltenden Lösung inkubiert oder sie wurden mit einer Kombination aus Flurbiprofenapplikation und Bestrahlung behandelt. Vor der 2D PAGE wurden die Phosphoproteine durch IMAC angereichert. Zur Verbesserung der Gel-Analytik wurde die Software Delta 2D angewendet, die zum Ausgleich von Laufweitenunterschieden zwischen den Gelen ein Warping vorsieht. Ergebnisse und Diskussion: Bei der Analyse, der unter den verschiedenen experimentellen Bedingungen differentiell exprimierten Phosphoproteinen mittels bioinformatischer Hilfsprogramme wie z.B. WEBGestalt und STRING, wurden sieben Proteine mit Bedeutung für das Wachstum und die Entdifferenzierung von Tumoren identifiziert und einer ausführlichen Literaturrecherche unterzogen. Auf diese Weise konnten die Ergebnisse der für die vorliegende Arbeit durchgeführten Experimente in den systembiologischen Kontext eingeordnet werden. Besonders hervorzuheben ist die Herabregulierung der möglicherweise Radioresistenz vermittelnden Proteine GRP-75, 14-3-3 sigma und CRT sowie die Herabregulierung des anti-apoptotischen und tumor-begünstigenden Hsp60 durch Flurbiprofen. Die Verminderung der Expression unterstreicht das Potential dieses Pharmakons sowie der Klasse der COX-Inhibitoren als mögliche radiosensitivierende und tumorsuppressive Substanzen.

Efficient subsequence alignment of time series

Zeitreihen sind allgegenwärtig. Die Erfassung und Verarbeitung kontinuierlich gemessener Daten ist in allen Bereichen der Naturwissenschaften, Medizin und Finanzwelt vertreten. Das enorme Anwachsen aufgezeichneter Datenmengen, sei es durch automatisierte Monitoring-Systeme oder integrierte Sensoren, bedarf außerordentlich schneller Algorithmen in Theorie und Praxis. Infolgedessen beschäftigt sich diese Arbeit mit der effizienten Berechnung von Teilsequenzalignments. Komplexe Algorithmen wie z.B. Anomaliedetektion, Motivfabfrage oder die unüberwachte Extraktion von prototypischen Bausteinen in Zeitreihen machen exzessiven Gebrauch von diesen Alignments. Darin begründet sich der Bedarf nach schnellen Implementierungen. Diese Arbeit untergliedert sich in drei Ansätze, die sich dieser Herausforderung widmen. Das umfasst vier Alignierungsalgorithmen und ihre Parallelisierung auf CUDA-fähiger Hardware, einen Algorithmus zur Segmentierung von Datenströmen und eine einheitliche Behandlung von Liegruppen-wertigen Zeitreihen.rnrnDer erste Beitrag ist eine vollständige CUDA-Portierung der UCR-Suite, die weltführende Implementierung von Teilsequenzalignierung. Das umfasst ein neues Berechnungsschema zur Ermittlung lokaler Alignierungsgüten unter Verwendung z-normierten euklidischen Abstands, welches auf jeder parallelen Hardware mit Unterstützung für schnelle Fouriertransformation einsetzbar ist. Des Weiteren geben wir eine SIMT-verträgliche Umsetzung der Lower-Bound-Kaskade der UCR-Suite zur effizienten Berechnung lokaler Alignierungsgüten unter Dynamic Time Warping an. Beide CUDA-Implementierungen ermöglichen eine um ein bis zwei Größenordnungen schnellere Berechnung als etablierte Methoden.rnrnAls zweites untersuchen wir zwei Linearzeit-Approximierungen für das elastische Alignment von Teilsequenzen. Auf der einen Seite behandeln wir ein SIMT-verträgliches Relaxierungschema für Greedy DTW und seine effiziente CUDA-Parallelisierung. Auf der anderen Seite führen wir ein neues lokales Abstandsmaß ein, den Gliding Elastic Match (GEM), welches mit der gleichen asymptotischen Zeitkomplexität wie Greedy DTW berechnet werden kann, jedoch eine vollständige Relaxierung der Penalty-Matrix bietet. Weitere Verbesserungen umfassen Invarianz gegen Trends auf der Messachse und uniforme Skalierung auf der Zeitachse. Des Weiteren wird eine Erweiterung von GEM zur Multi-Shape-Segmentierung diskutiert und auf Bewegungsdaten evaluiert. Beide CUDA-Parallelisierung verzeichnen Laufzeitverbesserungen um bis zu zwei Größenordnungen.rnrnDie Behandlung von Zeitreihen beschränkt sich in der Literatur in der Regel auf reellwertige Messdaten. Der dritte Beitrag umfasst eine einheitliche Methode zur Behandlung von Liegruppen-wertigen Zeitreihen. Darauf aufbauend werden Distanzmaße auf der Rotationsgruppe SO(3) und auf der euklidischen Gruppe SE(3) behandelt. Des Weiteren werden speichereffiziente Darstellungen und gruppenkompatible Erweiterungen elastischer Maße diskutiert.

Bodenuntersuchungen in Trockenmaaren der Eifel – Deckschichten in einer Vulkanreliefform und deren anthropogene Überprägung

Die im Rahmen des ELSA-Projekts des Geowissenschaftlichen Instituts der Johannes Gutenberg-Universität Mainz erbohrten Kerne im Oberwinkler Maar (OW1) und im Jungferweiher Maar (JW3) wurden auf das Vorkommen des periglazialen Deckschichtensystems und dessen anthropogenen Überprägung untersucht. Es gab bis dato noch keine Unternehmungen diese Formen der Bodenbildung und -entwicklung in einem Trockenmaar zu suchen, geschweige denn zu untersuchen. rnDie Ergebnisse zeigen auf, dass sich Deckschichten auch in der Vulkanreliefform eines Trockenmaars ausbilden können und dass die Überprägung je nach Kraterform und anthropogener Flächennutzung unterschiedlich im Bodenprofil in Erscheinung tritt (Mächtigkeit von kolluvialen/alluvialen Lagen oder Anzahl der Holzkohlefunde).rnZur Untersuchung der Deckschichten und deren anthropogenen Überprägung wurden sowohl bodenkundliche Analysen als auch Literatur- und Kartenauswertungen unternommen. Als eine neue Methode zur Identifizierung von den verschiedenen Bodenhorizonten wurde die mikroskopische Analyse eingeführt. Dabei kam es hauptsächlich darauf an, die Minerale der Laacher-See-Tephra (LST) ausfindig zu machen und so die Bodenbildung und -entwicklung nicht nur zeitlich einordnen zu können, sondern auch die verschiedenen Materialeinträge (u.a. Deckschichtenmaterial) an den Profilstandort unterscheiden zu können.rnAls grundlegendes Ergebnis liefert die vorliegende Arbeit den Beweis, dass sich die periglazialen Deckschichten und deren anthropogenen Überprägung nicht nur in den typischen Zonen der deutschen Mittelgebirge ausbilden, sondern auch in der vulkanischen Reliefform eines Trockenmaars. Hinzukommt die Tatsache, dass statt den typischen vielen Geländeaufschlüssen für einen Standort – Catena – jeweils ein einzelner Bohrkern ausgereicht hat, um zu dieser genauen Erkenntnisgewinnung – maßgeblich bedingt durch die mikroskopische Analyse – zu kommen.