Reinforcement Lernen mit Regularisierungsnetzwerken

Die Arbeit behandelt das Problem der Skalierbarkeit von Reinforcement Lernen auf hochdimensionale und komplexe Aufgabenstellungen. Unter Reinforcement Lernen versteht man dabei eine auf approximativem Dynamischen Programmieren basierende Klasse von Lernverfahren, die speziell Anwendung in der Künstlichen Intelligenz findet und zur autonomen Steuerung simulierter Agenten oder realer Hardwareroboter in dynamischen und unwägbaren Umwelten genutzt werden kann. Dazu wird mittels Regression aus Stichproben eine Funktion bestimmt, die die Lösung einer "Optimalitätsgleichung" (Bellman) ist und aus der sich näherungsweise optimale Entscheidungen ableiten lassen. Eine große Hürde stellt dabei die Dimensionalität des Zustandsraums dar, die häufig hoch und daher traditionellen gitterbasierten Approximationsverfahren wenig zugänglich ist. Das Ziel dieser Arbeit ist es, Reinforcement Lernen durch nichtparametrisierte Funktionsapproximation (genauer, Regularisierungsnetze) auf -- im Prinzip beliebig -- hochdimensionale Probleme anwendbar zu machen. Regularisierungsnetze sind eine Verallgemeinerung von gewöhnlichen Basisfunktionsnetzen, die die gesuchte Lösung durch die Daten parametrisieren, wodurch die explizite Wahl von Knoten/Basisfunktionen entfällt und so bei hochdimensionalen Eingaben der "Fluch der Dimension" umgangen werden kann. Gleichzeitig sind Regularisierungsnetze aber auch lineare Approximatoren, die technisch einfach handhabbar sind und für die die bestehenden Konvergenzaussagen von Reinforcement Lernen Gültigkeit behalten (anders als etwa bei Feed-Forward Neuronalen Netzen). Allen diesen theoretischen Vorteilen gegenüber steht allerdings ein sehr praktisches Problem: der Rechenaufwand bei der Verwendung von Regularisierungsnetzen skaliert von Natur aus wie O(n**3), wobei n die Anzahl der Daten ist. Das ist besonders deswegen problematisch, weil bei Reinforcement Lernen der Lernprozeß online erfolgt -- die Stichproben werden von einem Agenten/Roboter erzeugt, während er mit der Umwelt interagiert. Anpassungen an der Lösung müssen daher sofort und mit wenig Rechenaufwand vorgenommen werden. Der Beitrag dieser Arbeit gliedert sich daher in zwei Teile: Im ersten Teil der Arbeit formulieren wir für Regularisierungsnetze einen effizienten Lernalgorithmus zum Lösen allgemeiner Regressionsaufgaben, der speziell auf die Anforderungen von Online-Lernen zugeschnitten ist. Unser Ansatz basiert auf der Vorgehensweise von Recursive Least-Squares, kann aber mit konstantem Zeitaufwand nicht nur neue Daten sondern auch neue Basisfunktionen in das bestehende Modell einfügen. Ermöglicht wird das durch die "Subset of Regressors" Approximation, wodurch der Kern durch eine stark reduzierte Auswahl von Trainingsdaten approximiert wird, und einer gierigen Auswahlwahlprozedur, die diese Basiselemente direkt aus dem Datenstrom zur Laufzeit selektiert. Im zweiten Teil übertragen wir diesen Algorithmus auf approximative Politik-Evaluation mittels Least-Squares basiertem Temporal-Difference Lernen, und integrieren diesen Baustein in ein Gesamtsystem zum autonomen Lernen von optimalem Verhalten. Insgesamt entwickeln wir ein in hohem Maße dateneffizientes Verfahren, das insbesondere für Lernprobleme aus der Robotik mit kontinuierlichen und hochdimensionalen Zustandsräumen sowie stochastischen Zustandsübergängen geeignet ist. Dabei sind wir nicht auf ein Modell der Umwelt angewiesen, arbeiten weitestgehend unabhängig von der Dimension des Zustandsraums, erzielen Konvergenz bereits mit relativ wenigen Agent-Umwelt Interaktionen, und können dank des effizienten Online-Algorithmus auch im Kontext zeitkritischer Echtzeitanwendungen operieren. Wir demonstrieren die Leistungsfähigkeit unseres Ansatzes anhand von zwei realistischen und komplexen Anwendungsbeispielen: dem Problem RoboCup-Keepaway, sowie der Steuerung eines (simulierten) Oktopus-Tentakels.

Volumenpackungen nach SAE J1100

We present new algorithms to approximate the discrete volume of a polyhedral geometry using boxes defined by the US standard SAE J1100. This problem is NP-hard and has its main application in the car design process. The algorithms produce maximum weighted independent sets on a so-called conflict graph for a discretisation of the geometry. We present a framework to eliminate a large portion of the vertices of a graph without affecting the quality of the optimal solution. Using this framework we are also able to define the conflict graph without the use of a discretisation. For the solution of the maximum weighted independent set problem we designed an enumeration scheme which uses the restrictions of the SAE J1100 standard for an efficient upper bound computation. We evaluate the packing algorithms according to the solution quality compared to manually derived results. Finally, we compare our enumeration scheme to several other exact algorithms in terms of their runtime. Grid-based packings either tend to be not tight or have intersections between boxes. We therefore present an algorithm which can compute box packings with arbitrary placements and fixed orientations. In this algorithm we make use of approximate Minkowski Sums, computed by uniting many axis-oriented equal boxes. We developed an algorithm which computes the union of equal axis-oriented boxes efficiently. This algorithm also maintains the Minkowski Sums throughout the packing process. We also extend these algorithms for packing arbitrary objects in fixed orientations.

Bildung in Medienwelten?: Eine biografieanalytische Studie zu Lern- und Bildungsprozessen bei Homosexuellen im Internet

Innerhalb der vorliegenden Untersuchung geht es um die Verknüpfung von Medienbildung, homosexueller Sozialität und der Methodik der Biografieanalyse. Ausgangsbasis ist eine sozialkonstruktivistische Sichtweise auf Geschlecht und (Homo-) Sexualität, wobei eine sozio-historische Kontextualisierung von Homosexualität unter Berücksichtigung von Diskriminierung erfolgt. Im Fokus steht der Coming-out-Prozess, der zwischen Zeigen und Verstecken changiert und mittels des Mediums Internet einen Raum findet, indem neue Bestimmungen homosexueller Identitäten und Formen homosexueller Sozialität möglich werden. Kommunikative Aspekte des Internets werden ausführlich expliziert und durch die strukturelle Medienbildungstheorie nach Marotzki (2009) ergänzt, um mögliche verbundene Bildungsprozesse zu beschreiben. Innerhalb dieser Theorie werden vier kritische Reflexionshorizonte (Wissensbezug, Handlungsbezug, Grenzbezug, Biografiebezug) entfaltet und auf die Artikulations- und Präsentationsmöglichkeiten des Internets bezogen. Deutlich wird, dass das Internet Spielräume für Identitäten bietet, denen Potenziale für reale Identitätskonstruktionen inneliegen. Fassbar werden diese Potenziale durch das medienpädagogische Konstrukt der Medienbiografie, sowie Konzepte der erziehungswissenschaftlichen Biografieforschung (Konstrukt Bildung nach Marotzki, 1990a; Konstrukt Sexualbiografie nach Scheuermann, 1999; 1995). Empirisch orientiert sich die Studie an Methodologie und Methodik der Biografieforschung, Grounded Theory (Glaser/Strauss, 1967) und dem narrationsstrukturellen Verfahren nach Schütze (1984, 1983). Konkret wird auf folgende Forschungsfragen referiert: Wie gestalten sich Lern- und Bildungsprozesse für männliche Homosexuelle in digitalen Medienwelten? Welche Möglichkeiten und Gestaltungschancen gibt es für die Repräsentation des (sexuellen) Selbst im Medium Internet? Welche Auswirkungen haben diese virtuellen Prozesse auf die real gelebte Biografie und das Selbst- und Weltverhältnis der einzelnen Homosexuellen? Durch Rekonstruktion von vier Fallbeispielen werden Möglichkeiten des Internets für die Repräsentation und Identitätsgestaltung von männlichen Homosexuellen präsentiert, bei denen die Gestaltbarkeit von Konstruktionen sexueller Identität und die Problematik der Subjekt-Umwelt-Relation deutlich werden. Im weiteren erfolgt ein kontrastierender Vergleich der Einzelfälle (Dimensionen: Familie, Peer Group, sexualbiografische Entwicklung, Medienbildungsprozesse, biografische Fallstruktur), die einer anschließenden Konstruktion von vier idealtypischen Prozessvarianten der sexualbiografischen Identitätsentwicklung zugeführt werden. Vier verschiedene Möglichkeiten des Internets als Präsentationstraum der eigenen Sexualität und Konstruktionen homosexueller Identität lassen sich somit skizzieren (Virtualitätslagerung, Zweckorientierung, reflexive Balancierung, periodische Selbstaktualisierung). Tentative Bildungs- und Identitätsprozesse sind also in der Virtualität des Internets möglich und können rekursiv-zirkulär auf reale Identitätsentwicklungen und reale Zugänge zu spezifischen sozialen Gruppen einwirken.

Efficient calculation of gluon amplitudes with n legs and an implementation of parton showers using the dipole formalism

The conventional way to calculate hard scattering processes in perturbation theory using Feynman diagrams is not efficient enough to calculate all necessary processes - for example for the Large Hadron Collider - to a sufficient precision. Two alternatives to order-by-order calculations are studied in this thesis.rnrnIn the first part we compare the numerical implementations of four different recursive methods for the efficient computation of Born gluon amplitudes: Berends-Giele recurrence relations and recursive calculations with scalar diagrams, with maximal helicity violating vertices and with shifted momenta. From the four methods considered, the Berends-Giele method performs best, if the number of external partons is eight or bigger. However, for less than eight external partons, the recursion relation with shifted momenta offers the best performance. When investigating the numerical stability and accuracy, we found that all methods give satisfactory results.rnrnIn the second part of this thesis we present an implementation of a parton shower algorithm based on the dipole formalism. The formalism treats initial- and final-state partons on the same footing. The shower algorithm can be used for hadron colliders and electron-positron colliders. Also massive partons in the final state were included in the shower algorithm. Finally, we studied numerical results for an electron-positron collider, the Tevatron and the Large Hadron Collider.

Numerical precision calculations for LHC physics

In dieser Arbeit stelle ich Aspekte zu QCD Berechnungen vor, welche eng verknüpft sind mit der numerischen Auswertung von NLO QCD Amplituden, speziell der entsprechenden Einschleifenbeiträge, und der effizienten Berechnung von damit verbundenen Beschleunigerobservablen. Zwei Themen haben sich in der vorliegenden Arbeit dabei herauskristallisiert, welche den Hauptteil der Arbeit konstituieren. Ein großer Teil konzentriert sich dabei auf das gruppentheoretische Verhalten von Einschleifenamplituden in QCD, um einen Weg zu finden die assoziierten Farbfreiheitsgrade korrekt und effizient zu behandeln. Zu diesem Zweck wird eine neue Herangehensweise eingeführt welche benutzt werden kann, um farbgeordnete Einschleifenpartialamplituden mit mehreren Quark-Antiquark Paaren durch Shufflesummation über zyklisch geordnete primitive Einschleifenamplituden auszudrücken. Ein zweiter großer Teil konzentriert sich auf die lokale Subtraktion von zu Divergenzen führenden Poltermen in primitiven Einschleifenamplituden. Hierbei wurde im Speziellen eine Methode entwickelt, um die primitiven Einchleifenamplituden lokal zu renormieren, welche lokale UV Counterterme und effiziente rekursive Routinen benutzt. Zusammen mit geeigneten lokalen soften und kollinearen Subtraktionstermen wird die Subtraktionsmethode dadurch auf den virtuellen Teil in der Berechnung von NLO Observablen erweitert, was die voll numerische Auswertung der Einschleifenintegrale in den virtuellen Beiträgen der NLO Observablen ermöglicht. Die Methode wurde schließlich erfolgreich auf die Berechnung von NLO Jetraten in Elektron-Positron Annihilation im farbführenden Limes angewandt.

Influence of micro-site conditions and environmental gradients on tree-ring based climate reconstructions

Tree-ring chronologies are a powerful natural archive to reconstruct summer temperature variations of the late Holocene with an annual resolution. To develop these long-term proxy records tree-ring series are commonly extended back in time by combining samples from living trees with relict dead material preserved onshore or in lakes. Former studies showed that low frequency variations in such reconstructions can be biased if the relict and recent material is from different origins. A detailed analysis of the influence of various ecological (micro-) habitats representing the recent part is required to estimate potential errors in temperature estimates. The application of collective detrending methods, that comprise absolute growth rates, can produce errors in climate reconstructions and results in an underestimation of past temperatures. The appearance of these kind of micro-site effects is a wide-spread phenomenon that takes place all over Fennoscandia. Future research in this key region for dendroclimatology should take this issue into account. Especially the higher climate response at the lakeshore site is interesting to achieve smaller uncertainties when a tree-ring series is transformed to temperature anomalies. For new composite chronologies the main aim should be to minimize potential biases and this includes also micro-site effects.