Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

Aufbau des Crystal-Ball-Detektorsystems und Untersuchung der Helizitätsasymmetrie in gamma p p pi 0 pi 0

Seit Frühjahr 2004 wird der Crystal Ball-Detektor am Photonenstrahl des Mainzer Mikrotrons für Koinzidenzexperimente zur Untersuchung der Struktur der Nukleonen genutzt. Aufbau und Inbetriebnahme des Kalorimeters, insbesondere der neuen Detektorelektronik, bilden einen Schwerpunkt dieser Arbeit. Komponenten wurden neu konstruiert oder auf ihre Verwendbarkeit geprüft und nögenfalls modifiziert. Nach erfolgreichem Abschluss der Aufbauphase wurden Experimente zur Produktion von $pi$- und $eta$-Mesonen am Proton mit mehr als 2500 Stunden Strahlbetrieb durchgeführt. Den zweiten Schwerpunkt der Dissertation bildet die erstmalige Messung der Helizitätsasymmetrie I$^odot$ in der Photoproduktion zweier neutraler Pionen. Zum Verstädnis des Anregungsspektrums der Nukleonen müssen Experimente mit polarisierten Photonen und/oder polarisierten Targets durchgeführt werden. Da Modelle trotz unterschiedlicher Annahmen unpolarisiert gemessene Größen vergleichbar gut reproduzieren, ist die Bestimmung der auf Modellunterschiede empfindlichen Polarisationsobservablen unumgäglich. Im Gegensatz zur Einpionproduktion tritt in der Zweipionproduktion eine Einfachpolarisationsobservable auf, die mit zirkular polarisierten Photonen am unpolarisierten Proton gemessen werden kann. Diese wurde in der Reaktion $gamma$ p $rightarrow$ p $pi^0$ $pi^0$ und in $gamma$ p $rightarrow$ p $pi^+$ $pi^-$ energie- und winkelabhägig bestimmt. Die Ergebnisse weichen stark von den Modellvorhersagen ab.