Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

Near-field mediated enhancement effects on plasmonic nanostructures

In dieser Arbeit wird eine detaillierte Untersuchung und Charakterisierung der Zwei-Photonen-induzierten Fluoreszenzverstärkung von organischen Farbstoffen auf plasmonischen Nanostrukturen vorgestellt. Diese Fluoreszenzverstärkung ist insbesondere für hochaufgelöste Fluoreszenzmikroskopie und Einzelmolekülspektroskopie von großer Bedeutung. Durch die Zwei-Photonen-Anregung resultiert eine Begrenzung des Absorptionsprozesses auf das fokale Volumen. In Kombination mit dem elektrischen Nahfeld der Nanostrukturen als Anregungsquelle entsteht eine noch stärkere Verringerung des Anregungsvolumens auf eine Größe unterhalb der Beugungsgrenze. Dies erlaubt die selektive Messung ausgewählter Farbstoffe. Durch die Herstellung der Nanopartikel mittels Kolloidlithografie wird eine definierte, reproduzierbare Geometrie erhalten. Polymermultischichten dienen als Abstandshalter, um die Farbstoffe an einer exakten Distanz zum Metall zu positionieren. Durch die kovalente Anbindung des Farbstoffs an die oberste Schicht wird eine gleichmäßige Verteilung des Farbstoffs in geringer Konzentration erhalten. rnEs wird eine Verstärkung der Fluoreszenz um den Faktor 30 für Farbstoffe auf Goldellipsen detektiert, verglichen mit Farbstoffen außerhalb des Nahfelds. Sichelförmige Nanostrukturen erzeugen eine Verstärkung von 120. Dies belegt, dass das Ausmaß der Fluoreszenzverstärkung entscheidend von der Stärke des elektrischen Nahfelds der Nanostruktur abhängt. Auch das Material der Nanostruktur ist hierbei von Bedeutung. So erzeugen Silberellipsen eine 1,5-fach höhere Fluoreszenzverstärkung als identische Goldellipsen. Distanzabhängige Fluoreszenzmessungen zeigen, dass die Zwei-Photonen-angeregte Fluoreszenzverstärkung an strukturspezifischen Abständen zum Metall maximiert wird. Elliptische Strukturen zeigen ein Maximum bei einem Abstand von 8 nm zum Metall, wohingegen bei sichelförmigen Nanostrukturen die höchste Fluoreszenzintensität bei 12 nm gemessen wird. Bei kleineren Abständen unterliegt der Farbstoff einem starken Löschprozess, sogenanntes Quenching. Dieses konkurriert mit dem Verstärkungsprozess, wodurch es zu einer geringen Nettoverstärkung kommt. Hat die untersuchte Struktur Dimensionen größer als das Auflösungsvermögen des Mikroskops, ist eine direkte Visualisierung des elektrischen Nahfelds der Nanostruktur möglich. rnrnEin weiterer Fokus dieser Arbeit lag auf der Herstellung neuartiger Nanostrukturen durch kolloidlithografische Methoden. Gestapelte Dimere sichelförmiger Nanostrukturen mit exakter vertikaler Ausrichtung und einem Separationsabstand von etwa 10 nm wurden hergestellt. Die räumliche Nähe der beiden Strukturen führt zu einem Kopplungsprozess, der neue optische Resonanzen hervorruft. Diese können als Superpositionen der Plasmonenmoden der einzelnen Sicheln beschrieben werden. Ein Hybridisierungsmodell wird angewandt, um die spektralen Unterschiede zu erklären. Computersimulationen belegen die zugrunde liegende Theorie und erweitern das Modell um experimentell nicht aufgelöste Resonanzen. rnWeiterhin wird ein neuer Herstellungsprozess für sichelförmige Nanostrukturen vorgestellt, der eine präzise Formanpassung ermöglicht. Hierdurch kann die Lage der Plasmonenresonanz exakt justiert werden. Korrelationen der geometrischen Daten mit den Resonanzwellenlängen tragen zum grundlegenden Verständnis der Plasmonenresonanzen bei. Die vorgestellten Resultate wurden mittels Computersimulationen verifiziert. Der Fabrikationsprozess erlaubt die Herstellung von Dimeren sichelförmiger Nanostrukturen in einer Ebene. Durch die räumliche Nähe überlappen die elektrischen Nahfelder, wodurch es zu kopplungs-induzierten Shifts der Plasmonenresonanzen kommt. Der Unterschied zu theoretisch berechneten ungekoppelten Nanosicheln kann auch bei den gegenüberliegenden sichelförmigen Nanostrukturen mit Hilfe des Plasmonenhybridisierungsmodells erklärt werden.