Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

A new class of bragg stacks and its principle application

This work is focused on the development of high quality nanoporous 1D photonic crystals –so called Bragg stacks – made by spin-coating of approximately 25 nm large SiO2 and TiO2 nanoparticles bearing interparticle voids large enough to infiltrate reactive species. Therefore, the first part of this work describes the synthesis of well-dispersed TiO2 nanoparticles in this size range (the corresponding SiO2 nanoparticles are commercially available). In the second part, a protocol was developed to prepare nanoporous Bragg stacks of up to 12 bilayers with high quality and precision. Tailor-made Bragg stacks were prepared for different applications such as (i) a surface emitting feedback laser with a FWHM of only 6 nm and (ii) an electrochromic device with absorption reversibly switchable by an external electrical bias independently of the Bragg reflection. In the last chapter, the approach to 1D photonic crystals is transferred to 1D phononic crystals. Contrast in the modulus is achieved by spin-coating SiO2 and PMMA as high and low moduli material. This system showed a band gap of fg = 12.6 GHz with a width of Dfg/fg = 4.5 GHz.