Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

Chemical composition measurements of cloud condensation nuclei and ice nuclei by aerosol mass spectrometry

In this study the Aerodyne Aerosol Mass Spectrometer (AMS) was used during three laboratory measurement campaigns, FROST1, FROST2 and ACI-03. The FROST campaigns took place at the Leipzig Aerosol Cloud Interaction Simulator (LACIS) at the IfT in Leipzig and the ACI-03 campaign was conducted at the AIDA facility at the Karlsruhe Institute of Technology (KIT). In all three campaigns, the effect of coatings on mineral dust ice nuclei (IN) was investigated. During the FROST campaigns, Arizona Test Dust (ATD) particles of 200, 300 and 400 nm diameter were coated with thin coatings (< 7 nm) of sulphuric acid. At these very thin coatings, the AMS was operated close to its detection limits. Up to now it was not possible to accurately determine AMS detection limits during regular measurements. Therefore, the mathematical tools to analyse the detection limits of the AMS have been improved in this work. It is now possible to calculate detection limits of the AMS under operating conditions, without losing precious time by sampling through a particle filter. The instrument was characterised in more detail to enable correct quantification of the sulphate loadings on the ATD particle surfaces. Correction factors for the instrument inlet transmission, the collection efficiency, and the relative ionisation efficiency have been determined. With these corrections it was possible to quantify the sulphate mass per particle on the ATD after the condensation of sulphuric acid on its surface. The AMS results have been combined with the ice nucleus counter results. This revealed that the IN-efficiency of ATD is reduced when it is coated with sulphuric acid. The reason for this reduction is a chemical reaction of sulphuric acid with the particle's surface. These reactions are increasingly taking place when the aerosol is humidified or heated after the coating with sulphuric acid. A detailed analysis of the solubility and the evaporation temperature of the surface reaction products revealed that most likely aluminium sulphate is produced in these reactions.