Reinforcement Lernen mit Regularisierungsnetzwerken

Die Arbeit behandelt das Problem der Skalierbarkeit von Reinforcement Lernen auf hochdimensionale und komplexe Aufgabenstellungen. Unter Reinforcement Lernen versteht man dabei eine auf approximativem Dynamischen Programmieren basierende Klasse von Lernverfahren, die speziell Anwendung in der Künstlichen Intelligenz findet und zur autonomen Steuerung simulierter Agenten oder realer Hardwareroboter in dynamischen und unwägbaren Umwelten genutzt werden kann. Dazu wird mittels Regression aus Stichproben eine Funktion bestimmt, die die Lösung einer "Optimalitätsgleichung" (Bellman) ist und aus der sich näherungsweise optimale Entscheidungen ableiten lassen. Eine große Hürde stellt dabei die Dimensionalität des Zustandsraums dar, die häufig hoch und daher traditionellen gitterbasierten Approximationsverfahren wenig zugänglich ist. Das Ziel dieser Arbeit ist es, Reinforcement Lernen durch nichtparametrisierte Funktionsapproximation (genauer, Regularisierungsnetze) auf -- im Prinzip beliebig -- hochdimensionale Probleme anwendbar zu machen. Regularisierungsnetze sind eine Verallgemeinerung von gewöhnlichen Basisfunktionsnetzen, die die gesuchte Lösung durch die Daten parametrisieren, wodurch die explizite Wahl von Knoten/Basisfunktionen entfällt und so bei hochdimensionalen Eingaben der "Fluch der Dimension" umgangen werden kann. Gleichzeitig sind Regularisierungsnetze aber auch lineare Approximatoren, die technisch einfach handhabbar sind und für die die bestehenden Konvergenzaussagen von Reinforcement Lernen Gültigkeit behalten (anders als etwa bei Feed-Forward Neuronalen Netzen). Allen diesen theoretischen Vorteilen gegenüber steht allerdings ein sehr praktisches Problem: der Rechenaufwand bei der Verwendung von Regularisierungsnetzen skaliert von Natur aus wie O(n**3), wobei n die Anzahl der Daten ist. Das ist besonders deswegen problematisch, weil bei Reinforcement Lernen der Lernprozeß online erfolgt -- die Stichproben werden von einem Agenten/Roboter erzeugt, während er mit der Umwelt interagiert. Anpassungen an der Lösung müssen daher sofort und mit wenig Rechenaufwand vorgenommen werden. Der Beitrag dieser Arbeit gliedert sich daher in zwei Teile: Im ersten Teil der Arbeit formulieren wir für Regularisierungsnetze einen effizienten Lernalgorithmus zum Lösen allgemeiner Regressionsaufgaben, der speziell auf die Anforderungen von Online-Lernen zugeschnitten ist. Unser Ansatz basiert auf der Vorgehensweise von Recursive Least-Squares, kann aber mit konstantem Zeitaufwand nicht nur neue Daten sondern auch neue Basisfunktionen in das bestehende Modell einfügen. Ermöglicht wird das durch die "Subset of Regressors" Approximation, wodurch der Kern durch eine stark reduzierte Auswahl von Trainingsdaten approximiert wird, und einer gierigen Auswahlwahlprozedur, die diese Basiselemente direkt aus dem Datenstrom zur Laufzeit selektiert. Im zweiten Teil übertragen wir diesen Algorithmus auf approximative Politik-Evaluation mittels Least-Squares basiertem Temporal-Difference Lernen, und integrieren diesen Baustein in ein Gesamtsystem zum autonomen Lernen von optimalem Verhalten. Insgesamt entwickeln wir ein in hohem Maße dateneffizientes Verfahren, das insbesondere für Lernprobleme aus der Robotik mit kontinuierlichen und hochdimensionalen Zustandsräumen sowie stochastischen Zustandsübergängen geeignet ist. Dabei sind wir nicht auf ein Modell der Umwelt angewiesen, arbeiten weitestgehend unabhängig von der Dimension des Zustandsraums, erzielen Konvergenz bereits mit relativ wenigen Agent-Umwelt Interaktionen, und können dank des effizienten Online-Algorithmus auch im Kontext zeitkritischer Echtzeitanwendungen operieren. Wir demonstrieren die Leistungsfähigkeit unseres Ansatzes anhand von zwei realistischen und komplexen Anwendungsbeispielen: dem Problem RoboCup-Keepaway, sowie der Steuerung eines (simulierten) Oktopus-Tentakels.

Imaging and modeling of pore scale processes in porous media using X-ray computed tomography and lattice Boltzmann solver

In der Erdöl– und Gasindustrie sind bildgebende Verfahren und Simulationen auf der Porenskala im Begriff Routineanwendungen zu werden. Ihr weiteres Potential lässt sich im Umweltbereich anwenden, wie z.B. für den Transport und Verbleib von Schadstoffen im Untergrund, die Speicherung von Kohlendioxid und dem natürlichen Abbau von Schadstoffen in Böden. Mit der Röntgen-Computertomografie (XCT) steht ein zerstörungsfreies 3D bildgebendes Verfahren zur Verfügung, das auch häufig für die Untersuchung der internen Struktur geologischer Proben herangezogen wird. Das erste Ziel dieser Dissertation war die Implementierung einer Bildverarbeitungstechnik, die die Strahlenaufhärtung der Röntgen-Computertomografie beseitigt und den Segmentierungsprozess dessen Daten vereinfacht. Das zweite Ziel dieser Arbeit untersuchte die kombinierten Effekte von Porenraumcharakteristika, Porentortuosität, sowie die Strömungssimulation und Transportmodellierung in Porenräumen mit der Gitter-Boltzmann-Methode. In einer zylindrischen geologischen Probe war die Position jeder Phase auf Grundlage der Beobachtung durch das Vorhandensein der Strahlenaufhärtung in den rekonstruierten Bildern, das eine radiale Funktion vom Probenrand zum Zentrum darstellt, extrahierbar und die unterschiedlichen Phasen ließen sich automatisch segmentieren. Weiterhin wurden Strahlungsaufhärtungeffekte von beliebig geformten Objekten durch einen Oberflächenanpassungsalgorithmus korrigiert. Die Methode der „least square support vector machine” (LSSVM) ist durch einen modularen Aufbau charakterisiert und ist sehr gut für die Erkennung und Klassifizierung von Mustern geeignet. Aus diesem Grund wurde die Methode der LSSVM als pixelbasierte Klassifikationsmethode implementiert. Dieser Algorithmus ist in der Lage komplexe geologische Proben korrekt zu klassifizieren, benötigt für den Fall aber längere Rechenzeiten, so dass mehrdimensionale Trainingsdatensätze verwendet werden müssen. Die Dynamik von den unmischbaren Phasen Luft und Wasser wird durch eine Kombination von Porenmorphologie und Gitter Boltzmann Methode für Drainage und Imbibition Prozessen in 3D Datensätzen von Böden, die durch synchrotron-basierte XCT gewonnen wurden, untersucht. Obwohl die Porenmorphologie eine einfache Methode ist Kugeln in den verfügbaren Porenraum einzupassen, kann sie dennoch die komplexe kapillare Hysterese als eine Funktion der Wassersättigung erklären. Eine Hysterese ist für den Kapillardruck und die hydraulische Leitfähigkeit beobachtet worden, welche durch die hauptsächlich verbundenen Porennetzwerke und der verfügbaren Porenraumgrößenverteilung verursacht sind. Die hydraulische Konduktivität ist eine Funktion des Wassersättigungslevels und wird mit einer makroskopischen Berechnung empirischer Modelle verglichen. Die Daten stimmen vor allem für hohe Wassersättigungen gut überein. Um die Gegenwart von Krankheitserregern im Grundwasser und Abwässern vorhersagen zu können, wurde in einem Bodenaggregat der Einfluss von Korngröße, Porengeometrie und Fluidflussgeschwindigkeit z.B. mit dem Mikroorganismus Escherichia coli studiert. Die asymmetrischen und langschweifigen Durchbruchskurven, besonders bei höheren Wassersättigungen, wurden durch dispersiven Transport aufgrund des verbundenen Porennetzwerks und durch die Heterogenität des Strömungsfeldes verursacht. Es wurde beobachtet, dass die biokolloidale Verweilzeit eine Funktion des Druckgradienten als auch der Kolloidgröße ist. Unsere Modellierungsergebnisse stimmen sehr gut mit den bereits veröffentlichten Daten überein.

Prediction of new crystal structures under extreme conditions

One of the most important challenges in chemistry and material science is the connection between the contents of a compound and its chemical and physical properties. In solids, these are greatly influenced by the crystal structure.rnrnThe prediction of hitherto unknown crystal structures with regard to external conditions like pressure and temperature is therefore one of the most important goals to achieve in theoretical chemistry. The stable structure of a compound is the global minimum of the potential energy surface, which is the high dimensional representation of the enthalpy of the investigated system with respect to its structural parameters. The fact that the complexity of the problem grows exponentially with the system size is the reason why it can only be solved via heuristic strategies.rnrnImprovements to the artificial bee colony method, where the local exploration of the potential energy surface is done by a high number of independent walkers, are developed and implemented. This results in an improved communication scheme between these walkers. This directs the search towards the most promising areas of the potential energy surface.rnrnThe minima hopping method uses short molecular dynamics simulations at elevated temperatures to direct the structure search from one local minimum of the potential energy surface to the next. A modification, where the local information around each minimum is extracted and used in an optimization of the search direction, is developed and implemented. Our method uses this local information to increase the probability of finding new, lower local minima. This leads to an enhanced performance in the global optimization algorithm.rnrnHydrogen is a highly relevant system, due to the possibility of finding a metallic phase and even superconductor with a high critical temperature. An application of a structure prediction method on SiH12 finds stable crystal structures in this material. Additionally, it becomes metallic at relatively low pressures.

Length scales of dynamic heterogeneities of low and high molecular weight glass formers from multidimensional NMR

Das Ziel der vorliegenden Arbeit ist die Untersuchung der räumlichen und zeitlichen Aspekte der heterogenen Dynamik in Modellglasbildnern. Dabei wird vor allem die langsame alpha-Relaxationsdynamik oberhalb des Glasüberganges Tg untersucht. Die nukleare Magnetresonanz zeigt ihre einmalige Vielseitigkeit bei der Untersuchung molekularer Dynamik, wenn die angewandten Techniken und Experimente durch Simulationen unterstützt werden. Die räumliche Aspekt dynamischer Heterogenitäten wird untersucht durch ein reduziertes vierdimensionales Spindiffusionsexperiment (4D3CP), ein Experiment, das Reorientierungsraten örtlich korreliert. Eine Simulation dieses Experimentes an einem System harter Kugeln liefert wertvolle Informationen über die Auswertemethode des 4D3CP Experiments. Glycerol und o-terphenyl werden durch das 4D3CP Experiment untersucht. Die erhaltenen Resultate werden mit bereits publizierten Daten des polymeren Glasbildners PVAc verglichen. Während PVAc und o-terphenyl eine Längenskale von 3.7 nm bzw. 2.9 nm aufweisen, ist die Längenskale von Glycerol signifikant kleiner bei 1.1 nm. Ein neues Experiment, welches sensitiv auf Translationsbewegung reagiert, wird vorgestellt. Durch Verwendung eines pi-Impulszuges kann eine separate Evolution unter dem Hamiltonian der dipolaren Kopplung und der chemischen Verschiebungsanisotropie erreicht werden.

1-, 2- and 3-dimensional phenylene-based materials for optoelectronic applications

A series of oligo-phenylene dendronised conjugated polymers was prepared. The divergent synthetic approach adopted allowed for the facile synthesis of a range of dendronised monomers from a common intermediate, e.g. first and second generation fluorene. Only the polymerisation of the first generation and alkylarylamine substituted dendronised fluorene monomers yielded high molecular weight materials, attributed to the low solubility of the remaining dendronised monomers. The alkylarylamine substituted dendronised poly(fluorene) was incorporated into an organic light emitting diode (OLED) and exhibited an increased colour stability in air compared to other poly(fluorenes). The concept of dendronisation was extended to poly(fluorenone), a previously insoluble material. The synthesis of the first soluble poly(fluorenone) was achieved by the incorporation of oligo-phenylene dendrons at the 4-position of fluorenone. The dendronisation of fluorenone allowed for a polymer with an Mn of 4.1 x 104 gmol-1 to be prepared. Cyclic voltammetry of the dendronised poly(fluorenone) showed that the electron affinity of the polymer was high and that the polymer is a promising n-type material. A dimer and trimer of indenofluorene (IF) were prepared from the monobromo IF. These oligomers were investigated by 2-dimensional wide angle x-ray spectroscopy (2D-WAXS), polarised optical microscopy (POM) and dielectric spectroscopy, and found to form highly ordered smetic phases. By attaching perylene dye as the end-capper on the IF oligomers, molecules that exhibited efficient Förster energy transfer were obtained. Indenofluorene monoketone, a potential defect structure for IF based OLED’s, was synthesised. The synthesis of this model defect structure allowed for the long wavelength emission in OLED’s to be identified as ketone defects. The long wavelength emission from the indenofluorene monoketone was found to be concentration dependent, and suggests that aggregate formation is occurring. An IF linked hexa-peri-hexabenzocoronene (HBC) dimer was synthesised. The 2D-WAXS images of this HBC dimer demonstrate that the molecule exhibits intercolumnar organisation perpendicular to the extrusion direction. POM images of mixtures of the HBC dimer mixed with an HBC with a low isotropic temperature demonstrated that the HBC dimer is mixing with the isotropic HBC.

High quality colloidal crystals with different architectures and their optical properties

In this present work high quality PMMA opals with different sphere sizes, silica opals from large size spheres, multilayer opals, and inverse opals were fabricated. Highly monodisperse PMMA spheres were synthesized by surfactant-free emulsion polymerization (polydispersity ~2%). Large-area and well-ordered PMMA crystalline films with a homogenous thickness were produced by the vertical deposition method using a drawing device. Optical experiments have confirmed the high quality of these PMMA photonic crystals, e.g., well resolved high-energy bands of the transmission and reflectance spectra of the opaline films were observed. For fabrication of high quality opaline photonic crystals from large silica spheres (diameter of 890 nm), self-assembled in patterned Si-substrates a novel technique has been developed, in which the crystallization was performed by using a drawing apparatus in combination with stirring. The achievements comprise a spatial selectivity of opal crystallization without special treatment of the wafer surface, the opal lattice was found to match the pattern precisely in width as well as depth, particularly an absence of cracks within the size of the trenches, and finally a good three-dimensional order of the opal lattice even in trenches with a complex confined geometry. Multilayer opals from opaline films with different sphere sizes or different materials were produced by sequential crystallization procedure. Studies of the transmission in triple-layer hetero-opal revealed that its optical properties cannot only be considered as the linear superposition of two independent photonic bandgaps. The remarkable interface effect is the narrowing of the transmission minima. Large-area, high-quality, and robust photonic opal replicas from silicate-based inorganic-organic hybrid polymers (ORMOCER® s) were prepared by using the template-directed method, in which a high quality PMMA opal template was infiltrated with a neat inorganic-organic ORMOCER® oligomer, which can be photopolymerized within the opaline voids leading to a fully-developed replica structure with a filling factor of nearly 100%. This opal replica is structurally homogeneous, thermally and mechanically stable and the large scale (cm2 size) replica films can be handled easily as free films with a pair of tweezers.

Integrative Musterbildung kranialer Strukturen

Form und Gestalt kraniofazialer Strukturen sind primär beeinflusst durch die inhärente Integration der unterschiedlichsten Funktionssysteme und externer selektiver Einflüsse. Die Variabilität der Schädel-Morphe ist ein Indikator für solche Einflussfaktoren und damit ein idealer Gegenstand für vergleichende Analysen morphogenetischer Formbildung. Zur Ermittlung morphologisch-adaptiver Trends und Muster wurden sowohl Hypothesen zur morphologischen Differenziertheit als auch zu Korrelationen zwischen modularen Schädelkompartimenten (fazial, neurokranial, basikranial) untersucht. Zusätzlich wurden aus Schichtröntgenaufnahmen (CT) virtuelle Modelle rekonstruiert, welche die Interpretation der statistischen Befunde unterstützen sollten. Zur Berechnung der Gestaltunterschiede wurden mittels eines mechanischen Gelenkarm-Messgerätes (MicroScribe-G2) max. 85 ektokraniale Messpunkte (Landmarks) bzw. dreidimensionale Koordinaten an ca. 520 Schädeln von fünf rezenten Gattungen der Überfamilie Hominoidea (Hylobates, Pongo, Gorilla, Pan und Homo) akquiriert. Aus dem Datensatz wurden geometrische Störfaktoren (Größe, Translation, Rotation) mathematisch eliminiert und die verbleibenden Residuale bzw. ‚Gestalt-Variablen‘ diversen multivariat-statistischen Verfahren unterzogen (Faktoren, Cluster-, Regressions- und Korrelationsanalysen sowie statistische Tests). Die angewandten Methoden erhalten die geometrische Information der Untersuchungsobjekte über alle Analyseschritte hinweg und werden unter der Bezeichnung „Geometric Morphometrics (GMM)“ als aktueller Ansatz der Morphometrie zusammengefasst. Für die unterschiedlichen Fragestellungen wurden spezifische Datensätze generiert. Es konnten diverse morphologische Trends und adaptive Muster mit Hilfe der Synthese statistischer Methoden und computer-basierter Rekonstruktionen aus den generierten Datensätzen ermittelt werden. Außerdem war es möglich, präzise zu rekonstruieren, welche kranialen Strukturen innerhalb der Stichprobe miteinander wechselwirken, einzigartige Variabilitäten repräsentieren oder eher homogen gestaltet sind. Die vorliegenden Befunde lassen erkennen, dass Fazial- und Neurokranium am stärksten miteinander korrelieren, während das Basikranium geringe Abhängigkeiten in Bezug auf Gesichts- oder Hirnschädelveränderungen zeigte. Das Basikranium erweist sich zudem bei den nicht-menschlichen Hominoidea und über alle Analysen hinweg als konservative und evolutiv-persistente Struktur mit dem geringsten Veränderungs-Potential. Juvenile Individuen zeigen eine hohe Affinität zueinander und zu Formen mit einem kleinem Gesichts- und großem Hirnschädel. Während das Kranium des rezenten Menschen primär von Enkephalisation und fazialer Retraktion (Orthognathisierung) dominiert ist und somit eine einzigartige Gestalt aufweist, zeigt sich der Kauapparat als maßgeblich formbildendes Kompartiment bei den nicht-menschlichen Formen. Die Verbindung von GMM mit den interaktiven Möglichkeiten computergenerierter Modelle erwies sich als valides Werkzeug zur Erfassung der aufgeworfenen Fragestellungen. Die Interpretation der Befunde ist durch massive Interkorrelationen der untersuchten Strukturen und der statistisch-mathematischen Prozeduren als hoch komplex zu kennzeichnen. Die Studie präsentiert einen innovativen Ansatz der modernen Morphometrie, welcher für zukünftige Untersuchungen im Bereich der kraniofazialen Gestaltanalyse ausgebaut werden könnte. Dabei verspricht die Verknüpfung mit ‚klassischen’ und modernen Zugängen (z. B. Molekularbiologie) gesteigerte Erkenntnismöglichkeiten für künftige morphometrische Fragestellungen.

Interacting bosons and fermions in three-dimensional optical lattice potentials

This thesis reports on the realization, characterization and analysis of ultracold bosonic and fermionic atoms in three-dimensional optical lattice potentials. Ultracold quantum gases in optical lattices can be regarded as ideal model systems to investigate quantum many-body physics. In this work interacting ensembles of bosonic 87Rb and fermionic 40K atoms are employed to study equilibrium phases and nonequilibrium dynamics. The investigations are enabled by a versatile experimental setup, whose core feature is a blue-detuned optical lattice that is combined with Feshbach resonances and a red-detuned dipole trap to allow for independent control of tunneling, interactions and external confinement. The Fermi-Hubbard model, which plays a central role in the theoretical description of strongly correlated electrons, is experimentally realized by loading interacting fermionic spin mixtures into the optical lattice. Using phase-contrast imaging the in-situ size of the atomic density distribution is measured, which allows to extract the global compressibility of the many-body state as a function of interaction and external confinement. Thereby, metallic and insulating phases are clearly identified. At strongly repulsive interaction, a vanishing compressibility and suppression of doubly occupied lattice sites signal the emergence of a fermionic Mott insulator. In a second series of experiments interaction effects in bosonic lattice quantum gases are analyzed. Typically, interactions between microscopic particles are described as two-body interactions. As such they are also contained in the single-band Bose-Hubbard model. However, our measurements demonstrate the presence of multi-body interactions that effectively emerge via virtual transitions of atoms to higher lattice bands. These findings are enabled by the development of a novel atom optical measurement technique: In quantum phase revival spectroscopy periodic collapse and revival dynamics of the bosonic matter wave field are induced. The frequencies of the dynamics are directly related to the on-site interaction energies of atomic Fock states and can be read out with high precision. The third part of this work deals with mixtures of bosons and fermions in optical lattices, in which the interspecies interactions are accurately controlled by means of a Feshbach resonance. Studies of the equilibrium phases show that the bosonic superfluid to Mott insulator transition is shifted towards lower lattice depths when bosons and fermions interact attractively. This observation is further analyzed by applying quantum phase revival spectroscopy to few-body systems consisting of a single fermion and a coherent bosonic field on individual lattice sites. In addition to the direct measurement of Bose-Fermi interaction energies, Bose-Bose interactions are proven to be modified by the presence of a fermion. This renormalization of bosonic interaction energies can explain the shift of the Mott insulator transition. The experiments of this thesis lay important foundations for future studies of quantum magnetism with fermionic spin mixtures as well as for the realization of complex quantum phases with Bose-Fermi mixtures. They furthermore point towards physics that reaches beyond the single-band Hubbard model.

Computer simulations of two-dimensional colloidal crystals under confinement and shear

In this thesis we are presenting a broadly based computer simulation study of two-dimensional colloidal crystals under different external conditions. In order to fully understand the phenomena which occur when the system is being compressed or when the walls are being sheared, it proved necessary to study also the basic motion of the particles and the diffusion processes which occur in the case without these external forces. In the first part of this thesis we investigate the structural transition in the number of rows which occurs when the crystal is being compressed by placing the structured walls closer together. Previous attempts to locate this transition were impeded by huge hysteresis effects. We were able to determine the transition point with higher precision by applying both the Schmid-Schilling thermodynamic integration method and the phase switch Monte Carlo method in order to determine the free energies. These simulations showed not only that the phase switch method can successfully be applied to systems with a few thousand particles and a soft crystalline structure with a superimposed pattern of defects, but also that this method is way more efficient than a thermodynamic integration when free energy differences are to be calculated. Additionally, the phase switch method enabled us to distinguish between several energetically very similar structures and to determine which one of them was actually stable. Another aspect considered in the first result chapter of this thesis is the ensemble inequivalence which can be observed when the structural transition is studied in the NpT and in the NVT ensemble. The second part of this work deals with the basic motion occurring in colloidal crystals confined by structured walls. Several cases are compared where the walls are placed in different positions, thereby introducing an incommensurability into the crystalline structure. Also the movement of the solitons, which are created in the course of the structural transition, is investigated. Furthermore, we will present results showing that not only the well-known mechanism of vacancies and interstitial particles leads to diffusion in our model system, but that also cooperative ring rotation phenomena occur. In this part and the following we applied Langevin dynamics simulations. In the last chapter of this work we will present results on the effect of shear on the colloidal crystal. The shear was implemented by moving the walls with constant velocity. We have observed shear banding and, depending on the shear velocity, that the inner part of the crystal breaks into several domains with different orientations. At very high shear velocities holes are created in the structure, which originate close to the walls, but also diffuse into the inner part of the crystal.