Reinforcement Lernen mit Regularisierungsnetzwerken

Die Arbeit behandelt das Problem der Skalierbarkeit von Reinforcement Lernen auf hochdimensionale und komplexe Aufgabenstellungen. Unter Reinforcement Lernen versteht man dabei eine auf approximativem Dynamischen Programmieren basierende Klasse von Lernverfahren, die speziell Anwendung in der Künstlichen Intelligenz findet und zur autonomen Steuerung simulierter Agenten oder realer Hardwareroboter in dynamischen und unwägbaren Umwelten genutzt werden kann. Dazu wird mittels Regression aus Stichproben eine Funktion bestimmt, die die Lösung einer "Optimalitätsgleichung" (Bellman) ist und aus der sich näherungsweise optimale Entscheidungen ableiten lassen. Eine große Hürde stellt dabei die Dimensionalität des Zustandsraums dar, die häufig hoch und daher traditionellen gitterbasierten Approximationsverfahren wenig zugänglich ist. Das Ziel dieser Arbeit ist es, Reinforcement Lernen durch nichtparametrisierte Funktionsapproximation (genauer, Regularisierungsnetze) auf -- im Prinzip beliebig -- hochdimensionale Probleme anwendbar zu machen. Regularisierungsnetze sind eine Verallgemeinerung von gewöhnlichen Basisfunktionsnetzen, die die gesuchte Lösung durch die Daten parametrisieren, wodurch die explizite Wahl von Knoten/Basisfunktionen entfällt und so bei hochdimensionalen Eingaben der "Fluch der Dimension" umgangen werden kann. Gleichzeitig sind Regularisierungsnetze aber auch lineare Approximatoren, die technisch einfach handhabbar sind und für die die bestehenden Konvergenzaussagen von Reinforcement Lernen Gültigkeit behalten (anders als etwa bei Feed-Forward Neuronalen Netzen). Allen diesen theoretischen Vorteilen gegenüber steht allerdings ein sehr praktisches Problem: der Rechenaufwand bei der Verwendung von Regularisierungsnetzen skaliert von Natur aus wie O(n**3), wobei n die Anzahl der Daten ist. Das ist besonders deswegen problematisch, weil bei Reinforcement Lernen der Lernprozeß online erfolgt -- die Stichproben werden von einem Agenten/Roboter erzeugt, während er mit der Umwelt interagiert. Anpassungen an der Lösung müssen daher sofort und mit wenig Rechenaufwand vorgenommen werden. Der Beitrag dieser Arbeit gliedert sich daher in zwei Teile: Im ersten Teil der Arbeit formulieren wir für Regularisierungsnetze einen effizienten Lernalgorithmus zum Lösen allgemeiner Regressionsaufgaben, der speziell auf die Anforderungen von Online-Lernen zugeschnitten ist. Unser Ansatz basiert auf der Vorgehensweise von Recursive Least-Squares, kann aber mit konstantem Zeitaufwand nicht nur neue Daten sondern auch neue Basisfunktionen in das bestehende Modell einfügen. Ermöglicht wird das durch die "Subset of Regressors" Approximation, wodurch der Kern durch eine stark reduzierte Auswahl von Trainingsdaten approximiert wird, und einer gierigen Auswahlwahlprozedur, die diese Basiselemente direkt aus dem Datenstrom zur Laufzeit selektiert. Im zweiten Teil übertragen wir diesen Algorithmus auf approximative Politik-Evaluation mittels Least-Squares basiertem Temporal-Difference Lernen, und integrieren diesen Baustein in ein Gesamtsystem zum autonomen Lernen von optimalem Verhalten. Insgesamt entwickeln wir ein in hohem Maße dateneffizientes Verfahren, das insbesondere für Lernprobleme aus der Robotik mit kontinuierlichen und hochdimensionalen Zustandsräumen sowie stochastischen Zustandsübergängen geeignet ist. Dabei sind wir nicht auf ein Modell der Umwelt angewiesen, arbeiten weitestgehend unabhängig von der Dimension des Zustandsraums, erzielen Konvergenz bereits mit relativ wenigen Agent-Umwelt Interaktionen, und können dank des effizienten Online-Algorithmus auch im Kontext zeitkritischer Echtzeitanwendungen operieren. Wir demonstrieren die Leistungsfähigkeit unseres Ansatzes anhand von zwei realistischen und komplexen Anwendungsbeispielen: dem Problem RoboCup-Keepaway, sowie der Steuerung eines (simulierten) Oktopus-Tentakels.

Strukturelle, chemische und isotopische Analysen nanoskaliger präsolarer und früher solarer Kondensate

Neben astronomischen Beobachtungen mittels boden- und satellitengestützer Instrumente existiert ein weiterer experimenteller Zugang zu astrophysikalischen Fragestellungen in Form einer Auswahl extraterrestrischen Materials, das für Laboruntersuchungen zur Verfügung steht. Hierzu zählen interplanetare Staubpartikel, Proben, die von Raumfahrzeugen zur Erde zurückgebracht wurden und primitive Meteorite. Von besonderem Interesse sind sog. primitive kohlige Chondrite, eine Klasse von Meteoriten, die seit ihrer Entstehung im frühen Sonnensystem kaum verändert wurden. Sie enthalten neben frühem solarem Material präsolare Minerale, die in Sternwinden von Supernovae und roten Riesensternen kondensiert sind und die Bildung unseres Sonnensystems weitgehend unverändert überstanden haben. Strukturelle, chemische und isotopische Analysen dieser Proben besitzen demnach eine große Relevanz für eine Vielzahl astrophysikalischer Forschungsgebiete. Im Rahmen der vorliegenden Arbeit wurden Laboranalysen mittels modernster physikalischer Methoden an Bestandteilen primitiver Meteorite durchgeführt. Aufgrund der Vielfalt der zu untersuchenden Eigenschaften und der geringen Größen der analysierten Partikel zwischen wenigen Nanometern und einigen Mikrometern mussten hierbei hohe Anforderungen an Nachweiseffizienz und Ortsauflösung gestellt werden. Durch die Kombination verschiedener Methoden wurde ein neuer methodologischer Ansatz zur Analyse präsolarer Minerale (beispielsweise SiC) entwickelt. Aufgrund geringer Mengen verfügbaren Materials basiert dieses Konzept auf der parallelen nichtdestruktiven Vorcharakterisierung einer Vielzahl präsolarer Partikel im Hinblick auf ihren Gehalt diagnostischer Spurenelemente. Eine anschließende massenspektrometrische Untersuchung identifizierter Partikel mit hohen Konzentrationen interessanter Elemente ist in der Lage, Informationen zu nukleosynthetischen Bedingungen in ihren stellaren Quellen zu liefern. Weiterhin wurden Analysen meteoritischer Nanodiamanten durchgeführt, deren geringe Größen von wenigen Nanometern zu stark modifizierten Festkörpereigenschaften führen. Im Rahmen dieser Arbeit wurde eine quantitative Beschreibung von Quanteneinschluss-Effekten entwickelt, wie sie in diesen größenverteilten Halbleiter-Nanopartikeln auftreten. Die abgeleiteten Ergebnisse besitzen Relevanz für nanotechnologische Forschungen. Den Kern der vorliegenden Arbeit bilden Untersuchungen an frühen solaren Partikeln, sog. refraktären Metall Nuggets (RMN). Mit Hilfe struktureller, chemischer und isotopischer Analysen, sowie dem Vergleich der Ergebnisse mit thermodynamischen Rechnungen, konnte zum ersten Mal ein direkter Nachweis von Kondensationsprozessen im frühen solaren Nebel erbracht werden. Die analysierten RMN gehören zu den ersten Festkörperkondensaten, die im frühen Sonnensystem gebildet wurden und scheinen seit ihrer Entstehung nicht durch sekundäre Prozesse verändert worden zu sein. Weiterhin konnte erstmals die Abkühlrate des Gases des lokalen solaren Nebels, in dem die ersten Kondensationsprozesse stattfanden, zu 0.5 K/Jahr bestimmt werden, wodurch ein detaillierter Blick in die thermodynamische Geschichte des frühen Sonnensystems möglich wird. Die extrahierten Parameter haben weitreichende Auswirkungen auf die Modelle der Entstehung erster solarer Festkörper, welche die Grundbausteine der Planetenbildung darstellen.

Entwicklung und Anwendung molekularbiologischer Methoden zur Art- und Stamm-Identifizierung pro- und eukaryotischer Organismen

Das Wachstum von Milchsäurebakterien-Arten der Gattungen Lactobacillus, Pediococcus und Leuconostoc während der Weinfermentation kann durch die Bildung verschiedener Stoffwechselprodukte zu Weinfehlern führen. Um rechtzeitig Gegenmaßnahmen ergreifen zu können und einem Weinverderb vorzubeugen, bedarf es geeigneter Identifizierungsmethoden. Klassische mikrobiologische Methoden reichen oft nicht aus, um Mikroorganismen auf Art- und Stammniveau gezielt zu identifizieren. Wegen ihrer schnellen Durchführbarkeit und Zuverlässigkeit sind molekularbiologische Identifizierungsmethoden zur Kontrolle der mikrobiellen Flora während der Lebensmittelfermentierung in der heutigen Zeit unabdingbar. In der vorliegenden Forschungsarbeit wurden die 23S rRNA-Gensequenzen von neun Pediococcus-Typstämmen sequenziert, analysiert und phylogenetische Analysen durchgeführt. Zur Art-Identifizierung der Pediokokken wurden PCR-Primer generiert und ein Multiplex PCR System entwickelt, mit dem alle typischen Arten simultan in einer Reaktion nachgewiesen werden konnten. Die Ergebnisse der Multiplex PCR-Identifizierung von 62 Pediococcus-Stämmen aus Kulturensammlungen und 47 neu isolierten Stämmen aus Wein zeigten, dass einige Stämme unter falschen Artnamen hinterlegt waren, und dass P. parvulus im Weinanbaugebiet Rheinhessen weit verbreitet war. Die Fähigkeit der Pediococcus-Stämme zur Exopolysaccharid-Synthese wurde durch den Nachweis zweier Gene überprüft. Auf Basis der 23S rDNA-Sequenzen wurden rRNA-Sekundärstrukturen mit der neu entwickelten Software Structure Star generiert, die zum Auffinden von Zielbereichen für fluoreszenzmarkierte DNA-Sonden geeignet waren. Die Sequenzunterschiede zwischen den Pediococcus-Arten reichten aus, um zwei Gruppen durch Fluoreszenz in situ Hybridisierung differenzieren zu können. Die Verwendung unmarkierter Helfer-sonden verbesserte die Zugänglichkeit der Sonden an die rRNA, wodurch das Fluoreszenz-Signal verstärkt wurde. Um Milchsäurebakterien durch Denaturierende Gradienten Gel Elektrophorese differenzieren zu können, wurden Primer entwickelt, mit denen ein hochvariabler 23S rDNA-Bereich amplifiziert werden konnte. Die Nested Specifically Amplified Polymorphic DNA (nSAPD)-PCR wurde in der vorliegenden Arbeit zur Art- und Stamm-Differenzierung pro- und eukaryotischer Organismen angewandt. Es wurden vor allem weinrelevante Milchsäurebakterien der Gattungen Oenococcus, Lactobacillus, Pediococcus und Leuconostoc und Hefen der Gattungen Dekkera / Brettanomyces und Saccharomyces untersucht. Die Cluster-Analyse der Pediococcus-Typstämme führte zu einer unterschiedlichen Baum-Topologie im Vergleich zum phylogenetischen 23S rDNA-Stammbaum. Die Verwandtschaftsverhältnisse der untersuchten O. oeni-Stämme aus Starterkulturen konnten in Bezug auf eine frühere Cluster-Analyse reproduziert werden. Die Untersuchung von 40 B. bruxellensis-Stämmen aus rheinhessischen Weinproben zeigte eine Gruppierung der Stämme gemäß dem Ort der Probennahme. Beim Vergleich der Verwandtschaftsverhältnisse von Stämmen der Arten P. parvulus und B. bruxellensis, die aus denselben Weinproben isoliert wurden, konnte eine hohe Übereinstimmung der beiden Baum-Topologien beobachtet werden. Anhand der SAPD-PCR Untersuchung von Sekthefen aus Starterkulturen konnten alle Stämme der Art S. cerevisiae zugeordnet werden. Die nSAPD-PCR war darüber hinaus geeignet, um höhere Eukaryoten wie Weinreben zu differenzieren und es konnten die Verwandtschaftsverhältnisse von Mäusen und menschlichen Individuen durch Cluster-Analysen nachvollzogen werden. Mit Hilfe der Sequence Characterized Amplified Region (SCAR)-Technik wurden (n)SAPD-Marker in SCAR-Marker konvertiert. Die neu generierten SCAR-Primer konnten zur simultanen Art-Identifizierung von sieben weinschädlichen Milchsäurebakterien in einer Multiplex PCR erfolgreich eingesetzt werden. Die in dieser Arbeit entwickelten molekularbiologischen Identifizierungsmethoden können zum Beispiel in der mikrobiologischen Qualitätskontrolle Anwendung finden.

Autorenwerkzeuge für digitale, multimediale und interaktive Lernbausteine im Web 2.0

Die Forschungsarbeit siedelt sich im Dreieck der Erziehungswissenschaften, der Informatik und der Schulpraxis an und besitzt somit einen starken interdisziplinären Charakter. Aus Sicht der Erziehungswissenschaften handelt es sich um ein Forschungsprojekt aus den Bereichen E-Learning und Multimedia Learning und der Fragestellung nach geeigneten Informatiksystemen für die Herstellung und den Austausch von digitalen, multimedialen und interaktiven Lernbausteinen. Dazu wurden zunächst methodisch-didaktische Vorteile digitaler Lerninhalte gegenüber klassischen Medien wie Buch und Papier zusammengetragen und mögliche Potentiale im Zusammenhang mit neuen Web2.0-Technologien aufgezeigt. Darauf aufbauend wurde für existierende Autorenwerkzeuge zur Herstellung digitaler Lernbausteine und bestehende Austauschplattformen analysiert, inwieweit diese bereits Web 2.0-Technologien unterstützen und nutzen. Aus Sicht der Informatik ergab sich aus der Analyse bestehender Systeme ein Anforderungsprofil für ein neues Autorenwerkzeug und eine neue Austauschplattform für digitale Lernbausteine. Das neue System wurde nach dem Ansatz des Design Science Research in einem iterativen Entwicklungsprozess in Form der Webapplikation LearningApps.org realisiert und stetig mit Lehrpersonen aus der Schulpraxis evaluiert. Bei der Entwicklung kamen aktuelle Web-Technologien zur Anwendung. Das Ergebnis der Forschungsarbeit ist ein produktives Informatiksystem, welches bereits von tausenden Nutzern in verschiedenen Ländern sowohl in Schulen als auch in der Wirtschaft eingesetzt wird. In einer empirischen Studie konnte das mit der Systementwicklung angestrebte Ziel, die Herstellung und den Austausch von digitalen Lernbausteinen zu vereinfachen, bestätigt werden. Aus Sicht der Schulpraxis liefert LearningApps.org einen Beitrag zur Methodenvielfalt und zur Nutzung von ICT im Unterricht. Die Ausrichtung des Werkzeugs auf mobile Endgeräte und 1:1-Computing entspricht dem allgemeinen Trend im Bildungswesen. Durch die Verknüpfung des Werkzeugs mit aktuellen Software Entwicklungen zur Herstellung von digitalen Schulbüchern werden auch Lehrmittelverlage als Zielgruppe angesprochen.

IMEX finite volume methods for the shallow water equations

Die Flachwassergleichungen (SWE) sind ein hyperbolisches System von Bilanzgleichungen, die adäquate Approximationen an groß-skalige Strömungen der Ozeane, Flüsse und der Atmosphäre liefern. Dabei werden Masse und Impuls erhalten. Wir unterscheiden zwei charakteristische Geschwindigkeiten: die Advektionsgeschwindigkeit, d.h. die Geschwindigkeit des Massentransports, und die Geschwindigkeit von Schwerewellen, d.h. die Geschwindigkeit der Oberflächenwellen, die Energie und Impuls tragen. Die Froude-Zahl ist eine Kennzahl und ist durch das Verhältnis der Referenzadvektionsgeschwindigkeit zu der Referenzgeschwindigkeit der Schwerewellen gegeben. Für die oben genannten Anwendungen ist sie typischerweise sehr klein, z.B. 0.01. Zeit-explizite Finite-Volume-Verfahren werden am öftersten zur numerischen Berechnung hyperbolischer Bilanzgleichungen benutzt. Daher muss die CFL-Stabilitätsbedingung eingehalten werden und das Zeitinkrement ist ungefähr proportional zu der Froude-Zahl. Deswegen entsteht bei kleinen Froude-Zahlen, etwa kleiner als 0.2, ein hoher Rechenaufwand. Ferner sind die numerischen Lösungen dissipativ. Es ist allgemein bekannt, dass die Lösungen der SWE gegen die Lösungen der Seegleichungen/ Froude-Zahl Null SWE für Froude-Zahl gegen Null konvergieren, falls adäquate Bedingungen erfüllt sind. In diesem Grenzwertprozess ändern die Gleichungen ihren Typ von hyperbolisch zu hyperbolisch.-elliptisch. Ferner kann bei kleinen Froude-Zahlen die Konvergenzordnung sinken oder das numerische Verfahren zusammenbrechen. Insbesondere wurde bei zeit-expliziten Verfahren falsches asymptotisches Verhalten (bzgl. der Froude-Zahl) beobachtet, das diese Effekte verursachen könnte.Ozeanographische und atmosphärische Strömungen sind typischerweise kleine Störungen eines unterliegenden Equilibriumzustandes. Wir möchten, dass numerische Verfahren für Bilanzgleichungen gewisse Equilibriumzustände exakt erhalten, sonst können künstliche Strömungen vom Verfahren erzeugt werden. Daher ist die Quelltermapproximation essentiell. Numerische Verfahren die Equilibriumzustände erhalten heißen ausbalanciert.rnrnIn der vorliegenden Arbeit spalten wir die SWE in einen steifen, linearen und einen nicht-steifen Teil, um die starke Einschränkung der Zeitschritte durch die CFL-Bedingung zu umgehen. Der steife Teil wird implizit und der nicht-steife explizit approximiert. Dazu verwenden wir IMEX (implicit-explicit) Runge-Kutta und IMEX Mehrschritt-Zeitdiskretisierungen. Die Raumdiskretisierung erfolgt mittels der Finite-Volumen-Methode. Der steife Teil wird mit Hilfe von finiter Differenzen oder au eine acht mehrdimensional Art und Weise approximniert. Zur mehrdimensionalen Approximation verwenden wir approximative Evolutionsoperatoren, die alle unendlich viele Informationsausbreitungsrichtungen berücksichtigen. Die expliziten Terme werden mit gewöhnlichen numerischen Flüssen approximiert. Daher erhalten wir eine Stabilitätsbedingung analog zu einer rein advektiven Strömung, d.h. das Zeitinkrement vergrößert um den Faktor Kehrwert der Froude-Zahl. Die in dieser Arbeit hergeleiteten Verfahren sind asymptotisch erhaltend und ausbalanciert. Die asymptotischer Erhaltung stellt sicher, dass numerische Lösung das "korrekte" asymptotische Verhalten bezüglich kleiner Froude-Zahlen besitzt. Wir präsentieren Verfahren erster und zweiter Ordnung. Numerische Resultate bestätigen die Konvergenzordnung, so wie Stabilität, Ausbalanciertheit und die asymptotische Erhaltung. Insbesondere beobachten wir bei machen Verfahren, dass die Konvergenzordnung fast unabhängig von der Froude-Zahl ist.

Exact quantum Monte Carlo methods for correlated electron systems

Thema dieser Arbeit ist die Entwicklung und Kombination verschiedener numerischer Methoden, sowie deren Anwendung auf Probleme stark korrelierter Elektronensysteme. Solche Materialien zeigen viele interessante physikalische Eigenschaften, wie z.B. Supraleitung und magnetische Ordnung und spielen eine bedeutende Rolle in technischen Anwendungen. Es werden zwei verschiedene Modelle behandelt: das Hubbard-Modell und das Kondo-Gitter-Modell (KLM). In den letzten Jahrzehnten konnten bereits viele Erkenntnisse durch die numerische Lösung dieser Modelle gewonnen werden. Dennoch bleibt der physikalische Ursprung vieler Effekte verborgen. Grund dafür ist die Beschränkung aktueller Methoden auf bestimmte Parameterbereiche. Eine der stärksten Einschränkungen ist das Fehlen effizienter Algorithmen für tiefe Temperaturen.rnrnBasierend auf dem Blankenbecler-Scalapino-Sugar Quanten-Monte-Carlo (BSS-QMC) Algorithmus präsentieren wir eine numerisch exakte Methode, die das Hubbard-Modell und das KLM effizient bei sehr tiefen Temperaturen löst. Diese Methode wird auf den Mott-Übergang im zweidimensionalen Hubbard-Modell angewendet. Im Gegensatz zu früheren Studien können wir einen Mott-Übergang bei endlichen Temperaturen und endlichen Wechselwirkungen klar ausschließen.rnrnAuf der Basis dieses exakten BSS-QMC Algorithmus, haben wir einen Störstellenlöser für die dynamische Molekularfeld Theorie (DMFT) sowie ihre Cluster Erweiterungen (CDMFT) entwickelt. Die DMFT ist die vorherrschende Theorie stark korrelierter Systeme, bei denen übliche Bandstrukturrechnungen versagen. Eine Hauptlimitation ist dabei die Verfügbarkeit effizienter Störstellenlöser für das intrinsische Quantenproblem. Der in dieser Arbeit entwickelte Algorithmus hat das gleiche überlegene Skalierungsverhalten mit der inversen Temperatur wie BSS-QMC. Wir untersuchen den Mott-Übergang im Rahmen der DMFT und analysieren den Einfluss von systematischen Fehlern auf diesen Übergang.rnrnEin weiteres prominentes Thema ist die Vernachlässigung von nicht-lokalen Wechselwirkungen in der DMFT. Hierzu kombinieren wir direkte BSS-QMC Gitterrechnungen mit CDMFT für das halb gefüllte zweidimensionale anisotrope Hubbard Modell, das dotierte Hubbard Modell und das KLM. Die Ergebnisse für die verschiedenen Modelle unterscheiden sich stark: während nicht-lokale Korrelationen eine wichtige Rolle im zweidimensionalen (anisotropen) Modell spielen, ist in der paramagnetischen Phase die Impulsabhängigkeit der Selbstenergie für stark dotierte Systeme und für das KLM deutlich schwächer. Eine bemerkenswerte Erkenntnis ist, dass die Selbstenergie sich durch die nicht-wechselwirkende Dispersion parametrisieren lässt. Die spezielle Struktur der Selbstenergie im Impulsraum kann sehr nützlich für die Klassifizierung von elektronischen Korrelationseffekten sein und öffnet den Weg für die Entwicklung neuer Schemata über die Grenzen der DMFT hinaus.