Charakterisierung von plasmafunktionalisierten Oberflächen mittels ToF-SIMS und multivariaten Analysemethoden

Die grundlegenden Prinzipien und Möglichkeiten der Oberflächencharakterisierung mittels ToF-SIMS (Flugzeit-Sekundärionen Massenspektrometrie) werden an ausgewählten Beispielen aus einem aktuell laufenden und vom BMBF geförderten Verbundforschungsprojekt (Fkz: 03N8022A) zum Thema Nanofunktionalisierung von Grenzflächen vorgestellt. Ein Schwerpunkt innerhalb des Projekts stellen die nichtgeschlossenen Schichtsysteme dar, die entweder über Domänenstrukturen oder einer definierten Einzelfunktionalisierung neuartige funktionelle Oberflächen bereitstellen. Mithilfe der sehr oberflächensensitiven ToF-SIMS Methode sowie der Möglichkeit einer graphischen Darstellung lateraler Molekülionenverteilungen auf funktionalisierten Oberflächen können Informationen über Struktur und Belegungsdichte der Funktionsschicht gewonnen werden. Die Kombination des ToF-SIMS Experimentes und eines multivariaten Algorithmus (partial least squares, PLS) liefert eine interessante Möglichkeit zur quantitativen und simultanen Bestimmung von Oberflächeneigenschaften (Element- und molekulare Konzentrationen sowie Kontaktwinkelwerte). Da das ToF-SIMS Spektrum einer plasmafunktionalisierten Oberfläche im Allgemeinen eine Vielzahl unterschiedlicher Fragmentsignale enthält, lässt eine einfache eindimensionale Korrelation (z.B. CF3 - Fragmentintensität ßà CF3-Konzentration) den größten Teil der im Spektrum prinzipiell enthaltenen Information unberücksichtigt. Aufgrund der großen Anzahl von atomaren und molekularen Signalen, die repräsentativ für die chemische Struktur der analysierten Oberflächen sind, ist es sinnvoll, diese Fülle von Informationen zur Quantifizierung der Oberflächeneigenschaften (Elementkonzentrationen, Kontaktwinkel etc.) zu verwenden. Zusätzlich ermöglicht diese Methode eine quantitative Bestimmung der Oberflächeneigenschaften auf nur µm-großen Bereichen. Das ist vorteilhaft für Untersuchungen chemisch strukturierter Oberflächen, da die Größe der Strukturierung für viele Anwendungen in einem Bereich von mehreren µm liegt. Anhand eines Beispieles aus dem biologisch-medizinischen Fachgebiet, soll der erfolgreiche Einsatz multivariater Modelle aufgezeigt werden. In diesem Experiment wurden menschlichen Bindegewebs- (Fibroblasten) und Pankreaszellen auf plasmafunktionalisiserten Oberflächen kultiviert, um die Beeinflussung der Funktionalisierung auf das Zellwachstum zu untersuchen. Die plasmabehandelten Oberflächen wurden durch die Verwendung von TEM-Gittern mit µm-großen Öffnungen chemisch strukturiert und das Wachstumsverhalten der Zellen beobachtet. Jedem dieser µm-großen Bereiche können mithilfe der multivariaten Modelle quantitative Größen zugeordnet werden (Konzentrationen und Kontaktwinkelwerte), die zur Interpretation des Wachstumsverhaltens der Zellen beitragen.

Reinforcement Lernen mit Regularisierungsnetzwerken

Die Arbeit behandelt das Problem der Skalierbarkeit von Reinforcement Lernen auf hochdimensionale und komplexe Aufgabenstellungen. Unter Reinforcement Lernen versteht man dabei eine auf approximativem Dynamischen Programmieren basierende Klasse von Lernverfahren, die speziell Anwendung in der Künstlichen Intelligenz findet und zur autonomen Steuerung simulierter Agenten oder realer Hardwareroboter in dynamischen und unwägbaren Umwelten genutzt werden kann. Dazu wird mittels Regression aus Stichproben eine Funktion bestimmt, die die Lösung einer "Optimalitätsgleichung" (Bellman) ist und aus der sich näherungsweise optimale Entscheidungen ableiten lassen. Eine große Hürde stellt dabei die Dimensionalität des Zustandsraums dar, die häufig hoch und daher traditionellen gitterbasierten Approximationsverfahren wenig zugänglich ist. Das Ziel dieser Arbeit ist es, Reinforcement Lernen durch nichtparametrisierte Funktionsapproximation (genauer, Regularisierungsnetze) auf -- im Prinzip beliebig -- hochdimensionale Probleme anwendbar zu machen. Regularisierungsnetze sind eine Verallgemeinerung von gewöhnlichen Basisfunktionsnetzen, die die gesuchte Lösung durch die Daten parametrisieren, wodurch die explizite Wahl von Knoten/Basisfunktionen entfällt und so bei hochdimensionalen Eingaben der "Fluch der Dimension" umgangen werden kann. Gleichzeitig sind Regularisierungsnetze aber auch lineare Approximatoren, die technisch einfach handhabbar sind und für die die bestehenden Konvergenzaussagen von Reinforcement Lernen Gültigkeit behalten (anders als etwa bei Feed-Forward Neuronalen Netzen). Allen diesen theoretischen Vorteilen gegenüber steht allerdings ein sehr praktisches Problem: der Rechenaufwand bei der Verwendung von Regularisierungsnetzen skaliert von Natur aus wie O(n**3), wobei n die Anzahl der Daten ist. Das ist besonders deswegen problematisch, weil bei Reinforcement Lernen der Lernprozeß online erfolgt -- die Stichproben werden von einem Agenten/Roboter erzeugt, während er mit der Umwelt interagiert. Anpassungen an der Lösung müssen daher sofort und mit wenig Rechenaufwand vorgenommen werden. Der Beitrag dieser Arbeit gliedert sich daher in zwei Teile: Im ersten Teil der Arbeit formulieren wir für Regularisierungsnetze einen effizienten Lernalgorithmus zum Lösen allgemeiner Regressionsaufgaben, der speziell auf die Anforderungen von Online-Lernen zugeschnitten ist. Unser Ansatz basiert auf der Vorgehensweise von Recursive Least-Squares, kann aber mit konstantem Zeitaufwand nicht nur neue Daten sondern auch neue Basisfunktionen in das bestehende Modell einfügen. Ermöglicht wird das durch die "Subset of Regressors" Approximation, wodurch der Kern durch eine stark reduzierte Auswahl von Trainingsdaten approximiert wird, und einer gierigen Auswahlwahlprozedur, die diese Basiselemente direkt aus dem Datenstrom zur Laufzeit selektiert. Im zweiten Teil übertragen wir diesen Algorithmus auf approximative Politik-Evaluation mittels Least-Squares basiertem Temporal-Difference Lernen, und integrieren diesen Baustein in ein Gesamtsystem zum autonomen Lernen von optimalem Verhalten. Insgesamt entwickeln wir ein in hohem Maße dateneffizientes Verfahren, das insbesondere für Lernprobleme aus der Robotik mit kontinuierlichen und hochdimensionalen Zustandsräumen sowie stochastischen Zustandsübergängen geeignet ist. Dabei sind wir nicht auf ein Modell der Umwelt angewiesen, arbeiten weitestgehend unabhängig von der Dimension des Zustandsraums, erzielen Konvergenz bereits mit relativ wenigen Agent-Umwelt Interaktionen, und können dank des effizienten Online-Algorithmus auch im Kontext zeitkritischer Echtzeitanwendungen operieren. Wir demonstrieren die Leistungsfähigkeit unseres Ansatzes anhand von zwei realistischen und komplexen Anwendungsbeispielen: dem Problem RoboCup-Keepaway, sowie der Steuerung eines (simulierten) Oktopus-Tentakels.