Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

Implications of regional fault distribution and kinematics for the uplift of rift flanks around the Rwenzori Mountains, Southwestern Uganda

Das Ziel dieser Arbeit bestand in der Untersuchung der Störungsverteilung und der Störungskinematik im Zusammenhang mit der Hebung der Riftschultern des Rwenzori Gebirges.rnDas Rwenzori Gebirge befindet sich im NNE-SSWbis N-S verlaufenden Albertine Rift, des nördlichsten Segments des westlichen Armes des Ostafrikanischen Grabensystems. Das Albertine Rift besteht aus Becken unterschiedlicher Höhe, die den Lake Albert, Lake Edward, Lake George und Lake Kivu enthalten. Der Rwenzori horst trennt die Becken des Lake Albert und des Lake Edward. Es erstreckt sich 120km in N-S Richtung, sowie 40-50km in E-W Richtung, der h¨ochste Punkt befindet sich 5111 ü. NN. Diese Studie untersucht einen Abschnitt des Rifts zwischen etwa 1°N und 0°30'S Breite sowie 29°30' und 30°30' östlicher Länge ersteckt. Auch die Feldarbeit konzentrierte sich auf dieses Gebiet.rnrnHauptzweck dieser Studie bestand darin, die folgende These auf ihre Richtigkeit zu überprüfen: ’Wenn es im Verlauf der Zeit tatsächlich zu wesentlichen Änderungen in der Störungskinematik kam, dann ist die starke Hebung der Riftflanken im Bereich der Rwenzoris nicht einfach durch Bewegung entlang der Graben-Hauptst¨orungen zu erklären. Vielmehr ist sie ein Resultat des Zusammenspiels mehrerer tektonische Prozesse, die das Spannungsfeld beeinflussen und dadurch Änderungen in der Kinematik hervorrufen.’ Dadurch konzentrierte sich die Studie in erster Linie auf die Störungsanalyse.rnrnDie Kenntnis regionaler Änderungen der Extensionsrichtung ist entscheidend für das Verständnis komplexer Riftsysteme wie dem Ostafrikanischen Graben. Daher bestand der Kern der Untersuchung in der Kartierung von Störungen und der Untersuchung der Störungskinematik. Die Aufnahme strukturgeologischer Daten konzentrierte sich auf die Ugandische Seite des Rifts, und Pal¨aospannungen wurden mit Hilfe von St¨orungsdaten durch Spannungsinversion rekonstruiert.rnDie unterschiedliche Orientierung spr¨oder Strukturen im Gelände, die geometrische Analyse der geologischen Strukturen sowie die Ergebnisse von Mikrostrukturen im Dünnschliff (Kapitel 4) weisen auf verschiedene Spannungsfelder hin, die auf mögliche Änderungen der Extensionsrichtung hinweisen. Die Resultate der Spannungsinversion sprechen für Ab-, Über- und Blattverschiebungen sowie für Schrägüberschiebungen (Kapitel 5). Aus der Orientierung der Abschiebungen gehen zwei verschiedene Extensionsrichtungen hervor: im Wesentlichen NW-SE Extension in fast allen Gebieten, sowie NNE-SSW Extension im östlichen Zentralbereich.rnAus der Analyse von Blattverschiebungen ergaben sich drei unterschiedliche Spannungszustände. Zum Einen NNW-SSE bis N-S Kompression in Verbindung mit ENE-WSW bzw E-W Extension wurde für die nördlichen und die zentralen Ruwenzoris ausgemacht. Ein zweiter Spannungszustand mit WNW-ESE Kompression/NNE-SSW Extension betraf die Zentralen Rwenzoris. Ein dritter Spannungszustand mit NNW-SSE Extension betraf den östlichen Zentralteil der Rwenzoris. Schrägüberschiebungen sind durch dazu schräge Achsen charakterisiert, die für N-S bis NNW-SSE Kompression sprechen und ausschließlich im östlichen Zentralabschnitt auftreten. Überschiebungen, die hauptsächlich in den zentralen und den östlichen Rwenzoris auftreten, sprechen für NE-SW orientierten σ2-Achsen und NW-SE Extension.rnrnEs konnten drei unterschiedliche Spannungseinflüsse identifiziert werden: auf die kollisionsbedingte Bildung eines Überschiebungssystem folgte intra-kratonische Kompression und schließlich extensionskontrollierte Riftbildung. Der Übergang zwischen den beiden letztgenannten Spannungszuständen erfolgte Schrittweise und erzeugte vermutlich lokal begrenzte Transpression und Transtension. Gegenw¨artig wird die Störungskinematik der Region durch ein tensiles Spannungsregime in NW-SE bis N-S Richtung bestimmt.rnrnLokale Spannungsvariationen werden dabei hauptsächlich durch die Interferenzrndes regionalen Spannungsfeldes mit lokalen Hauptst¨orungen verursacht. Weitere Faktoren die zu lokalen Veränderungen des Spannungsfeldes führen können sind unterschiedliche Hebungsgeschwindigkeiten, Blockrotation oder die Interaktion von Riftsegmenten. Um den Einfluß präexistenter Strukturen und anderer Bedingungen auf die Hebung der Rwenzoris zu ermitteln, wurde der Riftprozeß mit Hilfe eines analogen ’Sandbox’-Modells rekonstruiert (Kapitel 6). Da sich die Moho-Diskontinuität im Bereich des Arbeitsgebietes in einer Tiefe von 25 km befindet, aktive Störungen aber nur bis zu einer Tiefe von etwa 20 km beobachtet werden können (Koehn et al. 2008), wurden nur die oberen 25 km im Modell nachbebildet. Untersucht und mit Geländebeobachtungen verglichen wurden sowohl die Reihenfolge, in der Riftsegmente entstehen, als auch die Muster, die sich im Verlauf der Nukleierung und des Wachstums dieser Riftsegmente ausbilden. Das Hauptaugenmerk wurde auf die Entwicklung der beiden Subsegmente gelegt auf denen sich der Lake Albert bzw. der Lake Edward und der Lake George befinden, sowie auf das dazwischenliegende Rwenzori Gebirge. Das Ziel der Untersuchung bestand darin herauszufinden, in welcher Weise das südwärts propagierende Lake Albert-Subsegment mit dem sinistral versetzten nordwärts propagierenden Lake Edward/Lake George-Subsegment interagiert.rnrnVon besonderem Interesse war es, in welcherWeise die Strukturen innerhalb und außerhalb der Rwenzoris durch die Interaktion dieser Riftsegmente beeinflußt wurden. rnrnDrei verschiedene Versuchsreihen mit unterschiedlichen Randbedingungen wurden miteinander verglichen. Abhängig vom vorherrschenden Deformationstyp der Transferzone wurden die Reihen als ’Scherungs-dominiert’, ’Extensions-dominiert’ und als ’Rotations-dominiert’ charakterisiert. Die Beobachtung der 3-dimensionalen strukturellen Entwicklung der Riftsegmente wurde durch die Kombination von Modell-Aufsichten mit Profilschnitten ermöglicht. Von den drei genannten Versuchsreihen entwickelte die ’Rotationsdominierten’ Reihe einen rautenförmiger Block im Tranferbereich der beiden Riftsegmente, der sich um 5−20° im Uhrzeigersinn drehte. DieserWinkel liegt im Bereich des vermuteten Rotationswinkel des Rwenzori-Blocks (5°). Zusammengefasst untersuchen die Sandbox-Versuche den Einfluss präexistenter Strukturen und der Überlappung bzw. Überschneidung zweier interagierender Riftsegmente auf die Entwicklung des Riftsystems. Sie befassen sich darüber hinaus mit der Frage, welchen Einfluss Blockbildung und -rotation auf das lokale Stressfeld haben.

Metabolismus von Psychopharmaka durch das Cytochrom P450-Enzymsystem im Alter

Altern geht mit einer Reihe physiologischer Veränderungen einher. Da in höherem Lebensalter überdurchschnittlich viele Arzneistoffe eingenommen werden und häufig mehrere Erkrankungen gleichzeitig vorliegen, können Auffälligkeiten in den Arzneimittelkonzentrationen im Blut nicht nur altersbedingt, sondern auch krankheitsbedingt oder durch Arzneimittelwechselwirkungen verursacht sein.rnrnDie vorliegende Arbeit untersucht die Fragestellung, ob der Arzneimittelmetabolismus bei Alterspatenten generell, oder nur bei Patienten mit Multimorbidität und –medikation verändert ist, und in welchem Lebensalter diese Veränderungen einsetzen. Im Mittelpunkt stand dabei die Frage, ob die Aktivitäten distinkter Arzneimittel-abbauender Enzyme der Cytochrom P450-Enzym-Familie (CYP) verändert sind. Da viele Psychopharmaka nur bei Patienten im Alter zwischen 18 und 65 Jahren zugelassen sind, wurde die Hypothese geprüft, dass sich Patienten im Alter über und unter 65 Jahren in ihren Medikamentenspiegeln unterscheiden.rnrnFür die Untersuchungen wurde eine Datenbank aus Blutspiegelmessungen erstellt, die im Rahmen des pharmakotherapiebegleitenden TDM erhoben worden waren. Die Blutspiegel stammten von insgesamt 4197 Patienten, die mit Amisulprid, Aripiprazol, Citalopram, Clozapin, Donepezil, Escitalopram, Mirtazapin, Quetiapin, Risperidon, Sertralin, Venlafaxin oder Ziprasidon behandelt wurden. Die Messungen wurden ergänzt mit Angaben aus den TDM-Anforderungsscheinen bezüglich Tagesdosis, Begleitmedikamenten, Schweregrad der Erkrankung, Therapieerfolg und Verträglichkeit der Medikation. Zusätzlich wurden klinische Befunde der Leber- und Nierenfunktion einbezogen, sowie Angaben zur Berechnung des BMI. Die in vivo-CYP-Enzymaktivitäten wurden anhand von metabolischen Ratios (Serumkonzentrationen Metabolit/ Serumkonzentration Muttersubstanz) beurteilt.rnrnIm Mittel stieg der Schweregrad der Erkrankung mit dem Alter und der Therapieerfolg verschlechterte sich. Dies betraf im Einzelnen nur Patienten, die mit Amisulprid oder Clozapin behandelt worden waren. Ältere Patienten litten häufiger an Nebenwirkungen als jüngere.rnUnter Aripiprazol, Quetiapin, Sertralin und Venlafaxin erreichten Alterspatienten mit niedrigeren Tagesdosen gleiche Therapieerfolge wie jüngere Patienten.rnPatienten, die mit Clozapin oder Amisulprid behandelt wurden, zeigten im Alter schlechtere Behandlungserfolge bei gleicher (Clozapin) bzw. niedrigerer (Amisulprid) Tagesdosis.rnTherapieerfolg und mittlere Tagesdosis änderten sich bei Patienten, die Ziprasidon, Donepezil, Citalopram, Escitalopram und Mirtazapin einnahmen, nicht altersabhängig.rnrnAltersabhängige Unterschiede der Serumspiegel zeigten sich für Amisulprid, Aripiprazol, Donepezil, Mirtazapin, Desmethylmirtazapin, Quetiapin und DesmethylsertralinrnAllerdings lagen die Altersgrenzen außer bei Donepezil deutlich niedriger als die gängig angenommene, nämlich bei 35 Jahren (Aripiprazol), 70 Jahren (Donepezil), 55 Jahren (D-Sertralin), 41 Jahren (Amisulprid), 49 Jahren (Quetiapin) und 58 Jahren (Mirtazapin).rnEs bestand kein Zusammenhang zwischen dem Auftreten veränderter Serumspiegel im Alter und dem Verteilungsvolumen, der Plasmaproteinbindung oder der Eliminationshalbwertszeit der untersuchten Wirkstoffe.rnrnBei Patienten ohne Comedikation fand sich in keinem Fall eine altersabhängige Veränderung der Ratio. Es ergab sich daher kein Hinweis auf eine Veränderung der CYP-Aktivität im Alter. Die Einnahme von Comedikation nahm mit dem Alter zu, hierfür ließ sich eine Altersgrenze von 49 Jahren definieren. Unter Polytherapie wurden Veränderungen der CYP-Aktivität beobachtet.rnrnDer Einfluss veränderter Leber- oder Nierenfunktion auf die Biotransformation von Pharmaka wurde anhand von Serumspiegeln von Patienten, die mit Donepezil, Venlafaxin, Citalopram oder Escitalopram behandelt wurden, untersucht. rnBei keinem Wirkstoff wurden unter auffälligen Leber- oder Nierenparametern signifikant veränderte Serumspiegel gemessen.rnEine Abhängigkeit der Serumspiegel vom Körpergewicht wurde nur für Desmethylsertralin gefunden. Die Spiegel waren bei Patienten mit einem Body Mass Index unter 20 signifikant höher als bei Patienten mit einem Index über 20. Aufgrund der kleinen Fallgruppe und der Tatsache, dass der Serumspiegel der Muttersubstanz nicht stieg, konnte nicht zwingend von einem Alterseinfluss aufgrund der veränderten Körperzusammensetzung ausgegangen werden.rnInsgesamt ergaben sich aus den Untersuchungen Hinweise auf moderate altersabhängige Veränderungen der Pharmakokinetik. Es ließen sich allerdings keine allgemeinen Dosierempfehlungen für Alterspatienten ableiten. Es zeigte sich jedoch, dass mit altersabhängigen Veränderungen der Pharmakokinetik bereits nach dem 50. Lebensjahr zu rechnen ist. Weitere Untersuchungen sollten auch den Alterseffekt auf gastrointestinale Transporter einbeziehen, die die aktive Aufnahme von Arzneistoffen ins Blut bewerkstelligen. Unklar ist auch die Rolle des Alterns auf die Aktivität des P-Glykoproteins. rn