Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

Untersuchung der Auswirkungen verschiedener Variationsbereiche des differenziellen Lernens und Lehrens im weiten Sinn auf ausgewählte technische Grundfertigkeiten im Hallenhockey

Die Frage wie großmotorische Bewegungen gelernt werden beschäftigt nicht nur Sportler, Trainer und Sportlehrer sondern auch Ärzte und Physiotherapeuten. Die sportwissenschaftlichen Teildisziplinen Bewegungs- und Trainingswissenschaft versuchen diese Frage sowohl im Sinne der Grundlagenforschung (Wie funktioniert Bewegungslernen?) als auch hinsichtlich der praktischen Konsequenzen (Wie lehrt man Bewegungen?) zu beantworten. Innerhalb dieser Themenfelder existieren Modelle, die Bewegungslernen als gezielte und extern unterstützte Ausbildung zentralnervöser Bewegungsprogramme verstehen und solche, die Lernen als Selbstorganisationsprozess interpretieren. Letzteren ist das Differenzielle Lernen und Lehren (Schöllhorn, 1999) zuzuordnen, das die Notwendigkeit betont, Bewegungen durch die Steigerung der Variationen während der Aneignungsphase zu lernen und zu lehren. Durch eine Vielzahl an Variationen, so die Modellannahme, findet der Lernende ohne externe Vorgaben selbstorganisiert ein individuelles situatives Optimum. Die vorliegende Arbeit untersucht, welchen Einfluss Variationen verschiedener Art und Größe auf die Lern- und Aneignungsleistung großmotorischer Bewegungen haben und in wie fern personenübergreifende Optima existieren. In zwei Experimenten wird der Einfluss von räumlichen (Bewegungsausführung, Bewegungsergebnis) und zeitlichen Variationen (zeitliche Verteilung der Trainingsreize) auf die Aneignungs- und Lernleistung großmotorischer sportlicher Bewegungen am Beispiel zweier technischer Grundfertigkeiten des Hallenhockeys untersucht. Die Ergebnisse der Experimente stützen die bisherige Befundlage zum Differenziellen Lernen und Lehren, wonach eine Zunahme an Variation in der Aneignungsphase zu größeren Aneignungs- und Lernleistungen führt. Zusätzlich wird die Annahme bestätigt, dass ein Zusammenhang von Variationsbereich und Lernrate in Form eines Optimaltrends vorliegt. Neu sind die Hinweise auf die Dynamik von motorischen Lernprozessen (Experiment 1). Hier scheinen individuelle Faktoren (z. B. die Lernbiografie) als auch die Phase im Lernprozess (Aneignung, Lernen) Einfluss zu haben auf den Umfang und die Struktur eines für die optimale Adaptation notwendigen Variationsbereichs. Darüber hinaus weisen die Befunde auf verschiedene Aneignungs- und Lerneffekte aufgrund alleiniger Variation der zeitlichen Verteilung bei ansonsten gleichen Trainingsreizen hin (Experiment 2). Für zukünftige Forschungsarbeiten zum Erlernen großmotorischer Bewegungen und für die sportliche Praxis dürfte es daher erkenntnisreich sein, die Historie der intrinsischen Dynamik der lernenden Systeme stärker zu berücksichtigen. Neben Fragestellungen für die Grundlagenforschung zum (Bewegungs-)Lernen ließen sich hieraus unmittelbar praxisrelevante Erkenntnisse darüber ableiten, wie Bewegungslernprozesse mittels verschiedener Variationsbereiche strukturiert und gesteuert werden könnten.