Untersuchungen zur Visuomotorik des Menschen

Motorische Bewegungen werden über die visuelle Rückmeldung auf ihre Genauigkeit kontrolliert und ggf. korrigiert. Über einen technischen Eingriff, wie beispielsweise einer Prismenbrille, kann man eine Differenz zwischen optisch wahrgenommener und haptisch erlebter Umwelt erzeugen, um die Fähigkeiten des visuomotorischen Systems zu testen. In dieser Arbeit wurde eine computergestützte Methode entwickelt, eine solche visuomotorische Differenz zu simulieren. Die Versuchspersonen führen eine ballistische Bewegung mit Arm und Hand aus in der Absicht, ein vorgegebenes Ziel zu treffen. Die Trefferpunkte werden durch einen Computer mit Hilfe eines Digitalisierungstablettes aufgenommen. Die visuelle Umwelt, welche den Versuchspersonen präsentiert wird, ist auf einem Monitor dargestellt. Das Monitorabbild – ein Kreuz auf weißem Hintergrund – betrachten die Testpersonen über einen Spiegel. Dieser ist in einem entsprechenden Winkel zwischen Monitor und Digitalisierungstablett angebracht, so dass das Zielbild auf dem Digitalisierungstablett projiziert wird. Die Testpersonen nehmen das Zielkreuz auf dem Digitalisierungstablett liegend wahr. Führt die Versuchsperson eine Zielbewegung aus, können die aufgenommenen Koordinaten als Punkte auf dem Monitor dargestellt werden und die Testperson erhält über diese Punktanzeige ein visuelles Feedback ihrer Bewegung. Der Arbeitsbereich des Digitalisierungstabletts kann über den Computer eingerichtet und so motorische Verschiebungen simuliert werden. Die verschiedenartigen Möglichkeiten dieses Aufbaus wurden zum Teil in Vorversuchen getestet um Fragestellungen, Methodik und technische Einrichtungen aufeinander abzustimmen. Den Hauptversuchen galt besonderes Interesse an der zeitlichen Verzögerung des visuellen Feedbacks sowie dem intermanuellen Transfer. Hierbei ergaben sich folgende Ergebnisse: ● Die Versuchspersonen adaptieren an eine räumlich verschobene Umwelt. Der Adaptationsverlauf lässt sich mit einer Exponentialfunktion mathematisch berechnen und darstellen. ● Dieser Verlauf ist unabhängig von der Art des visuellen Feedbacks. Die Beobachtung der Handbewegung während der Adaptation zeigt die gleiche Zielabfolge wie eine einfache Punktprojektion, die den Trefferort der Bewegung darstellt. ● Der exponentielle Verlauf der Adaptationsbewegung ist unabhängig von den getesteten zeitlichen Verzögerungen des visuellen Feedbacks. ● Die Ergebnisse des Folgeeffektes zeigen, dass bei zunehmender zeitlicher Verzögerung des visuellen Feedbacks während der Adaptationsphase, die Größe des Folgeeffektwertes geringer wird, d.h. die anhaltende Anpassungsleistung an eine visuomotorische Differenz sinkt. ● Die Folgeeffekte weisen individuelle Eigenheiten auf. Die Testpersonen adaptieren verschieden stark an eine simulierte Verschiebung. Ein Vergleich mit den visuomotorischen Herausforderungen im Vorleben der Versuchspersonen ließ vermuten, dass das visuomotorische System des Menschen trainierbar ist und sich - je nach Trainingszustand – unterschiedlich an wahrgenommene Differenzen anpasst. ● Der intermanuelle Transfer konnte unter verschiedenen Bedingungen nachgewiesen werden. ● Ein deutlich stärkerer Folgeeffekt kann beobachtet werden, wenn die wahrgenommene visuomotorische Differenz zwischen Ziel und Trefferpunkt in eine Gehirnhälfte projiziert wird und der Folgeeffekt mit der Hand erfolgt, welche von dieser Hirnhemisphäre gesteuert wird. Der intermanuelle Transfer wird demnach begünstigt, wenn die visuelle Projektion der Fehlerbeobachtung in die Gehirnhälfte erfolgt, die während der Adaptationsphase motorisch passiv ist.

Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

Periodicities in the Hodgkin-Huxley model and versions of this model with stochastic input

A field of computational neuroscience develops mathematical models to describe neuronal systems. The aim is to better understand the nervous system. Historically, the integrate-and-fire model, developed by Lapique in 1907, was the first model describing a neuron. In 1952 Hodgkin and Huxley [8] described the so called Hodgkin-Huxley model in the article “A Quantitative Description of Membrane Current and Its Application to Conduction and Excitation in Nerve”. The Hodgkin-Huxley model is one of the most successful and widely-used biological neuron models. Based on experimental data from the squid giant axon, Hodgkin and Huxley developed their mathematical model as a four-dimensional system of first-order ordinary differential equations. One of these equations characterizes the membrane potential as a process in time, whereas the other three equations depict the opening and closing state of sodium and potassium ion channels. The membrane potential is proportional to the sum of ionic current flowing across the membrane and an externally applied current. For various types of external input the membrane potential behaves differently. This thesis considers the following three types of input: (i) Rinzel and Miller [15] calculated an interval of amplitudes for a constant applied current, where the membrane potential is repetitively spiking; (ii) Aihara, Matsumoto and Ikegaya [1] said that dependent on the amplitude and the frequency of a periodic applied current the membrane potential responds periodically; (iii) Izhikevich [12] stated that brief pulses of positive and negative current with different amplitudes and frequencies can lead to a periodic response of the membrane potential. In chapter 1 the Hodgkin-Huxley model is introduced according to Izhikevich [12]. Besides the definition of the model, several biological and physiological notes are made, and further concepts are described by examples. Moreover, the numerical methods to solve the equations of the Hodgkin-Huxley model are presented which were used for the computer simulations in chapter 2 and chapter 3. In chapter 2 the statements for the three different inputs (i), (ii) and (iii) will be verified, and periodic behavior for the inputs (ii) and (iii) will be investigated. In chapter 3 the inputs are embedded in an Ornstein-Uhlenbeck process to see the influence of noise on the results of chapter 2.