Aktionenlernen mit Selbstorganisierenden Karten und Reinforcement Learning

Die vorliegende Arbeit beschäftigt sich mit der Entwicklung eines Funktionsapproximators und dessen Verwendung in Verfahren zum Lernen von diskreten und kontinuierlichen Aktionen: 1. Ein allgemeiner Funktionsapproximator – Locally Weighted Interpolating Growing Neural Gas (LWIGNG) – wird auf Basis eines Wachsenden Neuralen Gases (GNG) entwickelt. Die topologische Nachbarschaft in der Neuronenstruktur wird verwendet, um zwischen benachbarten Neuronen zu interpolieren und durch lokale Gewichtung die Approximation zu berechnen. Die Leistungsfähigkeit des Ansatzes, insbesondere in Hinsicht auf sich verändernde Zielfunktionen und sich verändernde Eingabeverteilungen, wird in verschiedenen Experimenten unter Beweis gestellt. 2. Zum Lernen diskreter Aktionen wird das LWIGNG-Verfahren mit Q-Learning zur Q-LWIGNG-Methode verbunden. Dafür muss der zugrunde liegende GNG-Algorithmus abgeändert werden, da die Eingabedaten beim Aktionenlernen eine bestimmte Reihenfolge haben. Q-LWIGNG erzielt sehr gute Ergebnisse beim Stabbalance- und beim Mountain-Car-Problem und gute Ergebnisse beim Acrobot-Problem. 3. Zum Lernen kontinuierlicher Aktionen wird ein REINFORCE-Algorithmus mit LWIGNG zur ReinforceGNG-Methode verbunden. Dabei wird eine Actor-Critic-Architektur eingesetzt, um aus zeitverzögerten Belohnungen zu lernen. LWIGNG approximiert sowohl die Zustands-Wertefunktion als auch die Politik, die in Form von situationsabhängigen Parametern einer Normalverteilung repräsentiert wird. ReinforceGNG wird erfolgreich zum Lernen von Bewegungen für einen simulierten 2-rädrigen Roboter eingesetzt, der einen rollenden Ball unter bestimmten Bedingungen abfangen soll.

Spatio-Temporal Credit Assignment in Neuronal Population Learning

n learning from trial and error, animals need to relate behavioral decisions to environmental reinforcement even though it may be difficult to assign credit to a particular decision when outcomes are uncertain or subject to delays. When considering the biophysical basis of learning, the credit-assignment problem is compounded because the behavioral decisions themselves result from the spatio-temporal aggregation of many synaptic releases. We present a model of plasticity induction for reinforcement learning in a population of leaky integrate and fire neurons which is based on a cascade of synaptic memory traces. Each synaptic cascade correlates presynaptic input first with postsynaptic events, next with the behavioral decisions and finally with external reinforcement. For operant conditioning, learning succeeds even when reinforcement is delivered with a delay so large that temporal contiguity between decision and pertinent reward is lost due to intervening decisions which are themselves subject to delayed reinforcement. This shows that the model provides a viable mechanism for temporal credit assignment. Further, learning speeds up with increasing population size, so the plasticity cascade simultaneously addresses the spatial problem of assigning credit to synapses in different population neurons. Simulations on other tasks, such as sequential decision making, serve to contrast the performance of the proposed scheme to that of temporal difference-based learning. We argue that, due to their comparative robustness, synaptic plasticity cascades are attractive basic models of reinforcement learning in the brain.

Pedagogical quality in e-learning

The article is concerned with design and use of e-learning technology to develop education qualitatively. The purpose is to develop a framework for a pedagogical evaluation of e-learning technology. The approach is that evaluation and design must be grounded in a learning theoretical approach, and it is argued that it is necessary to make a reflection of technology in relation to activities, learning principles, and a learning theory in order to qualitatively develop education. The article presents three frameworks developed on the basis of cognitivism, radical constructivism and activity theory. Finally, on the basis of the frameworks, the article discusses e-learning technology and, more specifically, design of virtual learning environments and learning objects. It is argued that e-learning technology is not pedagogically neutral, and that it is therefore necessary to focus on design of technology that explicitly supports a certain pedagogical approach. Further, it is argued that design should direct its focus away from organisation of content and towards design of activities.

Berufsschulen auf dem Weg zum E-Learning

Das Primärziel des BLK-Modellversuchs „E-Learning zur Unterstützung des Lernfeldkonzepts (ELLFE)“ ist die Entwicklung und Ausgestaltung des Lernfeldkonzepts durch E-Learning-gestützte Lernsituationen. Der mediale Schwerpunkt soll erprobt werden, da angenommen wird, dass der Lernfeldunterricht durch die Potentiale des E-Learning flankiert werden kann. Der Artikel stellt neben den theoretischen Vorüberlegungen zu dem Projekt einige konkrete Umsetzungsbeispiele sowie gegenwärtige Evaluationsbefunde vor.

Berufsschulen auf dem Weg zum E-Learning

Das Primärziel des BLK-Modellversuchs „E-Learning zur Unterstützung des Lernfeldkonzepts (ELLFE)“ ist die Entwicklung und Ausgestaltung des Lernfeldkonzepts durch E-Learning-gestützte Lernsituationen. Der mediale Schwerpunkt soll erprobt werden, da angenommen wird, dass der Lernfeldunterricht durch die Potentiale des E-Learning flankiert werden kann. Der Artikel stellt neben den theoretischen Vorüberlegungen zu dem Projekt einige konkrete Umsetzungsbeispiele sowie gegenwärtige Evaluationsbefunde vor.

Mobile Learning – Begriff, Modelle, Forschung

Der vorliegende Übersichtsartikel betrachtet Mobile Learning aus einer pädagogisch-psychologischen und didaktischen Perspektive. Mobile Learning (M-Learning), das seit Mitte der 1990er in unterschiedlichsten Kontexten Einzug in den Bildungssektor hielt, ist ein dynamisches und interdisziplinäres Feld. Dynamisch, weil M-Learning durch die rasche Entwicklung im Bereich der Informations- und Kommunikationstechnologie, wie kaum ein anderes Forschungsfeld, einem derart großen Wandel unterworfen ist. Interdisziplinär, weil durch das Zusammentreffen von mobiler Technik und Lernen auch unterschiedliche Fachdisziplinen betroffen sind. Die verschiedenen Sichtweisen und auch die Komplexität des Feldes haben dazu geführt, dass bis heute keine einheitliche Definition des Begriffs besteht. Ziel dieses Übersichtsartikels ist es, den aktuellen Forschungsstand aus didaktischer und pädagogisch-psychologischer Sicht aufzuzeigen. Dazu werden zunächst wichtige Komponenten des M-Learning-Begriffs herausgearbeitet und daran anschließend didaktisch bedeutsame theoretische Ansätze und Modelle vorgestellt sowie kritisch betrachtet. Basierend auf dieser theoretischen Ausgangslage wird dann ein Rahmen gezeichnet, der verdeutlichen soll, wo empirische Forschung aus didaktischer und pädagogisch-psychologischer Sicht ansetzen kann. Entsprechende empirische Studien werden ebenfalls vorgestellt, um einen Eindruck des aktuellen empirischen Forschungsstandes zu geben. Dies alles soll als Ausgangspunkt für den zukünftigen Forschungsbedarf dienen.

Diatom biostratigraphy and sea ice concentration reconstruction from core DA06-139G, Vaigat Strait in Disko Bugt, West Greenland

A diatom-based sea-ice concentration (SIC) transfer function is developed using 72 surface samples from west of Greenland and around Iceland, and through comparison with the associated modern SIC. Canonical correspondence analysis on surface sediment diatoms and monthly average of SIC reveals that April SIC is the most important environmental factor controlling the distribution of diatoms in the area, and permits the development of a diatom-based SIC transfer function. The consistency between reconstructed SIC based on diatoms from West Greenland and the instrumental and documentary data during the last ~75 years demonstrates that the diatom-based SIC reconstruction is reliable for studying the palaeoceanography off West Greenland. Relatively warm conditions with strong influence of the Irminger Current (IC) are indicated for the early part of the record (~5000-3860 cal. yr BP), corresponding in time to the latest part of the Holocene Thermal Maximum. The April SIC oscillated around the mean value between 3860 and 1510 cal. yr BP and was above mean afterwards, particularly during the time interval 1510-1120 cal. yr BP and after 650 cal. yr BP, indicating more extensive sea-ice cover in Disko Bugt. A high degree of consistency between the reconstructed April SIC and changes in the diatom species suggests that the sea-ice condition in Disko Bugt is strongly influenced by variations in the relative strength of two components of the West Greenland Current, i.e. the cold East Greenland Current and the relatively warm IC.