Reinforcement Lernen mit Regularisierungsnetzwerken

Die Arbeit behandelt das Problem der Skalierbarkeit von Reinforcement Lernen auf hochdimensionale und komplexe Aufgabenstellungen. Unter Reinforcement Lernen versteht man dabei eine auf approximativem Dynamischen Programmieren basierende Klasse von Lernverfahren, die speziell Anwendung in der Künstlichen Intelligenz findet und zur autonomen Steuerung simulierter Agenten oder realer Hardwareroboter in dynamischen und unwägbaren Umwelten genutzt werden kann. Dazu wird mittels Regression aus Stichproben eine Funktion bestimmt, die die Lösung einer "Optimalitätsgleichung" (Bellman) ist und aus der sich näherungsweise optimale Entscheidungen ableiten lassen. Eine große Hürde stellt dabei die Dimensionalität des Zustandsraums dar, die häufig hoch und daher traditionellen gitterbasierten Approximationsverfahren wenig zugänglich ist. Das Ziel dieser Arbeit ist es, Reinforcement Lernen durch nichtparametrisierte Funktionsapproximation (genauer, Regularisierungsnetze) auf -- im Prinzip beliebig -- hochdimensionale Probleme anwendbar zu machen. Regularisierungsnetze sind eine Verallgemeinerung von gewöhnlichen Basisfunktionsnetzen, die die gesuchte Lösung durch die Daten parametrisieren, wodurch die explizite Wahl von Knoten/Basisfunktionen entfällt und so bei hochdimensionalen Eingaben der "Fluch der Dimension" umgangen werden kann. Gleichzeitig sind Regularisierungsnetze aber auch lineare Approximatoren, die technisch einfach handhabbar sind und für die die bestehenden Konvergenzaussagen von Reinforcement Lernen Gültigkeit behalten (anders als etwa bei Feed-Forward Neuronalen Netzen). Allen diesen theoretischen Vorteilen gegenüber steht allerdings ein sehr praktisches Problem: der Rechenaufwand bei der Verwendung von Regularisierungsnetzen skaliert von Natur aus wie O(n**3), wobei n die Anzahl der Daten ist. Das ist besonders deswegen problematisch, weil bei Reinforcement Lernen der Lernprozeß online erfolgt -- die Stichproben werden von einem Agenten/Roboter erzeugt, während er mit der Umwelt interagiert. Anpassungen an der Lösung müssen daher sofort und mit wenig Rechenaufwand vorgenommen werden. Der Beitrag dieser Arbeit gliedert sich daher in zwei Teile: Im ersten Teil der Arbeit formulieren wir für Regularisierungsnetze einen effizienten Lernalgorithmus zum Lösen allgemeiner Regressionsaufgaben, der speziell auf die Anforderungen von Online-Lernen zugeschnitten ist. Unser Ansatz basiert auf der Vorgehensweise von Recursive Least-Squares, kann aber mit konstantem Zeitaufwand nicht nur neue Daten sondern auch neue Basisfunktionen in das bestehende Modell einfügen. Ermöglicht wird das durch die "Subset of Regressors" Approximation, wodurch der Kern durch eine stark reduzierte Auswahl von Trainingsdaten approximiert wird, und einer gierigen Auswahlwahlprozedur, die diese Basiselemente direkt aus dem Datenstrom zur Laufzeit selektiert. Im zweiten Teil übertragen wir diesen Algorithmus auf approximative Politik-Evaluation mittels Least-Squares basiertem Temporal-Difference Lernen, und integrieren diesen Baustein in ein Gesamtsystem zum autonomen Lernen von optimalem Verhalten. Insgesamt entwickeln wir ein in hohem Maße dateneffizientes Verfahren, das insbesondere für Lernprobleme aus der Robotik mit kontinuierlichen und hochdimensionalen Zustandsräumen sowie stochastischen Zustandsübergängen geeignet ist. Dabei sind wir nicht auf ein Modell der Umwelt angewiesen, arbeiten weitestgehend unabhängig von der Dimension des Zustandsraums, erzielen Konvergenz bereits mit relativ wenigen Agent-Umwelt Interaktionen, und können dank des effizienten Online-Algorithmus auch im Kontext zeitkritischer Echtzeitanwendungen operieren. Wir demonstrieren die Leistungsfähigkeit unseres Ansatzes anhand von zwei realistischen und komplexen Anwendungsbeispielen: dem Problem RoboCup-Keepaway, sowie der Steuerung eines (simulierten) Oktopus-Tentakels.

Identification of speeded and slowed familiar melodies by younger, middle-aged, and older musicians and nonmusicians

There is a range of tempos within which listeners can identify familiar tunes (around 0.8 to 6.0 notes/s). Faster and slower tunes are difficult to identify. The authors assessed fast and slow melody-identification thresholds for 80 listeners ages 17–79 years with expertise varying from musically untrained to professional. On fast-to-slow (FS) trials the tune started at a very fast tempo and slowed until the listener identified it. Slow-to-fast (SF) trials started slow and accelerated. Tunes either retained their natural rhythms or were stylized isochronous versions. Increased expertise led to better performance for both FS and SF thresholds (r = .45). Performance declined uniformly across the 62-year age range in the FS condition (r = .27). SF performance was unaffected by age. Although early encoding processes may slow with age, expertise has a greater effect. Musical expertise involves perceptual learning with melodies at a wide range of tempos.

Accurate and robust reconstruction of proximal femur from sparse intraoperative data and dense point distribution model for surgical navigation

Constructing a 3D surface model from sparse-point data is a nontrivial task. Here, we report an accurate and robust approach for reconstructing a surface model of the proximal femur from sparse-point data and a dense-point distribution model (DPDM). The problem is formulated as a three-stage optimal estimation process. The first stage, affine registration, is to iteratively estimate a scale and a rigid transformation between the mean surface model of the DPDM and the sparse input points. The estimation results of the first stage are used to establish point correspondences for the second stage, statistical instantiation, which stably instantiates a surface model from the DPDM using a statistical approach. This surface model is then fed to the third stage, kernel-based deformation, which further refines the surface model. Handling outliers is achieved by consistently employing the least trimmed squares (LTS) approach with a roughly estimated outlier rate in all three stages. If an optimal value of the outlier rate is preferred, we propose a hypothesis testing procedure to automatically estimate it. We present here our validations using four experiments, which include 1 leave-one-out experiment, 2 experiment on evaluating the present approach for handling pathology, 3 experiment on evaluating the present approach for handling outliers, and 4 experiment on reconstructing surface models of seven dry cadaver femurs using clinically relevant data without noise and with noise added. Our validation results demonstrate the robust performance of the present approach in handling outliers, pathology, and noise. An average 95-percentile error of 1.7-2.3 mm was found when the present approach was used to reconstruct surface models of the cadaver femurs from sparse-point data with noise added.

Acute effects of stochastic resonance whole body vibration

AIM: To investigate the acute effects of stochastic resonance whole body vibration (SR-WBV) training to identify possible explanations for preventive effects against musculoskeletal disorders. METHODS: Twenty-three healthy, female students participated in this quasi-experimental pilot study. Acute physiological and psychological effects of SR-WBV training were examined using electromyography of descending trapezius (TD) muscle, heart rate variability (HRV), different skin parameters (temperature, redness and blood flow) and self-report questionnaires. All subjects conducted a sham SR-WBV training at a low intensity (2 Hz with noise level 0) and a verum SR-WBV training at a higher intensity (6 Hz with noise level 4). They were tested before, during and after the training. Conclusions were drawn on the basis of analysis of variance. RESULTS: Twenty-three healthy, female students participated in this study (age = 22.4 ± 2.1 years; body mass index = 21.6 ± 2.2 kg/m2). Muscular activity of the TD and energy expenditure rose during verum SR-WBV compared to baseline and sham SR-WBV (all P < 0.05). Muscular relaxation after verum SR-WBV was higher than at baseline and after sham SR-WBV (all P < 0.05). During verum SR-WBV the levels of HRV were similar to those observed during sham SR-WBV. The same applies for most of the skin characteristics, while microcirculation of the skin of the middle back was higher during verum compared to sham SR-WBV (P < 0.001). Skin redness showed significant changes over the three measurement points only in the middle back area (P = 0.022). There was a significant rise from baseline to verum SR-WBV (0.86 ± 0.25 perfusion units; P = 0.008). The self-reported chronic pain grade indicators of pain, stiffness, well-being, and muscle relaxation showed a mixed pattern across conditions. Muscle and joint stiffness (P = 0.018) and muscular relaxation did significantly change from baseline to different conditions of SR-WBV (P < 0.001). Moreover, muscle relaxation after verum SR-WBV was higher than after sham SR-WBV (P < 0.05). CONCLUSION: Verum SR-WBV stimulated musculoskeletal activity in young healthy individuals while cardiovascular activation was low. Training of musculoskeletal capacity and immediate increase in musculoskeletal relaxation are potential mediators of pain reduction in preventive trials.

Change Detection Memory in Rhesus Monkeys and Humans

Visual short-term memory (VSTM) is the storage of visual information over a brief time period (usually a few seconds or less). Over the past decade, the most popular task for studying VSTM in humans has been the change detection task. In this task, subjects must remember several visual items per trial in order to identify a change following a brief delay interval. Results from change detection tasks have shown that VSTM is limited; humans are only able to accurately hold a few visual items in mind over a brief delay. However, there has been much debate in regard to the structure or cause of these limitations. The two most popular conceptualizations of VSTM limitations in recent years have been the fixed-capacity model and the continuous-resource model. The fixed-capacity model proposes a discrete limit on the total number of visual items that can be stored in VSTM. The continuous-resource model proposes a continuous-resource that can be allocated among many visual items in VSTM, with noise in item memory increasing as the number of items to be remembered increases. While VSTM is far from being completely understood in humans, even less is known about VSTM in non-human animals, including the rhesus monkey (Macaca mulatta). Given that rhesus monkeys are the premier medical model for humans, it is important to understand their VSTM if they are to contribute to understanding human memory. The primary goals of this study were to train and test rhesus monkeys and humans in change detection in order to directly compare VSTM between the two species and explore the possibility that direct species comparison might shed light on the fixed-capacity vs. continuous-resource models of VSTM. The comparative results suggest qualitatively similar VSTM for the two species through converging evidence supporting the continuous-resource model and thereby establish rhesus monkeys as a good system for exploring neurophysiological correlates of VSTM.

Structural brain changes related to bilingualism: does immersion make a difference?

Abstract Within the field of neuroscientific research on second language learning, considerable attention has been devoted to functional and recently also structural changes related to second language acquisition. The present literature review summarizes studies that investigated structural changes related to bilingualism. Furthermore, as recent evidence has suggested that native-like exposure to a second language (i.e., a naturalistic learning setting or immersion) considerably impacts second language learning, all findings are reflected with respect to the learning environment. Aggregating the existing evidence, we conclude that structural changes in left inferior frontal and inferior parietal regions have been observed in studies on cortical gray matter changes, while the anterior parts of the corpus callosum have been repeatedly found to reflect bilingualism in studies on white matter (WM) connectivity. Regarding the learning environment, no cortical alterations can be attributed specifically to naturalistic or classroom learning. With regard to WM changes, one might tentatively propose that changes in IFOF and SLF are possibly more prominently observed in studies investigating bilinguals with a naturalistic learning experience. However, future studies are needed to replicate and strengthen the existing evidence and to directly test the impact of naturalistic exposure on structural brain plasticity.

Electromyographic activity of back muscles during stochastic whole body vibration

OBJECTIVES: Stochastic resonance whole body vibrations (SR-WBV) may reduce and prevent musculoskeletal problems (MSP). The aim of this study was to evaluate how activities of the lumbar erector spinae (ES) and of the ascending and descending trapezius (TA, TD) change in upright standing position during SR-WBV. METHODS: Nineteen female subjects completed 12 series of 10 seconds of SR-WBV at six different frequencies (2, 4, 6, 8, 10, 12Hz) and two types of "noise"-applications. An assessment at rest had been executed beforehand. Muscle activities were measured with EMG and normalized to the maximum voluntary contraction (MVC%). For statistical testing a three-factorial analysis of variation (ANOVA) was applied. RESULTS: The maximum activity of the respective muscles was 14.5 MVC% for the ES, 4.6 MVC% for the TA (12Hz with "noise" both), and 7.4 MVC% for the TD (10Hz without "noise"). Furthermore, all muscles varied significantly at 6Hz and above (p⋜0.047) compared to the situation at rest. No significant differences were found at SR-WBV with or without "noise". CONCLUSIONS: In general, muscle activity during SR-WBV is reasonably low and comparable to core strength stability exercises, sensorimotor training and "abdominal hollowing" in water. SR-WBV may be a therapeutic option for the relief of MSP.

La formación de competencias digitales de estudiantes de profesorados universitarios : La estrategia de e-actividades en un modelo de aula extendida

Es un hecho que las Tecnologías de la Información y la Comunicación (TIC) han modificado nuestras prácticas sociales. También lo es que los jóvenes nacidos en los últimos años parecen haberse apropiado de ellas con gran habilidad. Sin embargo, luego de varios años enseñando TIC a alumnos de profesorados universitarios de la Facultad de Humanidades y Ciencias de la Educación (FaHCE) de la Universidad Nacional de la Plata, observamos que sus desempeños en relación a dichas tecnologías no parecía ni suficiente ni apropiado de acuerdo a los estándares internacionales y regionales vigentes de competencias digitales para el nivel universitario. Como estrategia didáctica superadora implementamos un diseño de instrucción basado en el modelo de aula extendida con e-actividades, buscando ampliar el contacto de los estudiantes con la propuesta de la asignatura, cuantitativa y cualitativamente. Luego, al haber obtenido algunas señales auspiciosas en cuanto el desarrollo de las competencias digitales de nuestros alumnos, nos formulamos la hipótesis que orientó nuestro trabajo: Las e-actividades en un modelo de aula extendida podrían favorecer el desarrollo de las competencias digitales académicas de los estudiantes de profesorados universitarios. Emprendimos entonces esta investigación que, con el objetivo principal de mejorar las competencias digitales de nuestros estudiantes, dirigimos en dos direcciones: Indagar cuáles son los niveles de conocimientos digitales deseables para un alumno futuro docente del siglo XXI. En base a la revisión documental sobre este tema, consideramos que un estudiante de profesorado universitario posee competencias digitales si, además de dominarlas, las valora y es consciente de cómo ellas contribuyen a su formación académica y de cómo seguirán haciéndolo en su desempeño profesional futuro, consciente al mismo tiempo de que las TIC no poseen un potencial transformador en sí mismas, sino en función del uso que se haga de ellas. Comprobar la veracidad de nuestra hipótesis sobre los potenciales beneficios de las e-actividades en la formación digital de nuestros estudiantes, y de verificarse este supuesto, destacar las condiciones de calidad según las cuales deberían diseñarse

La Biblioteca Médica Nacional de Cuba tiene la primicia : Curso Cochrane Library, aprendizaje con estrategias para obtener las mejores evidencias en salud

La Biblioteca Médica Nacional de Cuba ha puesto en marcha un programa de alfabetización informacional para adiestrar a sus usuarios y fomentar en ellos las habilidades necesarias para el uso de bases de datos, así como para fomentar el uso de estrategias de búsquedas bien diseñadas y validadas por los bibliotecarios especialistas en información. En el presente trabajo se describen contenidos y habilidades que se fomentan en el curso "Cochrane Library: La Medicina Basada en Evidencias", cuyo objetivo es que el usuario domine esta base de datos y el concepto de medicina basada en evidencias para la toma de mejores decisiones en la atención médica. Durante el curso se introduce además el Modelo Big 6, como guía del pensamiento para resolver problemas de información que facilite la búsqueda y la organización de la información médica basada en evidencias. Igualmente, se capacita al estudiante para que diseñe productos informativos, como boletines electrónicos, que le permitan tanto presentar los resultados de búsquedas de información como promover información para el cuidado de la salud en el futuro

La formación de competencias digitales de estudiantes de profesorados universitarios : La estrategia de e-actividades en un modelo de aula extendida

Es un hecho que las Tecnologías de la Información y la Comunicación (TIC) han modificado nuestras prácticas sociales. También lo es que los jóvenes nacidos en los últimos años parecen haberse apropiado de ellas con gran habilidad. Sin embargo, luego de varios años enseñando TIC a alumnos de profesorados universitarios de la Facultad de Humanidades y Ciencias de la Educación (FaHCE) de la Universidad Nacional de la Plata, observamos que sus desempeños en relación a dichas tecnologías no parecía ni suficiente ni apropiado de acuerdo a los estándares internacionales y regionales vigentes de competencias digitales para el nivel universitario. Como estrategia didáctica superadora implementamos un diseño de instrucción basado en el modelo de aula extendida con e-actividades, buscando ampliar el contacto de los estudiantes con la propuesta de la asignatura, cuantitativa y cualitativamente. Luego, al haber obtenido algunas señales auspiciosas en cuanto el desarrollo de las competencias digitales de nuestros alumnos, nos formulamos la hipótesis que orientó nuestro trabajo: Las e-actividades en un modelo de aula extendida podrían favorecer el desarrollo de las competencias digitales académicas de los estudiantes de profesorados universitarios. Emprendimos entonces esta investigación que, con el objetivo principal de mejorar las competencias digitales de nuestros estudiantes, dirigimos en dos direcciones: Indagar cuáles son los niveles de conocimientos digitales deseables para un alumno futuro docente del siglo XXI. En base a la revisión documental sobre este tema, consideramos que un estudiante de profesorado universitario posee competencias digitales si, además de dominarlas, las valora y es consciente de cómo ellas contribuyen a su formación académica y de cómo seguirán haciéndolo en su desempeño profesional futuro, consciente al mismo tiempo de que las TIC no poseen un potencial transformador en sí mismas, sino en función del uso que se haga de ellas. Comprobar la veracidad de nuestra hipótesis sobre los potenciales beneficios de las e-actividades en la formación digital de nuestros estudiantes, y de verificarse este supuesto, destacar las condiciones de calidad según las cuales deberían diseñarse

La Biblioteca Médica Nacional de Cuba tiene la primicia : Curso Cochrane Library, aprendizaje con estrategias para obtener las mejores evidencias en salud

La Biblioteca Médica Nacional de Cuba ha puesto en marcha un programa de alfabetización informacional para adiestrar a sus usuarios y fomentar en ellos las habilidades necesarias para el uso de bases de datos, así como para fomentar el uso de estrategias de búsquedas bien diseñadas y validadas por los bibliotecarios especialistas en información. En el presente trabajo se describen contenidos y habilidades que se fomentan en el curso "Cochrane Library: La Medicina Basada en Evidencias", cuyo objetivo es que el usuario domine esta base de datos y el concepto de medicina basada en evidencias para la toma de mejores decisiones en la atención médica. Durante el curso se introduce además el Modelo Big 6, como guía del pensamiento para resolver problemas de información que facilite la búsqueda y la organización de la información médica basada en evidencias. Igualmente, se capacita al estudiante para que diseñe productos informativos, como boletines electrónicos, que le permitan tanto presentar los resultados de búsquedas de información como promover información para el cuidado de la salud en el futuro

La Biblioteca Médica Nacional de Cuba tiene la primicia : Curso Cochrane Library, aprendizaje con estrategias para obtener las mejores evidencias en salud

La Biblioteca Médica Nacional de Cuba ha puesto en marcha un programa de alfabetización informacional para adiestrar a sus usuarios y fomentar en ellos las habilidades necesarias para el uso de bases de datos, así como para fomentar el uso de estrategias de búsquedas bien diseñadas y validadas por los bibliotecarios especialistas en información. En el presente trabajo se describen contenidos y habilidades que se fomentan en el curso "Cochrane Library: La Medicina Basada en Evidencias", cuyo objetivo es que el usuario domine esta base de datos y el concepto de medicina basada en evidencias para la toma de mejores decisiones en la atención médica. Durante el curso se introduce además el Modelo Big 6, como guía del pensamiento para resolver problemas de información que facilite la búsqueda y la organización de la información médica basada en evidencias. Igualmente, se capacita al estudiante para que diseñe productos informativos, como boletines electrónicos, que le permitan tanto presentar los resultados de búsquedas de información como promover información para el cuidado de la salud en el futuro

Preliminary test to characterize the soundscape of the Plaza Mayor in Madrid

This paper is a first step of a research about the analysis of the richness of the existing sounds in the Plaza Mayor, due to the old and traditional shops and bars under its porticoes together with the huge daily affluence of people. In this paper we study the sound preferences of the salesmen and bar tenders at those traditional shops. These sound preferences include particular sounds, time of occurrence and date of specific annoying and pleasant sounds perceived at the square and the shops surrounding it. To carry out this study, several noise level measurements and socio-acoustic surveys were held. We will also try to correlate sound preferences and annoyance with noise levels of specific events existing at this particular square.

Experimental evidence of a hard transition to chaos

A generic, sudden transition to chaos has been experimentally verified using electronic circuits. The particular system studied involves the near resonance of two coupled oscillators at 2:1 frequency ratio when the damping of the first oscillator becomes negative. We identified in the experiment all types of orbits described by theory. We also found that a theoretical, ID limit map fits closely a map of the experimental attractor which, however, could be strongly disturbed by noise. In particular, we found noisy periodic orbits, in good agreement with noise theory.

Characteristic study, its identification and self-tuned approach to control hydro-power plants

The water time constant and mechanical time constant greatly influences the power and speed oscillations of hydro-turbine-generator unit. This paper discusses the turbine power transients in response to different nature and changes in the gate position. The work presented here analyses the characteristics of hydraulic system with an emphasis on changes in the above time constants. The simulation study is based on mathematical first-, second-, third- and fourth-order transfer function models. The study is further extended to identify discrete time-domain models and their characteristic representation without noise and with noise content of 10 & 20 dB signal-to-noise ratio (SNR). The use of self-tuned control approach in minimising the speed deviation under plant parameter changes and disturbances is also discussed.