Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Fire blight (Erwinia amylovora) of rosaceous plants. Pathogen virulence and selection and characterization of biological control agents

El fuego bacteriano, causado por Erwinia amylovora, es una enfermedad muy importante a nivel comercial y económico porque afecta a plantas de la familia de las rosáceas y es especialmente agresiva en manzano (Pyrus malus) y peral (Pyrus communis), así como en plantas ornamentales (Crataegus, Cotoneaster o Pyracantha). Esta enfermedad está distribuida por todo el mundo en zonas climáticas templadas de Amércia del Norte, Nueva Zelanda, Japón, Israel, Turquí y Europa. En España, el fuego bacteriano fue detectado por primera vez en 1995 en el norte del País (Euskadi) y más tarde en nuevos focos aparecidos en otras áreas. La enfermedad puede ser controlada comercialmente mediante la aplicación de pesticidas quimicos (derivados de cobre, antibioticos). Sin embargo, muchos de los productos químicos presentan baja actividad o causan fitotoxicidad, y la estreptomicina, el producto más eficaz, esta prohibido en muchos países, incluyendo España. Por tanto, en ausencia de apropiados agentes químicos, el control biológico se contempla como una buena alternativa. En el presente trabajo, un agente de control biológico, Pseudomonas fluorescens EPS62e, ha sido seleccionada de entre 600 aislados de las especies P. fluorescens y Pantoea agglomerans obtenidos de flores, frutos y hojas de plantas de la familia de las rosáceas durante una prospección llevada a cabo en varias áreas geográficas de España. La cepa ha sido seleccionada por su capacidad de suprimir la infecciones producidas por E. amylovora frutos inmaduros, flores y brotes de peral en condiciones de ambiente controlado, presentando unos niveles de control similares a los obtenidos mediante el control químico usando derivados de cobre o antibióticos. La cepa además ha mostrado la capacidad de colonizar y sobrevivir en flores y heridas producidas en frutos inmaduros en condiciones de ambiento controlado pero también en flores en condiciones de campo. La exclusión de E. amylovora medinate la colonización de la superficie, el consumo de nutrientes, y la interacción entre las células del patógeno y del agente de biocontrol es la principal causa de la inhibición del fuego bacteriano por la cepa EPS62e. Estas características constituyen aspectos interesantes para un desarrollo efectivo de la cepa EPS62e como un agente de biocontrol del fuego bacteriano en condiciones comerciales.