A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

Efecto de las pérdidas y ganancias recientes en el riesgo asumido por los automovilistas

Se analiza el efecto de las pérdidas y ganancias recientes sobre la conducta arriesgada y el riesgo percibido en la ejecución del simulador de conducción TIC/PC. Los modelos teóricos analizados coinciden en predecir aumento de la conducta arriesgada tras la pérdida y no modificación tras la ganancia. Los resultados obtenidos no confirman estas predicciones en cuanto al efecto de las pérdidas recientes. Tras las ganancias los sujetos no se diferencian de los controles. En cuanto al riesgo percibido, sólo la Teoría de Riesgo-Cero predice modificaciones tras la pérdida. Si bien nuestros sujetos experimentales perciben menos riesgo tras la pérdida, ello no se traduce en un aumento de la conducta arriesgada. Parece ser que percepción y conducta se rigen por mecanismos diferentes

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

L'autocontrol en el procés d'abandonament de la conducta de fumar

En el marc del model transteòric de canvi (Prochaska, DiClemente i Norcross, 1992) i del model de l'autocontrol (Rachlin, 1989), s'examinen les característiques de la conducta de fumar així com la percepció de la magnitud i la demora de les conseqüències positives i negatives d'aquest consum, a fi de conèixer la seva relació amb l'etapa de canvi en la cessació tabàquica. Amb aquest objectiu s'entrevista a una mostra representativa de 281 membres (54,8% homes i 45,2% dones; mitjana d'edat = 37,26 anys, DT = 8,77; 48,8% no fumadors, 27,4% fumadors i 23,8% exfumadors) del personal acadèmic i d'administració i serveis de la Universitat de Girona. Els resultats mostren que més de la meitat dels fumadors es troben a l'etapa de Precontemplació (sense intenció ferma d'abandonar el consum de tabac en els propers 6 mesos) i la majoria d'exfumadors se situen a l'etapa de Manteniment (mínim de sis mesos sense fumar). També s'observen diferències en algunes de les variables examinades segons l'etapa de canvi de manera que els fumadors en Contemplació-Preparació (amb intenció ferma d'abandonar el consum de tabac en els propers 6 mesos) presenten un elevat índex de perjudicis percebuts, informen d'haver rebut més consell mèdic i realitzen amb major freqüència inhalacions a cada cigarreta. En canvi, els fumadors en Precontemplació són els qui més responen consumir tabac baix en nicotina mentre que els exfumadors en Acció o Manteniment són els qui més tendeixen a relacionar de manera immediata fumar i les seves conseqüències negatives a curt i mitjà termini, i els qui presenten major puntuació en l'índex de beneficis percebuts. Aquestes dades corroboren la importància de les intervencions clíniques específiques en les diferents etapes de l'abandonament del consum de tabac, suggereixen que les campanyes preventives s'haurien de focalitzar preferentment en les conseqüències negatives immediates de fumar i apunten a la conveniència de tenir en compte la notable valoració positiva dels beneficis de fumar per part dels exfumadors en els programes de prevenció de recaigudes. Així mateix, la constatació del poder explicatiu de la variable demora en la diferenciació dels subjectes en funció de l'etapa de canvi, planteja la conveniència d'incloure aquesta variable en les avaluacions dels pros i contres de fumar a fi de conèixer amb major precisió els seus pesos relatius.

Ecological interactions between an invasive fish (Gambusia holbrooki) and native cyprinodonts: the role of salinity

Actualment una de les principals amenaces a la biodiversitat és la introducció d'espècies. Revisant 26 variables de les 69 espècies de peixos continental de la Península Ibèrica concloem que la filogènia, variabilitat i els usos de l'home són necessaris per entendre millor les diferències entres les espècies natives i invasores. Entre les especies més afectades per la introducció de peixos es troben els ciprinodontiformes endèmics del Mediterrani. Aportem les primers dades sobre l'ús d'hàbitats ocasionalment inundats i la selecció de preses del fartet (Aphanius iberus), observant un canvi ontogenètic, clarament relacionat amb el microhàbitat. També demostrem que la salinitat influeix en l'èxit invasor de la gamúsia, afectant la seva densitat i biologia reproductiva. Per altra banda, demostrem experimentalment que amb l'increment de salinitat la gambúsia disminueix la seva agressivitat i captura menys preses, reduint la seva eficàcia competitiva respecte dels ciprinodonts natius.