Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Robustness on resource allocation problems

En problemes d'assignació de recursos, normalment s'han de tenir en compte les incerteses que poden provocar canvis en les dades inicials. Aquests canvis dificulten l'aplicabilitat de les planificacions que s'hagin fet inicialment. Aquesta tesi se centra en l'elaboració de tècniques que consideren la incertesa alhora de cercar solucions robustes, és a dir solucions que puguin continuar essent vàlides encara que hi hagi canvis en l'entorn. Particularment, introduïm el concepte de robustesa basat en reparabilitat, on una solució robusta és una que pot ser reparada fàcilment en cas que hi hagi incidències. La nostra aproximació es basa en lògica proposicional, codificant el problema en una fórmula de satisfactibilitat Booleana, i aplicant tècniques de reformulació per a la generació de solucions robustes. També presentem un mecanisme per a incorporar flexibilitat a les solucions robustes, de manera que es pugui establir fàcilment el grau desitjat entre robustesa i optimalitat de les solucions.

L'autocontrol en el procés d'abandonament de la conducta de fumar

En el marc del model transteòric de canvi (Prochaska, DiClemente i Norcross, 1992) i del model de l'autocontrol (Rachlin, 1989), s'examinen les característiques de la conducta de fumar així com la percepció de la magnitud i la demora de les conseqüències positives i negatives d'aquest consum, a fi de conèixer la seva relació amb l'etapa de canvi en la cessació tabàquica. Amb aquest objectiu s'entrevista a una mostra representativa de 281 membres (54,8% homes i 45,2% dones; mitjana d'edat = 37,26 anys, DT = 8,77; 48,8% no fumadors, 27,4% fumadors i 23,8% exfumadors) del personal acadèmic i d'administració i serveis de la Universitat de Girona. Els resultats mostren que més de la meitat dels fumadors es troben a l'etapa de Precontemplació (sense intenció ferma d'abandonar el consum de tabac en els propers 6 mesos) i la majoria d'exfumadors se situen a l'etapa de Manteniment (mínim de sis mesos sense fumar). També s'observen diferències en algunes de les variables examinades segons l'etapa de canvi de manera que els fumadors en Contemplació-Preparació (amb intenció ferma d'abandonar el consum de tabac en els propers 6 mesos) presenten un elevat índex de perjudicis percebuts, informen d'haver rebut més consell mèdic i realitzen amb major freqüència inhalacions a cada cigarreta. En canvi, els fumadors en Precontemplació són els qui més responen consumir tabac baix en nicotina mentre que els exfumadors en Acció o Manteniment són els qui més tendeixen a relacionar de manera immediata fumar i les seves conseqüències negatives a curt i mitjà termini, i els qui presenten major puntuació en l'índex de beneficis percebuts. Aquestes dades corroboren la importància de les intervencions clíniques específiques en les diferents etapes de l'abandonament del consum de tabac, suggereixen que les campanyes preventives s'haurien de focalitzar preferentment en les conseqüències negatives immediates de fumar i apunten a la conveniència de tenir en compte la notable valoració positiva dels beneficis de fumar per part dels exfumadors en els programes de prevenció de recaigudes. Així mateix, la constatació del poder explicatiu de la variable demora en la diferenciació dels subjectes en funció de l'etapa de canvi, planteja la conveniència d'incloure aquesta variable en les avaluacions dels pros i contres de fumar a fi de conèixer amb major precisió els seus pesos relatius.