Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Local model predictive control for navigation of a wheeled mobile robot using monocular information

Aquesta tesi està inspirada en els agents naturals per tal de planificar de manera dinàmica la navegació d'un robot diferencial de dues rodes. Les dades dels sistemes de percepció són integrades dins una graella d'ocupació de l'entorn local del robot. La planificació de les trajectòries es fa considerant la configuració desitjada del robot, així com els vértexs més significatius dels obstacles més propers. En el seguiment de les trajectòries s'utilitzen tècniques locals de control predictiu basades en el model, amb horitzons de predicció inferiors a un segon. La metodologia emprada és validada mitjançant nombrosos experiments.

Selective submap joining SLAM for autonomous vehicles

Simultaneous Localization and Mapping (SLAM) do not result in consistent maps of large areas because of gradual increase of the uncertainty for long term missions. In addition, as the size of the map grows the computational cost increases, making SLAM solutions unsuitable for on-line applications. This thesis surveys SLAM approaches paying special attention to those approaches aimed to work on large scenarios. Special focus is given to existing underwater SLAM applications. A technique based on using independent local maps together with a global stochastic map is presented. This technique is called Selective Submap Joining SLAM (SSJS). A global map contains relative transformations between local maps, which are updated once a new loop is detected. Maps sharing several features are fused, maintaining the correlation between landmarks and vehicle's pose. The use of local maps reduces computational costs and improves map consistency as compared to state of the art techniques.

Conflictes socioterriorials i participació pública en la gestió de l'aigua de la conca del riu Muga (Alt Empordà)

Conflictes socioterritorials i participació pública en la gestió de l'aigua de la conca del riu Muga (Alt Empordà) és un treball que incideix sobre la conflictivitat en la gestió dels rius mediterranis i prospecta en la participació pública -activa i vinculant- per a la resolució de conflictes i la planificació i gestió dels recursos hídrics. En concret, s'ha intentat donar resposta a cinc objectius: Objectius del marc teòric - Comprovar l'existència de dos discursos antagònics (radicalment oposats) en l'esfera social, científica i de gestió dels rius que generen conflicte i que són insostenibles per a una gestió integral dels recursos fluvials: el discurs antropocèntric i el discurs ecocèntric. Matèria d'estudi: L'excepcionalisme humà i l'ecologia profunda en la societat; Les disciplines de la regulació de l'aigua i de l'ecologia fluvial en la ciència; El contracte antropocèntric i el balanç ecocèntric en la gestió; El discurs ambiental (el riu antròpic i ecosistemàtic). - Valorar si les estratègies de participació pública (que involucren als agents socials) gaudeixen -respecte els processos de decisió unilaterals (siguin autoritàries o arbitràries)- de més garanties per corregir i prevenir conflictes desconstructius relacionats amb l'aigua i els recursos fluvials. Matèria d'estudi: Definició de conflicte en positiu; L'estratègia de cooperació i consens en la Resolució Alternativa de Disputes (Alternative Dispute Resolution) i 13 casos resolts de conflictes per l'aigua a l'Oest dels Estats Units; Bases d'un pla de gestió integral, adaptatiu i participatiu i el cas del San Joaquin River Management Plan (Califòrnia, Estats Units). Objectius del marc pràctic. Conca del riu Muga (Alt Empordà) - Contextualitzar la diversificació i intensificació dels usos de l'aigua dins un procés de canvi dels usos del sòl, particularment accelerat a partir de la dècada de 1960 i objecte de problemàtiques socioterritorials d'ençà de la dècada de 1980. Cartografia i matriu de canvi dels usos del sòl de la conca anys 1993 i 1957. Matèria d'estudi: Cartografia i estadística dels usos del sòl de la conca del riu Muga (49 municipis altempordanesos, 1.050 km2), anys 1957 i 1993. Retrospectiva dels espais forestals, d'aigua, conreats i urbanitzats. - Identificar i descriure les tensions i conflictes en l'ús de l'aigua, així com les característiques de les solucions adoptades en el període 1980-2000. Constatar si determinades solucions estructurals han esdevingut problemàtiques a mig o llarg termini, i estimar la probabilitat de conflictes futurs. Matèria d'estudi: 50 incidents problemàtics en abastament d'aigua (26 tensions i 24 conflictes) i 53 mesures per fer-hi front (12 d'adaptació de la demanda i 41 d'adaptació de l'oferta d'aigua) entre els anys 1980 i 2000, i diferenciant dues unitats territorials de la conca (la Muga interior i la plana de la Muga). - Caracteritzar quins són els temes en matèria d'aigua que no disposen de consens entre els agents socioeconòmics, tècnics i polítics locals reunits en les sessions de discussió del projecte MUGA. Determinar si les estratègies participatives poden prosperar perquè són factibles i idònies. Matèria d'estudi: Projecte MUGA: Gestión del recurso agua con participación de agentes. Estudio para la cuenca del río Muga (Girona), 2000-2003 - UAB i UdG; La dissensió d'opinions dels 30 participants a les 4 sessions de discussió entorn l'ús i gestió de l'aigua de la conca de la Muga; 6 temes de conflicte, 14 subtemes i 31 punts de discussió, 9 dels quals punts calents de conflicte (destructius i indicadors de punts de disfunció en la gestió de l'aigua de la conca).