Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Theoretical studies of systems of biochemical interest containing Fe and Cu transition metals

La presència de la química teòrica i computacional està augmentant en quasi tots els camps de la recerca en química. Els càlculs teòrics poden ajudar a entendre millor l'estructura, les propietats i la reactivitat de compostos metàl·lics d'àrees tan diferents com la química inorgànica, organometàl·lica i bioinorgànica. No obstant això, és imprescindible utilitzar la metodologia adequada per obtenir resultats teòrics fiables. Els estudis d'aquesta tesi es poden dividir en dos grups diferents. El primer grup inclou l'estudi teòric del mecanisme de reacció de diversos sistemes que contenen coure i tenen diferents estructures Cun-O2. Aquests estudies s'han dut a terme amb l'objectiu de profunditzar en la natura dels processos oxidants químics i biològics promoguts per sistemes que contenen coure. En la segona part de la tesi, s'estudia la fiabilitat de diferents tècniques utilitzades per estudiar l'estructura electrònica i la reactivitat de sistemes que contenen coure, ferro i altres metalls de transició.