Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Large-Scale Surface registration

The first part of this work presents an accurate analysis of the most relevant 3D registration techniques, including initial pose estimation, pairwise registration and multiview registration strategies. A new classification has been proposed, based on both the applications and the approach of the methods that have been discussed. The main contribution of this thesis is the proposal of a new 3D multiview registration strategy. The proposed approach detects revisited regions obtaining cycles of views that are used to reduce the inaccuracies that may exist in the final model due to error propagation. The method takes advantage of both global and local information of the registration process, using graph theory techniques in order correlate multiple views and minimize the propagated error by registering the views in an optimal way. The proposed method has been tested using both synthetic and real data, in order to show and study its behavior and demonstrate its reliability.

Predictors of knowledge creation performance. A quantitative qualitative comparative study of European doctorandi

Aquesta tesi forma part d'un projecte destinat a predir el rendiment acadèmic dels estudiants de doctorat portat a terme per l'INSOC (International Network on Social Capital and Performance). El grup de recerca INSOC està format per les universitats de Girona (Espanya), Ljubljana (Eslovènia), Giessen (Alemanya) i Ghent (Bèlgica). El primer objectiu d'aquesta tesi és desenvolupar anàlisis quantitatius comparatius sobre el rendiment acadèmic dels estudiants de doctorat entre Espanya, Eslovènia i Alemanya a partir dels resultats individuals del rendiment acadèmic obtinguts de cada una de les universitats. La naturalesa internacional del grup de recerca implica la recerca comparativa. Vam utilitzar variables personal, actitudinals i de xarxa per predir el rendiment. El segon objectiu d'aquesta tesi és entendre de manera qualitativa perquè les variables de xarxa no ajuden quantitativament a predir el rendiment a la universitat de Girona (Espanya). En el capítol 1, definim conceptes relacionats amb el rendiment i donam un llistat de cada una de les variables independents (variables de xarxa, personals i actitudinals), resumint la lliteratura. Finalment, explicam com s'organitzen els estudis de doctorat a cada un dels diferents països. A partir d'aquestes definicions teòriques, en els pròxims capítols, primer presentarem els qüestionaris utilitzats a Espanya, Eslovènia i Alemanya per mesurar aquests diferents tipus de variables. Després, compararem les variables que són relevants per predir el rendiment dels estudiants de doctorat a cada país. Després d'això, fixarem diferents models de regressió per predir el rendiment entre països. En tots aquests models les variables de xarxa fallen a predir el rendiment a la Universitat de Girona. Finalment, utilitzem estudis qualitatius per entendre aquests resultats inesperats. En el capítol 2, expliquem com hem dissenyat i conduït els qüestionaris en els diferents països amb l'objectiu d'explicar el rendiment dels estudiants de doctorat obtinguts a Espanya, Eslovènia i Alemanya. En el capítol 3, cream indicadors comparables però apareixen problemes de comparabilitat en preguntes particulars a Espanya, Eslovènia i Alemanya. En aquest capítol expliquem com utilitzem les variables dels tres països per crear indicadors comparables. Aquest pas és molt important perquè el principal objectiu del grup de recerca INSOC és comparar el rendiment dels estudiants de doctorat entre els diferents països. En el capítol 4 comparem models de regressió obtinguts de predir el rendiment dels estudiants de doctorat a les universitats de Girona (Espanya) i Eslovènia. Les variables són característiques dels grups de recerca dels estudiants de doctorat enteses com una xarxa social egocèntrica, característiques personals i actitudinals dels estudiants de doctorat i algunes carecterístiques dels directors. Vam trobar que les variables de xarxa egocèntriques no predien el rendiment a la Universitat de Girona. En el capítol 5, comparem dades eslovenes, espanyoles i alemnayes, seguint la metodologia del capítol 4. Concluïm que el cas alemany és molt diferent. El poder predictiu de les variables de xarxa no millora. En el capítol 6 el grup de recerca dels estudiants de doctorat és entès com una xarxa duocèntrica (Coromina et al., 2008), amb l'objectiu d'obtendre informació de la relació mútua entre els estudiants i els seus directors i els contactes d'ambdós amb els altres de la xarxa. La inclusió de la xarxa duocèntrica no millora el poder predictiu del model de regressió utilitzant les variales egocèntriques de xarxa. El capítol 7 pretèn entendre perquè les variables de xarxa no predeixen el rendiment a la Universitat de Girona. Utilitzem el mètode mixte, esperant que l'estudi qualitatiu pugui cobrir les raons de perquè la qualitat de la xarxa falla en la qualitat del treball dels estudiants. Per recollir dades per l'estudi qualitatiu utilitzem entrevistes en profunditat.

Estudi de mètodes de classificació borrosa i la seva aplicació a l'agrupació de zones geogràfiques en base a diverses característiques incertes

Aquesta memòria està estructurada en sis capítols amb l'objectiu final de fonamentar i desenvolupar les eines matemàtiques necessàries per a la classificació de conjunts de subconjunts borrosos. El nucli teòric del treball el formen els capítols 3, 4 i 5; els dos primers són dos capítols de caire més general, i l'últim és una aplicació dels anteriors a la classificació dels països de la Unió Europea en funció de determinades característiques borroses. En el capítol 1 s'analitzen les diferents connectives borroses posant una especial atenció en aquells aspectes que en altres capítols tindran una aplicació específica. És per aquest motiu que s'estudien les ordenacions de famílies de t-normes, donada la seva importància en la transitivitat de les relacions borroses. La verificació del principi del terç exclòs és necessària per assegurar que un conjunt significatiu de mesures borroses generalitzades, introduïdes en el capítol 3, siguin reflexives. Estudiem per a quines t-normes es verifica aquesta propietat i introduïm un nou conjunt de t-normes que verifiquen aquest principi. En el capítol 2 es fa un recorregut general per les relacions borroses centrant-nos en l'estudi de la clausura transitiva per a qualsevol t-norma, el càlcul de la qual és en molts casos fonamental per portar a terme el procés de classificació. Al final del capítol s'exposa un procediment pràctic per al càlcul d'una relació borrosa amb l'ajuda d'experts i de sèries estadístiques. El capítol 3 és un monogràfic sobre mesures borroses. El primer objectiu és relacionar les mesures (o distàncies) usualment utilitzades en les aplicacions borroses amb les mesures conjuntistes crisp. Es tracta d'un enfocament diferent del tradicional enfocament geomètric. El principal resultat és la introducció d'una família parametritzada de mesures que verifiquen unes propietats de caràcter conjuntista prou satisfactòries. L'estudi de la verificació del principi del terç exclòs té aquí la seva aplicació sobre la reflexivitat d'aquestes mesures, que són estudiades amb una certa profunditat en alguns casos particulars. El capítol 4 és, d'entrada, un repàs dels principals resultats i mètodes borrosos per a la classificació dels elements d'un mateix conjunt de subconjunts borrosos. És aquí on s'apliquen els resultats sobre les ordenacions de les famílies de t-normes i t-conormes estudiades en el capítol 1. S'introdueix un nou mètode de clusterització, canviant la matriu de la relació borrosa cada vegada que s'obté un nou clúster. Aquest mètode permet homogeneïtzar la metodologia del càlcul de la relació borrosa amb el mètode de clusterització. El capítol 5 tracta sobre l'agrupació d'objectes de diferent naturalesa; és a dir, subconjunts borrosos que pertanyen a diferents conjunts. Aquesta teoria ja ha estat desenvolupada en el cas binari; aquí, el que es presenta és la seva generalització al cas n-ari. Més endavant s'estudien certs aspectes de les projeccions de la relació sobre un cert espai i el recíproc, l'estudi de cilindres de relacions predeterminades. Una aplicació sobre l'agrupació de les comarques gironines en funció de certes variables borroses es presenta al final del capítol. L'últim capítol és eminentment pràctic, ja que s'aplica allò estudiat principalment en els capítols 3 i 4 a la classificació dels països de la Unió Europea en funció de determinades característiques borroses. Per tal de fer previsions per a anys venidors s'han utilitzat sèries temporals i xarxes neuronals. S'han emprat diverses mesures i mètodes de clusterització per tal de poder comparar els diversos dendogrames que resulten del procés de clusterització. Finalment, als annexos es poden consultar les sèries estadístiques utilitzades, la seva extrapolació, els càlculs per a la construcció de les matrius de les relacions borroses, les matrius de mesura i les seves clausures.