A proposal of a behavior-based control architecture with reinforcement learning for an autonomous underwater robot

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina. En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies. En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni. Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

Enhanced fault recovery methods for protected traffic services in GMPLS networks

Les noves tecnologies a la xarxa ens permeten transportar, cada cop més, grans volums d' informació i trànsit de xarxa amb diferents nivells de prioritat. En aquest escenari, on s'ofereix una millor qualitat de servei, les conseqüències d'una fallada en un enllaç o en un node esdevenen més importants. Multiprotocol Lavel Switching (MPLS), juntament amb l'extensió a MPLS generalitzat (GMPLS), proporcionen mecanismes ràpids de recuperació de fallada establint camins, Label Switch Path (LSPs), redundants per ser utilitzats com a camins alternatius. En cas de fallada podrem utilitzar aquests camins per redireccionar el trànsit. El principal objectiu d'aquesta tesi ha estat millorar alguns dels actuals mecanismes de recuperació de fallades MPLS/GMPLS, amb l'objectiu de suportar els requeriments de protecció dels serveis proporcionats per la nova Internet. Per tal de fer aquesta avaluació s'han tingut en compte alguns paràmetres de qualitat de protecció com els temps de recuperació de fallada, les pèrdues de paquets o el consum de recursos. En aquesta tesi presentem una completa revisió i comparació dels principals mètodes de recuperació de fallada basats en MPLS. Aquest anàlisi inclou els mètodes de protecció del camí (backups globals, backups inversos i protecció 1+1), els mètodes de protecció locals i els mètodes de protecció de segments. També s'ha tingut en compte l'extensió d'aquests mecanismes a les xarxes òptiques mitjançant el pla de control proporcionat per GMPLS. En una primera fase d'aquest treball, cada mètode de recuperació de fallades és analitzat sense tenir en compte restriccions de recursos o de topologia. Aquest anàlisi ens dóna una primera classificació dels millors mecanismes de protecció en termes de pèrdues de paquets i temps de recuperació. Aquest primer anàlisi no és aplicable a xarxes reals. Per tal de tenir en compte aquest nou escenari, en una segona fase, s'analitzen els algorismes d'encaminament on sí tindrem en compte aquestes limitacions i restriccions de la xarxa. Es presenten alguns dels principals algorismes d'encaminament amb qualitat de servei i alguna de les principals propostes d'encaminament per xarxes MPLS. La majoria dels actual algorismes d'encaminament no tenen en compte l'establiment de rutes alternatives o utilitzen els mateixos objectius per seleccionar els camins de treball i els de protecció. Per millorar el nivell de protecció introduïm i formalitzem dos nous conceptes: la Probabilitat de fallada de la xarxa i l'Impacte de fallada. Un anàlisi de la xarxa a nivell físic proporciona un primer element per avaluar el nivell de protecció en termes de fiabilitat i disponibilitat de la xarxa. Formalitzem l'impacte d'una fallada, quant a la degradació de la qualitat de servei (en termes de retard i pèrdues de paquets). Expliquem la nostra proposta per reduir la probabilitat de fallada i l'impacte de fallada. Per últim fem una nova definició i classificació dels serveis de xarxa segons els valors requerits de probabilitat de fallada i impacte. Un dels aspectes que destaquem dels resultats d'aquesta tesi és que els mecanismes de protecció global del camí maximitzen la fiabilitat de la xarxa, mentre que les tècniques de protecció local o de segments de xarxa minimitzen l'impacte de fallada. Per tant podem assolir mínim impacte i màxima fiabilitat aplicant protecció local a tota la xarxa, però no és una proposta escalable en termes de consum de recursos. Nosaltres proposem un mecanisme intermig, aplicant protecció de segments combinat amb el nostre model d'avaluació de la probabilitat de fallada. Resumint, aquesta tesi presenta diversos mecanismes per l'anàlisi del nivell de protecció de la xarxa. Els resultats dels models i mecanismes proposats milloren la fiabilitat i minimitzen l'impacte d'una fallada en la xarxa.

La construcció de l'església de Sant Feliu de Girona al segle XIV. Els llibres d'obra

Aquesta tesi doctoral com diu el seu títol es centra en analitzar la construcció de l'església de Sant Feliu de Girona al segle XIV a través de l'anàlisi dels llibres d'obra conservats a l'Arxiu Diòcesa de Girona. Aquesta tesi doctoral esta dividida en quatre parts. En la primera part s'analitza la historiografia de l'església de Sant Feliu de Girona des del segle XVII fins a l'actualitat. Dins d'aquest apartat s'analitzen les notícies que aporten els diferents autors i es situa el context historiogràfic de cadascun dels segles. S'ha realitzat un estudi molt exhaustiu en les darreres publicacions del segle XX i inicis del segle XXI. Un cop analitzades aquestes fonts - secundàries -, dins d'aquesta primera part del treball s'ha passat a analitzar els llibres d'obra del segle XIV. S'analitzaràn els aspectes formals i els diferents escrivans encarregats de realitzar aquests llibres d'obra. Aquesta serà la documentació bàsica per realitzar aquesta tesi doctoral. En la segona part del treball es procedirà a analitzar la gestió i el finançament de l'Obra. Es tracta d'una anàlisi, bàsicament dels ingressos, per veure quines són les estratègies que es duen a terme per aconseguir el màxim de recursos per la construcció i per les necessitats "litúrgiques" de l'església de Sant Feliu de Girona. En aquest apartat s'ha analitzat l'Obra com a entitat amb les persones que formen part d'ella i el paper que correspon a cadascuna d'elles (l'obrer, l'escrivà, el mestre d'obres, el questor). També s'han analitzat els promotors i aquells ingressos que, pel seu volum, subministren el nombre més gran de diners a l'Obra ("annates", bacins, etc.). La tercera part ha consistit en l'elaboració de la cronologia constructiva de l'església de Sant Feliu de Girona partint de la informació obtinguda en els llibres d'obra corresponent a les despeses. S'han analitzat totes aquelles obres, tant pel que fa a la construcció de l'edifici com pel que fa a reparacions i manteniment, que tenen lloc entre l'any 1349 (data del primer llibre d'obra de despeses) i l'any 1391. En aquesta part no s'ha entrat a analitzar de forma exhaustiva les figures que fan possible la construcció de l'església al segle XIV ja que això pertany al contingut de la darrera part del nostre treball. La darrera part del treball correspon a l'execució de les obres. En aquesta part trobem quatre grans capítols: els mestres d'obra, la mà d'obra, els materials i els mitjans auxiliars. En cadascun d'aquests capítols s'ha incidit sobre el rol dels diferents treballadors durant la construcció del temple, els materials utilitzats i les seves característiques (pedra, fusta, aglomerants, etc.) i els mitjans auxiliars utilitzats per col.locar aquests materials en obra. S'han separat els mestres d'obres de la resta de treballadors ja que els primers juguen un rol diferenciat dels segons. S'ha intentat analitzar en ambdós casos els seus sous i les tasques de cadascun d'ells. Pel que fa als materials també s'ha procedit a analitzar d'on s'extreuen, com han arribat a peu d'obra i on s'emmagatzemen i manipulen o transformen abans d'ésser col.locats en obra. Dels mitjans auxiliars s'ha intentat analitzar les funcions per la qual es fan servir les eines (apareixen totes les de l'ofici de pedrer), els enginys (elevar pesos), les bastides (poder treballar en alçada) i el encofrats (garantir la resistència inicial dels elements constructius). Evidentment s'han establert unes conclusions de cadascuna de les parts i unes conclusions finals. La tesi també inclou els agraïments corresponents, el prefaci i la bibliografia.