Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Learning and adaptation in physical heterogeneous teams of robots

In this paper we present a novel approach to assigning roles to robots in a team of physical heterogeneous robots. Its members compete for these roles and get rewards for them. The rewards are used to determine each agent’s preferences and which agents are better adapted to the environment. These aspects are included in the decision making process. Agent interactions are modelled using the concept of an ecosystem in which each robot is a species, resulting in emergent behaviour of the whole set of agents. One of the most important features of this approach is its high adaptability. Unlike some other learning techniques, this approach does not need to start a whole exploitation process when the environment changes. All this is exemplified by means of experiments run on a simulator. In addition, the algorithm developed was applied as applied to several teams of robots in order to analyse the impact of heterogeneity in these systems

Local model predictive control experiences with differential driven wheeled mobile robots

This work extends a previously developed research concerning about the use of local model predictive control in differential driven mobile robots. Hence, experimental results are presented as a way to improve the methodology by considering aspects as trajectory accuracy and time performance. In this sense, the cost function and the prediction horizon are important aspects to be considered. The aim of the present work is to test the control method by measuring trajectory tracking accuracy and time performance. Moreover, strategies for the integration with perception system and path planning are briefly introduced. In this sense, monocular image data can be used to plan safety trajectories by using goal attraction potential fields

A mission control system for an autonomous underwater vehicle

The presented work focuses on the theoretical and practical aspects concerning the design and development of a formal method to build a mission control system for autonomous underwater vehicles bringing systematic design principles for the formal description of missions using Petri nets. The proposed methodology compounds Petri net building blocks within it to de_ne a mission plan for which it is proved that formal properties, such as reachability and reusability, hold as long as these same properties are also guaranteed by each Petri net building block. To simplify the de_nition of these Petri net blocks as well as their composition, a high level language called Mission Control Language has been developed. Moreover, a methodology to ensure coordination constraints for teams of multiple robots as well as the de_nition of an interface between the proposed system and an on-board planner able to plan/replan sequences of prede_ned mission plans is included as well. Results of experiments with several real underwater vehicles and simulations involving an autonomous surface craft and an autonomous underwater vehicles are presented to show the system's capabilities.

Contribució al posicionament dinàmic de robots mòbils per mitjà d'un sistema làser

Aquesta tesi tracta el problema del posicionament de robots mòbils quan, en el decurs del moviment, es realitzen mesures angulars relatives al robot de l'orientació de la recta entre un dels seus punts i punts de l'entorn de posició coneguda. Es considera que les mesures angulars són fetes per un sensor làser giratori que detecta diferents reflectors catadiòptrics fixos. La contribució principal és el desenvolupament d'un algorisme dinàmic, basat en un filtre de Kalman estès (EKF), que estima a cada instant de temps l'estat format pels angles associats als reflectors. La simulació hodomètrica dels angles entre mesures directes del sensor làser garanteix l'ús consistent i continuat dels mètodes de triangulació per a determinar la posició i l'orientació del robot. Inclou simulacions informàtiques i experiments per a validar la precisió del mètode de posicionament proposat. En l'experimentació s'utilitza un robot mòbil omnidireccional amb tres rodes de lliscament direccional de corrons esfèrics.

DSet: el futur s'amaga al darrere del decorat

De tant en tant, a la televisió fan una pel·lícula antiga en la qual es presenta la casa moderna, la del futur. Sol ser una casa en què els objectes més diversos es mouen sols automàticament. El dia en què plats i olles vagin i vinguin per les taules i estranyes andròmines escombrin les engrunes encara no ha arribat, però al darrere del decorat, al lloc on s’amagaven els genis que movien aquella il·lusió, és on avui s’està vivint una revolució. És allà on no es veu que s’instal·len moderns dispositius que treballen per millorar l’eficiència de la nostra vida domèstica. El K2 Energia és un d’aquests mecanismes, un producte dissenyat a Girona per DSet, una spin-off de la UdG instal·lada al Parc Científic

Disseny i construcció d’ un braç de robot de 5 graus de llibertat governat des de PC via USB.

El braç robot es va crear com a resposta a una necessitat de fabricació d’elements mitjançant la producció en cadena i en tasques que necessiten precisió. Hi ha, però, altres tipus de tasques les quals no són repetitives, ni poden ésser programades, que necessiten però ser controlades en tot moment per un ésser humà. Són activitats que han d’estar realitzades per un ésser humà, però que requereixen molta precisió, és per això que es creu necessari el disseny d’un prototipus de control d’un braç robot estàndard, que permeti a una persona el control total sobre aquest en temps real per a la realització d’una tasca no repetitiva i no programable prèviament. Pretenem, en el present projecte, dissenyar i construir un braç robot de 5 graus de llibertat, controlat des d’un PC mitjançant un microcontrolador PIC amb comunicació a través d’un bus USB. El robot serà governat des d’un PC a través d’un software de control específic

Control de posició del robot wifibot

Aquest projecte pretén presentar de forma clara i detallada l’estructura i el funcionament del robot així com dels components que el conformen. Aquesta informació és de vital importància a l’hora de desenvolupar aplicacions per al robot. Un cop descrites les característiques del robot s’analitzaran les eines necessàries i/o disponibles per poder desenvolupar programari per cada nivell de la forma més senzilla i eficient possible. Posteriorment s’analitzaran els diferents nivells de programació i se’n contrastaran els avantatges i els inconvenients de cada un. Aquest anàlisi es començarà fent pel nivell més alt i anirà baixant amb la intenció de no entrar en nivells més baixos del necessari. Baixar un nivell en la programació suposa haver de crear aplicacions sempre compatibles amb els nivells superiors de forma que com més es baixa més augmenta la complexitat. A partir d’aquest anàlisi s’ha arribat a la conclusió que per tal d’aprofitar totes les prestacions del robot és precís arribar a programar en el nivell més baix del robot. Finalment l’objectiu és obtenir una sèrie de programes per cada nivell que permetin controlar el robot i fer-lo seguir senzilles trajectòries

Integració d’ una unitat inercial i d’ un giroscopi de fibra òptica en un robot submarí i desenvolupament d’ un sistema de posicionament dins una piscina

El Grup de Visió per Computador i Robòtica (VICOROB) del departament d'Electrònica, Informàtica i Automàtica de la Universitat de Girona investiga en el camp de la robòtica submarina. Al CIRS (Centre d’Investigació en Robòtica Submarina), laboratori que forma part del grup VICOROB, el robot submarí Ictineu és la principal eina utilitzada per a desenvolupar els projectes de recerca. Recentment, el CIRS ha adquirit un nou sistema de sensors d' orientació basat en una unitat inercial i un giroscopi de fibra òptica. Aquest projecte pretén realitzar un estudi d' aquests dispositius i integrar-los al robot Ictineu. D' altra banda, aprofitant les característiques d’aquests sensors giroscopics i les mesures d' un sonar ja integrat al robot, es vol desenvolupar un sistema de localització capaç de determinar la posició del robot en el pla horitzontal de la piscina en temps real

Entorn de programació pel robot Stäubli mitjantçant MatLab, aplicació a un sistema de recol·lecció de peces basat en visió artificial

Els objectius del projecte són: realitzar un intèrpret de comandes en VAL3 que rebi les ordres a través d’una connexió TCP/IP; realitzar una toolbox de Matlab per enviar diferents ordres mitjançant una connexió TCP/IP; adquirir i processar mitjançant Matlab imatges de la càmera en temps real i detectar la posició d’objectes artificials mitjançant la segmentació per color i dissenyar i realitzar una aplicació amb Matlab que reculli peces detectades amb la càmera. L’abast del projecte inclou: l’estudi del llenguatge de programació VAL3 i disseny de l’ intèrpret de comandes, l’estudi de les llibreries de Matlab per comunicació mitjançant TCP/IP, per l’adquisició d’imatges, pel processament d’imatges i per la programació en C; el disseny de la aplicació recol·lectora de peces i la implementació de: un intèrpret de comandes en VAL3, la toolbox pel control del robot STAUBLI en Matlab i la aplicació recol·lectora de peces mitjançant el processament d’imatges en temps real també en Matlab

Millora experimental de les lleis de control predictiu aplicades sobre la plataforma PRIM I, per el seguiment de trajectòries

Aquest projecte s’aplica sobre el robot PRIM (Plataforma Robotitzada d’Informació Multimèdia), un robot autònom no humanoide creat el 2004 per Ateneu Informàtic (AI) que permet realitzar trajectòries 2D gràcies a un sistema de tracció format per dues rodes motrius propulsades independentment. La plataforma PRIM és controlada a partir del control predictiu, aquest control es va implementar en un projecte anterior, creat per l’Alexandre Blasco Gutierrez i titulat “Implementació de tècniques MPC (Model Predictiu Control) sobre la plataforma PRIM I”. El que es pretén en aquest projecte és millorar els resultats obtinguts en el passat projecte reformulant la llei de control i analitzar les discrepàncies obtingudes en les metodologies que s’utilitzen per minimitzar la funció de costos a partir de simulacions de trajectòries

Integració i estudi d’un conjunt de propulsors per un robot submarí

L’objectiu d’aquest projecte/treball fi de carrera es estudiar els propulsors i el seu protocol de comunicació proporcionant informació útil a l’hora de dissenyar i construir el robot subaquàtic que implementi els propulsors

Odometria i planificació de trajectòries amb el robot e-puck

En el laboratori docent de robòtica s'utilitzen robots mòbils autònoms per treballar aspectes relacionats amb el posicionament, el control de trajectòries, la construcció de mapes... Es disposa de cinc robots comercials anomenats “e-puck”, que es caracteritzen per les seves dimensions reduïdes, dos motors i un conjunt complet de sensors. Aquests robots es programen en C++ utilitzant el simulador Webots, que disposa d'un conjunt de llibreries per programar el robot. També es disposa d'un entorn de proves on els robots es poden moure i evitar obstacles. Donat el poc temps que disposen els estudiants que realitzen pràctiques en aquest laboratori, és d'interès desenvolupar un software que contingui ja el posicionament del robot mitjançant odometria i també varis algoritmes de control de trajectòries. Per últim, en el laboratori es disposa de càmeres i targes d'adquisició de dades. Així doncs els objectius que s'han proposat per el projecte són: 1. Estudi de la documentació i software proporcinats pels fabricants del robot i de l'entorn Webots; 2. Programació del software de l'odometria i realització de proves per comprovar-ne la precisió; 3. Disseny, programació i verificació del software dels algoritmes de planificació de trajectòries. Realització d'experiments per a comprovar-ne el funcionament i 4. Disseny, programació i verificació d'un sistema de visió artificial que permeti conèixer la posició absoluta del robot en l'entorn

Programació del robot e-puck amb Microsoft Robotics Studio

Microsoft Robotics Studio (MRS) és un entorn per a crear aplicacions per a robots utilitzant una gran varietat de plataformes hardware. Conté un entorn de simulació en el que es pot modelar i simular el moviment del robot. Permet també programar el robot, i executar-lo en l’entorn simulat o bé en el real. MRS resol la comunicació entre els diferents processos asíncrons que solen estar presents en el software de control d’un robot: processos per atendre sensors, actuadors, sistemes de control, comunicacions amb l’exterior,... MRS es pot utilitzar per modelar nous robots utilitzant components que ja estiguin disponibles en les seves llibreries, o també permet crear component nous. Per tal de conèixer en detall aquesta eina, seria interessant utilitzar-la per programa els robots e-pucks, uns robots mòbils autònoms de petites dimensions que disposen de dos motors i un complet conjunt de sensors. El que es vol és simular-los, realitzar un programa de control, realitzar la interfície amb el robot i comprovar el funcionament amb el robot real

Immersió!

Vint-i-un estudiants de l'IES Castell d'Estela d'Amer han participat durant tres dies en una experiència de recerca amb els investigadors del centre ViCOROB de la UdG