Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Disseny d’un comportament en ROS per a mantenir la posició d’un vehicle autònom submarí a partir de referències visuals

En el Centre d'Investigació en Robòtica Submarina (CIRS) de la Universitat de Gironaes disposa de diferents robots submarins els quals utilitzen una arquitectura software anomenada Component Oriented Layered-based Architecture for Autonomy ( COLA2 ), la qual ha estat desenvolupada per estudiants i professors del mateix centre. Per tal de fer aquesta arquitectura més accessible per a professors i estudiant d’altres centres la COLA2 s’està adaptant al Robot Operative System (ROS) que és un framework genèricper al desenvolupament d’aplicacions amb robots. Aquest projecte pretén dissenyar un comportament per al robot Girona500 que estigui desenvolupat dins la versió ROS de l’arquitectura COLA2. El comportament haurà de fer mantenir una determinada posició al robot amb informació visual de la càmera del robot i amb dades de navegació. La tasca de mantenir la posició es de vital importància per a poder realitzar intervencions submarines que requereixen de precisió i, precisament, el medi on es treballa no ajuda

Integració d'un sensor sonar d'escombrat lateral en un robot submarí

El grup de Visió per Computador i Robòtica (VICOROB) disposa de varis robotssubmarins per a la recerca i inspecció subaquàtica. Recentment s’ha adquiritun sensor sonar d’escombrat lateral el qual s’utilitza per realitzar imatgesacústiques del fons marí quan aquest es mou principalment a velocitat constanti mantenint el rumb.Els robots del grup VICOROB estan equipats amb diferents tipus de sensors icàmeres per analitzar el fons marí. Aquest sensors són de gran qualitat ipermeten conèixer de manera bastant satisfactòria l’entorn a les proximitats delrobot. Freqüentment però, aquest sensors estant sotmesos a diferentsrestriccions depenent de la seva naturalesa de funcionament, de tal maneraque es necessària la seva combinació per resoldre determinats problemes endiferents situacions.Amb aquest projecte, es pretén integrar un nou sistema de captura d’imatgessonores del fons marí, en un dels robots. Amb la integració d’aquest nousensor, s’espera obtenir una opció alternativa els sistemes actuals que puguiaportar informació addicional sobre el fons. Aquest sistema podrà ser utilitzatper realitzar tasques per les quals els altres sensors no estant preparats o béper complementar informació d’altres sensor

Sistema de manteniment de l'equilibri per a un robot bípede

Dins el departament d’Electrònica, Informàtica i Automàtica de la Universitat de Girona s’handissenyat i construït dues plataformes bípedes per a l’ús docent. La mésevolucionada d’elles, finalitzada l’any 1999, està composada per dues cames d’alumini ambtres actuadors lineals cada una, simulant la funció del turmell, del genoll i del maluc. Els objectius que es pretenen aconseguir amb aquest projecte són molt concrets i tots ellsestan destinats a millorar el funcionament del robot bípede. Aquests objectius són: (1)dissenyar dos graus de llibertat lineals en forma de pla XY per moure el pes que convinguiper assegurar l’equilibri durant el moviment de la plataforma bípede, (2) dissenyar una placaamb una FPGA que generi senyals PWM pels vuit motors disponibles, que llegeixi els dosencoders dels motors del pla XY i que es comuniqui amb un PC equipat amb una tarjad’adquisició de dades específica, (3) dissenyar una placa de potència adequada pel controldels motors, (4) finalment realitzar un programa per comprovar el correcte funcionament deles plaques, dels actuadors i dels sensors utilitzats en la plataforma bípede

Estudio de un kit de diseño mixto con Softcore Microblaze e IP's, para el control ESP, ASR y ABS

Este proyecto consiste en el estudio de una placa de prototipado mixta analógico-digital formada principalmente por un PSoC, una FPGA y memoria flash para determinar sus capacidades en sistemas de control ESP, ASR y ABS. El estudio se basa en concluir la lógica que se puede añadir al dispositivo para enfocarlo a unas aplicaciones que, a pesar de ser muy comunes en coches, está poco desarrollado en motocicletas y ciclomotores. Es por ello surge el interés de diseñar un sistema del más bajo coste posible para impulsar su desarrollo.

Dynamic modelling of an underwater vehicle

Nessie is an Autonomous Underwater Vehicle (AUV) created by a team of students in the Heriot Watt University to compete in the Student Autonomous Underwater Competition, Europe (SAUC-E) in August 2006. The main objective of the project is to find the dynamic equation of the robot, dynamic model. With it, the behaviour of the robot will be easier to understand and movement tests will be available by computer without the need of the robot, what is a way to save time, batteries, money and the robot from water inside itself. The object of the second part in this project is setting a control system for Nessie by using the model

Control de glicèmia en pacients crítics mitjançant CGMS

L’estudi que es realitza en aquest projecte/treball final de carrera queda englobat dins del grup de recerca MICE (Modal Intervals Control and Engeneering), el qual realitzainvestigacions entorn al control de glucèmia. Aquest grup de recerca vinculat a la Universitat de Girona col•labora amb l’Hospital Universitari Dr. Josep Trueta de Girona. La temàtica principal tractarà de realitzar el control de glucèmia en pacients crítics, que es troben ingressats en la unitat de cures intensives de qualsevol hospital. Com a conseqüència d’aquesta problemàtica, s’ha implementat en un entorn virtual, un pacient el qual simula la situació d’un pacient real en la unitat de cures intensives. El model emprat per a la obtenció del model de pacient virtual és el desenvolupat per Chase et al. (2005), el qual mitjançant variables com l’alimentació enteral i la sensibilitat insulínica, es podien realitzar assajos reals per a validar protocols de control ‘in silico’ per posteriorment realitzar assajos amb població real

Modeling and control of electromechanical systems

The material presented in the these notes covers the sessions Modelling of electromechanical systems, Passive control theory I and Passive control theory II of the II EURON/GEOPLEX Summer School on Modelling and Control of Complex Dynamical Systems.We start with a general description of what an electromechanical system is from a network modelling point of view. Next, a general formulation in terms of PHDS is introduced, and some of the previous electromechanical systems are rewritten in this formalism. Power converters, which are variable structure systems (VSS), can also be given a PHDS form.We conclude the modelling part of these lectures with a rather complex example, showing the interconnection of subsystems from several domains, namely an arrangement to temporally store the surplus energy in a section of a metropolitan transportation system based on dc motor vehicles, using either arrays of supercapacitors or an electric poweredflywheel. The second part of the lectures addresses control of PHD systems. We first present the idea of control as power connection of a plant and a controller. Next we discuss how to circumvent this obstacle and present the basic ideas of Interconnection and Damping Assignment (IDA) passivity-based control of PHD systems.

Modelado, simulación y control digital de autogiros

Este proyecto consiste en diseñar el algoritmo de control de un autogiro no tripulado. Su aplicación principal es llevar a cabo tareas rutinarias o peligrosas para el piloto como, por ejemplo, extinción de incendios, evaluación de riesgo químico o vigilancia de lugares de acceso restringido. Se realiza un estudio del movimiento del vehículo para obtener su modelo dinámico. A partir de las ecuaciones que describen su movimiento, se realiza una simulación numérica del vehículo. Se incorpora el controlador diseñado y se evalúa su funcionamiento. Finalmente, se implementa el sistema en un microcontrolador.

Generació d’un entorn virtual de treball per un robot Stäubli TX60

L’objectiu del treball és emular virtualment l’entorn de treball del robot Stäubli Tx60 quehi ha al laboratori de robòtica de la UdG (dins les possibilitats que ofereix el software adquirit).Aquest laboratori intenta reproduir un entorn industrial de treball en el qual es realitzal’assemblatge d’un conjunt de manera cent per cent automatitzada.En una primera fase, s’ha dissenyat en tres dimensions tot l’entorn de treball que hi hadisponible al laboratori a través del software CAD SolidWorks. Cada un dels conjuntsque conformen l’estació de treball s’ha dissenyat de manera independent.Posteriorment s’introdueixen tots els elements dissenyats dins el software StäubliRobotics Suite 2013. Amb tot l’anterior, cal remarcar que l’objectiu principal del treball consta de duesetapes. Inicialment es dissenya el model 3D de l’entorn de treball a través del software SolidWorks i s’introdueix dins el software Stäubli Robotics Suite 2013. Enuna segona etapa, es realitza un manual d’ús del nou software de robòtica

Model-based objects recognition in man-made environments

We describe a model-based objects recognition system which is part of an image interpretation system intended to assist autonomous vehicles navigation. The system is intended to operate in man-made environments. Behavior-based navigation of autonomous vehicles involves the recognition of navigable areas and the potential obstacles. The recognition system integrates color, shape and texture information together with the location of the vanishing point. The recognition process starts from some prior scene knowledge, that is, a generic model of the expected scene and the potential objects. The recognition system constitutes an approach where different low-level vision techniques extract a multitude of image descriptors which are then analyzed using a rule-based reasoning system to interpret the image content. This system has been implemented using CEES, the C++ embedded expert system shell developed in the Systems Engineering and Automatic Control Laboratory (University of Girona) as a specific rule-based problem solving tool. It has been especially conceived for supporting cooperative expert systems, and uses the object oriented programming paradigm

Characterization and Control Strategies of an Integrated Chemical-Biological System for the Remediation of Toxic Pollutants in Wastewater: A case of study

In a previous work, a hybrid system consisting of an advanced oxidation process (AOP) named Photo-Fenton (Ph-F) and a fixed bed biological treatment operating as a sequencing batch biofilm reactor (SBBR) was started-up and optimized to treat 200 mg·L-1 of 4-chlorophenol (4-CP) as a model compound. In this work, studies of reactor stability and control as well as microbial population determination by molecular biology techniques were carried out to further characterize and control the biological reactor. Results revealed that the integrated system was flexible and even able to overcome toxic shock loads. Oxygen uptake rate (OUR) in situ was shown to be a valid tool to control the SBBR operation, to detect toxic conditions to the biomass, and to assess the recovery of performance. A microbial characterization by 16S rDNA sequence analysis reveals that the biological population was varied, although about 30% of the bacteria belonged to the Wautersia genus.

Variable structure position control of an industrial robotic manipulator

The use of a robust position controller for a robotic manipulator moving in free space is presented. The aim is to implement in practice a controller that is robust to uncertainties in the model of the system, as well as being inexpensive from a computational point of view. Variable structure theory provides the technique for the design of such controller. The design steps are presented, first from a theoretical perspective and then applied to the control of a two degree-of-freedom manipulator. Simulation results that backed the implementation are presented, followed by the experiments conducted and the results that were obtained. The conclusion is that variable structure control is readily applicable to industrial robots for the robust control of positions.

An hybrid methodology for RL-based behavior coordination in a target following mission with an AUV

Proposes a behavior-based scheme for high-level control of autonomous underwater vehicles (AUVs). Two main characteristics can be highlighted in the control scheme. Behavior coordination is done through a hybrid methodology, which takes in advantages of the robustness and modularity in competitive approaches, as well as optimized trajectories

Vision-based localization of an underwater robot in a structured environment

This paper presents a vision-based localization approach for an underwater robot in a structured environment. The system is based on a coded pattern placed on the bottom of a water tank and an onboard down looking camera. Main features are, absolute and map-based localization, landmark detection and tracking, and real-time computation (12.5 Hz). The proposed system provides three-dimensional position and orientation of the vehicle along with its velocity. Accuracy of the drift-free estimates is very high, allowing them to be used as feedback measures of a velocity-based low-level controller. The paper details the localization algorithm, by showing some graphical results, and the accuracy of the system