Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Knowledge integration within an applied mobile robot summer course

This paper presents the use of a mobile robot platform as an innovative educational tool in order to promote and integrate different curriculum knowledge. Hence, it is presented the acquired experience within a summer course named ldquoapplied mobile roboticsrdquo. The main aim of the course is to integrate different subjects as electronics, programming, architecture, perception systems, communications, control and trajectory planning by using the educational open mobile robot platform PRIM. The summer course is addressed to a wide range of student profiles. However, it is of special interests to the students of electrical and computer engineering around their final academic year. The summer course consists of the theoretical and laboratory sessions, related to the following topics: design & programming of electronic devices, modelling and control systems, trajectory planning and control, and computer vision systems. Therefore, the clues for achieving a renewed path of progress in robotics are the integration of several knowledgeable fields, such as computing, communications, and control sciences, in order to perform a higher level reasoning and use decision tools with strong theoretical base

I-SS: integrated supervision systems approach based on interactive components

Process supervision is the activity focused on monitoring the process operation in order to deduce conditions to maintain the normality including when faults are present Depending on the number/distribution/heterogeneity of variables, behaviour situations, sub-processes, etc. from processes, human operators and engineers do not easily manipulate the information. This leads to the necessity of automation of supervision activities. Nevertheless, the difficulty to deal with the information complicates the design and development of software applications. We present an approach called "integrated supervision systems". It proposes multiple supervisors coordination to supervise multiple sub-processes whose interactions permit one to supervise the global process

Disseny d’un programa que assisteix en la seqüenciació de peces de taller basats en mètodes heurístics

El GREP (grup de recerca de producte, procés i producció) de la UdG actualmentdisposa d’una eina informàtica desenvolupada en un PFC del 2003 que li permet fer la seqüenciació de la producció d’un taller mecànic amb un màxim de cinc productes, un nombre definit de possibles rutes de fabricació per a cada producte i tres màquines. Aquesta eina és molt resolutiva per a aquests casos, ja que estudia totes les possibilitats i les comprova una per una. No obstant aquest fet presenta una sèrie de limitacions com són el temps d’execució doncs al comprovar totes les seqüències té un elevat cost computacional i la rigidesa del sistema doncs no ens permet seqüenciar més productes ni més màquines. Per tal de donar solució a aquest problema es planteja generar una nova eina informàtica a partir de l’actual però que permeti seqüenciar més peces sense ocupar tanta memòria per així implementar-hi futures millores com el temps de preparació etc... Per a desenvolupar l’eina informàtica s’han utilitzat mètodes heurístics, concretament dos que són: algoritmes genètics i cerca TABU. Aquests mètodes destaquen perquè no busquen totes les combinacions possibles sinó que estudien una sèrie de combinacions i utilitzant mètodes de creuament i generació d’entorns busquen una solució

Integració i estudi d’un conjunt de propulsors per un robot submarí

L’objectiu d’aquest projecte/treball fi de carrera es estudiar els propulsors i el seu protocol de comunicació proporcionant informació útil a l’hora de dissenyar i construir el robot subaquàtic que implementi els propulsors

Aplicatiu de gestió de magatzem amb dispositiu mòbils de Materials Brecor

Disseny d’un projecte que controli la gestió d’ubicacions del magatzem d’una empresa del sector de materials de construcció, concretament de “Materials Brecor”, una empresa líder de la zona compresa entre la costa brava sud i el maresme nord. L’Objectiu principal és concebre un projecte que permeti controlar en temps real tant l’entrada com la sortida de mercaderies, a més a més de poder consultar la ubicació de cadascuna d’elles dins el magatzem. Aconseguint millorar els temps de resposta en el moment de localitzar l’article demanat i la seva posterior expedició al client

Automatització d’una màquina de tall rotatiu

Molt sovint, a l’indústria de l’alimentació o de la cosmètica, hi ha promocions on s’afegeixen productes de regal; aquests els embalen amb un sleever (tipus de plàstic força rígid) que després retractilen. Aquestes promocions solen ser esporàdiques i canviants i això fa que no sigui factible la modificació de la línia de producció general per a realitzar-les. Per aquest motiu, moltes empreses disposen d’una petita màquina de tall rotatiu per a poder tallar els sleevers ells mateixos, i així tallar a molta velocitat i precisió aquestes petites produccions. Així doncs, esdevé molt interessant l’adquisició d’aquest tipus de maquinària. L’objectiu del projecte és fer l’automatització d’una màquina que pugui tallar aquest tipus de material ràpidament per fer-lo rentable

Disseny de controladors òptims per al robot Pioneer

Aquest projecte titulat: “Disseny de controladors òptims per al robot Pioneer”, té com a funcióincloure en la recerca, que ja està iniciada, del control del Robot Pioneer 2DX, una novaversió d’agents go to per al funcionament del robot.La problemàtica que ens trobem és sobretot per al primer controlador. Fins ara el sistemamulti-agent fet, feia servir un agent go to que generava la trajectòria a seguir i la controlavamitjançant un PID. Introduint un mètode geomètric com és el cas del pure pursuit la cosa escomplica ja que és més complex l’ajustament del funcionament d’aquest. Centrant-nos encanvi el cas del segon controlador el problema es simplifica ja que l’ajustatge d’aquestmateix es pot realitzar de manera empírica i la problemàtica per a la situació en concret esmillora amb major facilitat.És per aquest motiu, sobretot pel primer controlador, que s’han hagut de realitzar algunesmodificacions en el plantejament del projecte al llarg d’aquest. En un principi estava pensatcrear aquest controlador a través de Matlab® mitjançant l’eina Simulink® però perproblemes de software en un moment donat hem hagut de redirigir el projecte cap alllenguatge base de l’estructura multi-agent com és el C++. Per aquest motiu també s’hahagut de prescindir de la implementació d’aquests també en l’estructura LabView®.

Automatització d'una planta de preparació i distribució de pinsos

La finalitat del projecte és realitzar l’automatització dels sis processos d’una fàbrica de pinsos d’una cooperativa agrícola: entrada de matèries, mòlta, dosificació amb correcció, barreja, granulació i sortida de pinsos.Per controlar tots els processos es desenvolupa un PLC amb el corresponent programa d’autòmat; se seleccionen els diferents sensors i preactivadors necessaris que s’hauran d’incorporar per poder transformar la lògica rígida de contactors a una de flexible; se selecciona un sistema Scada per a la interfície d’usuari, i es dissenya la instal·lació elèctrica corresponent, per tal de poder implementar aquest automatisme en la línia de producció

Automatització d'una planta de tractament d'aigua potable

Estudi sobre l'automatització d’unaplanta de tractament d’aigua potable. Es mantindran els equips existents i les seqüències de treball que regeixen actualment el treball de la planta. Es limitaran les accions directes delsoperaris, els quals tindran com a funció la supervisió del correcte funcionament de la planta intervenint en cas d’eventuals anomalies. Es vol aconseguir una millora en la gestió i els resultats del funcionament de la planta

Instal·lacions d'una nau magatzem per a un club de golf i automatització del seu reg

El projecte efectua la descripció i càlcul de les instal·lacions d'una nau magatzem per a un club de golf, així com l’automatització del reg i adobament de la gespa per tal d’optimitzar els recursos hídrics. La part de les instal·lacions s’ha separat en cinc blocs en els quals s’ha efectuat una descripció de les característiques de les diferents instal·lacions, el càlcul de línies elèctriques, dimensionament dels equips, col·lectors i distàncies, complint els objectius inicials i la reglamentació vigent. Pel que fa l’automatització del procés, s’han complert els objectius d’optimitzar els recursos hídrics de què disposava el club, aprofitant al màxim les aigües pluvials recollides i permetent la fertilització de la gespa, de manera homogènia a tot el camp

Diagnosi basada en models tenint en compte els retards en xarxes de comunicació

Els mètodes de detecció, diagnosi i aïllament de fallades (Fault Detection and Isolation - FDI) basats en la redundància analítica (és a dir, la comparació del comportament actual del procés amb l’esperat, obtingut mitjançant un model matemàtic del mateix), són àmpliament utilitzats per al diagnòstic de sistemes quan el model matemàtic està disponible. S’ha implementat un algoritme per implementar aquesta redundància analítica a partir del model de la plana conegut com a Anàlisi Estructural

Control de la producció d'una empresa farmacèutica

Estudi de la implantació del control automàtic en la producció d'una indústria farmacèutica, concretament en sis línies de màquines. A part de portar un control es pretén millorar la producció i a la vegada detectar qualsevol error o anomalia que es produeixi en aquestes màquines

Restaural, sistema de gestió de comandes per restaurants

El projecte consisteix en un sistema informatitzat per restaurantscentralitzat en un servidor que permet recollir comandes als clients a través dePDA’s i de pantalles tàctils situades a la barra per enviar-les als corresponentsllocs d’ elaboració: -Terminal de la cuina on s’elaboraran tots els menjars.-Terminal de la bodega on es serviran els vins i caves.-Terminal barra on es serviran els licors, refrescos (entre d’altresproductes totalment configurables).-Terminal de postres on es reben les línies de comanda relacionadesamb els postres.L’objectiu acadèmic del projecte serà adquirir coneixement a nivell dedisseny i gestió de dades, així com la comunicació de diversos dispositius entemps real. S’utilitzarà la tecnologia .net, concretament el llenguatge deprogramació visual c# .net. i com a gestor de bases de dades el mysql 5.0.19.A més, es treballa amb la metodologia UML, utilitzant també diversos patrons. Per fer del sistema un sistema centralitzat en un servidor s’utilitzarà lacomunicació per terminal service de windows el qual ens brinda la possibilitat d’establir diverses sessions d’usuaris concurrents. Cada sessió estarà destinadaa un cambrer, per tant, hi haurà una sessió per PDA