Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

An hybrid methodology for RL-based behavior coordination in a target following mission with an AUV

Proposes a behavior-based scheme for high-level control of autonomous underwater vehicles (AUVs). Two main characteristics can be highlighted in the control scheme. Behavior coordination is done through a hybrid methodology, which takes in advantages of the robustness and modularity in competitive approaches, as well as optimized trajectories

A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

Predicting random level and seasonality of hotel prices. A structural equation growth curve approach

This article examines the effect on price of different characteristics of holiday hotels in the sun-and-beach segment, under the hedonic function perspective. Monthly prices of the majority of hotels in the Spanish continental Mediterranean coast are gathered from May to October 1999 from the tour operator catalogues. Hedonic functions are specified as random-effect models and parametrized as structural equation models with two latent variables, a random peak season price and a random width of seasonal fluctuations. Characteristics of the hotel and the region where they are located are used as predictors of both latent variables. Besides hotel category, region, distance to the beach, availability of parking place and room equipment have an effect on peak price and also on seasonality. 3- star hotels have the highest seasonality and hotels located in the southern regions the lowest, which could be explained by a warmer climate in autumn

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Model-based objects recognition in industrial environments for autonomous vehicles control

Behavior-based navigation of autonomous vehicles requires the recognition of the navigable areas and the potential obstacles. In this paper we describe a model-based objects recognition system which is part of an image interpretation system intended to assist the navigation of autonomous vehicles that operate in industrial environments. The recognition system integrates color, shape and texture information together with the location of the vanishing point. The recognition process starts from some prior scene knowledge, that is, a generic model of the expected scene and the potential objects. The recognition system constitutes an approach where different low-level vision techniques extract a multitude of image descriptors which are then analyzed using a rule-based reasoning system to interpret the image content. This system has been implemented using a rule-based cooperative expert system

Experimental Modeling and Control Strategies on an Open Mobile Robot Platform PRIM

This research work deals with the problem of modeling and design of low level speed controller for the mobile robot PRIM. The main objective is to develop an effective educational tool. On one hand, the interests in using the open mobile platform PRIM consist in integrating several highly related subjects to the automatic control theory in an educational context, by embracing the subjects of communications, signal processing, sensor fusion and hardware design, amongst others. On the other hand, the idea is to implement useful navigation strategies such that the robot can be served as a mobile multimedia information point. It is in this context, when navigation strategies are oriented to goal achievement, that a local model predictive control is attained. Hence, such studies are presented as a very interesting control strategy in order to develop the future capabilities of the system

Mission control system for dam inspection with an AUV

This paper presents a complete control architecture that has been designed to fulfill predefined missions with an autonomous underwater vehicle (AUV). The control architecture has three levels of control: mission level, task level and vehicle level. The novelty of the work resides in the mission level, which is built with a Petri network that defines the sequence of tasks that are executed depending on the unpredictable situations that may occur. The task control system is composed of a set of active behaviours and a coordinator that selects the most appropriate vehicle action at each moment. The paper focuses on the design of the mission controller and its interaction with the task controller. Simulations, inspired on an industrial underwater inspection of a dam grate, show the effectiveness of the control architecture

A Gain Scheduling Model Predictive Controller for Blood Glucose Control in Type 1 Diabetes

This paper presents a control strategy for blood glucose(BG) level regulation in type 1 diabetic patients. To design the controller, model-based predictive control scheme has been applied to a newly developed diabetic patient model. The controller is provided with a feedforward loop to improve meal compensation, a gain-scheduling scheme to account for different BG levels, and an asymmetric cost function to reduce hypoglycemic risk. A simulation environment that has been approved for testing of artificial pancreas control algorithms has been used to test the controller. The simulation results show a good controller performance in fasting conditions and meal disturbance rejection, and robustness against model–patient mismatch and errors in meal estimation

A mission control system for an autonomous underwater vehicle

The presented work focuses on the theoretical and practical aspects concerning the design and development of a formal method to build a mission control system for autonomous underwater vehicles bringing systematic design principles for the formal description of missions using Petri nets. The proposed methodology compounds Petri net building blocks within it to de_ne a mission plan for which it is proved that formal properties, such as reachability and reusability, hold as long as these same properties are also guaranteed by each Petri net building block. To simplify the de_nition of these Petri net blocks as well as their composition, a high level language called Mission Control Language has been developed. Moreover, a methodology to ensure coordination constraints for teams of multiple robots as well as the de_nition of an interface between the proposed system and an on-board planner able to plan/replan sequences of prede_ned mission plans is included as well. Results of experiments with several real underwater vehicles and simulations involving an autonomous surface craft and an autonomous underwater vehicles are presented to show the system's capabilities.

Caracterització de metabòlits produïts per soques de "Pseudomonas fluorescens" efectives en el control biològic de fongs fitopatògens

El principal objectiu d'aquest treball ha estat estudiar la producció de metabòlits amb activitat antibiòtica per soques de l'espècie Pseudomonas fluorescens de la col·lecció EPS, i també avaluar la seva potencialitat com a agents de biocontrol. Es va disposar també de diverses soques de P. fluorescens, cedides per altres investigadors, que van utilitzar-se com a referència perquè algunes són actives en control biològic i produeixen metabòlits secundaris d'interès en el biocontrol de malalties de plantes. La present memòria s'estructura en cinc capítols, que són, introducció al control biològic, descripció de l'etapa de selecció de soques i cerca dels metabòlits produïts, estudi de la producció d'HCN per la soca EPS288, estudi de la producció de l'antibiòtic 2,4-diacetilfloroglucinol (DAPG), i finalment, el darrer capítol, on s'ha estudiat la producció de DAPG sobre material vegetal i la capacitat de colonitzar arrels per diverses soques d'interès. En l'etapa de prospecció, va demostrar-se que un 37% del total de les soques de la col·lecció EPS produïen HCN, totes de l'espècie P. fluorescens, i un 90% d'aquestes provenien de les arrels de plantes. Es va confirmar la producció dels metabòlits secundaris 2,4-diacetilfloroglucinol, àcid fenazina-1-carboxílic, i pirrolnitrina, per diverses soques de la col·lecció EPS seleccionades mitjançant tècniques moleculars. Així, de la col·lecció EPS, les soques EPS317 i EPS808 produeixen DAPG, la EPS263 àcid fenazina-1-carboxílic i pirrolnitrina i, EPS894, EPS895, EPS945 produeixen àcid fenazina-1-carboxílic. La producció d'HCN es va estudiar més exhaustivament en la soca EPS288, seleccionada per la seva activitat antifúngica i candidata a agent de biocontrol contra Stemphylium vesicarium, causant de la estemfiliosi de la perera, i contra Penicillium expansum, causant de la podridura blava en conservació de fruita a postcollita. Per aquest estudi, es va dissenyar i validar un sistema per recollir l'HCN a partir de cultius en medi líquid. S'ha demostrat que la temperatura d'incubació, la concentració cel·lular de sembra i la composició del medi de cultiu afectaven a la producció d'HCN. Els medis complexos i la glicina n'afavorien la síntesi i la font de carboni no afectava. La soca EPS288 va produir més HCN que P. fluorescens CHA0, soca de referència productora d'HCN i descrita com a activa en processos de biocontrol de fongs fitopatògens. En l'estudi de la producció de DAPG, les soques de la col·lecció EPS i de referència, es van comparar en diversos medis de cultiu estudiant l'efecte de la complexitat i consistència del medi, i l'addició de ferro o de glucosa. Va demostrar-se que la producció de DAPG depèn principalment de la soca i de les característiques del medi de cultiu. La glucosa estimula la producció, mentre que el ferro pràcticament no afecta, i en general, el medi sòlid i complex estimula la producció de DAPG. Tanmateix, aquests efectes varien en alguna de les soques assajades donant lloc a comportaments singulars. En el seguiment del creixement amb un sistema automàtic es va comprovar que la velocitat específica de creixement i la concentració cel·lular assolida al final del cultiu, estaven condicionades per la composició del medi de cultiu. En les proves d'antagonisme vers fitopatògens que foren seleccionats com a indicadors, va observar-se que tant l'antagonisme in vitro com la inhibició d'infeccions sobre material vegetal estaven parcialment relacionades amb la producció dels metabòlits secundaris estudiats. La promoció del creixement de portaempelts per aquestes soques depenia de la soca i de l'hoste, però no es pogué establir una relació causa-efecte amb el metabòlits produïts. També es va comprovar que algunes de les soques podien sobreviure en ferides de pomes i de peres, on produïren DAPG. Mutants resistents a rifampicina de diverses soques de la col·lecció EPS i de referència es van inocular en llavors de pomera i de tomatera que es van sembrar i incubar en condicions controlades. Es va fer el seguiment de la població bacteriana total i resistent a rifampicina present a les arrels durant 72 dies. Totes les soques van colonitzar les arrels de les plantes, mantenint una elevada població durant 37 dies, cap d'elles va estimular el creixement ni mostrar efectes fitotòxics, no afectant tampoc signicativament a la població bacteriana espontània de les arrels. La soca EPS808, una de les seleccionades pel treball, va aconseguir uns nivells de producció de DAPG, una velocitat de creixement i una supervivència relativa a les arrels similar a altres soques de referència descrites com a bons agents de biocontrol. En conseqüència, se la considera una candidata a agent de biocontrol que hauria de ser objecte de futurs estudis d'eficàcia.

Control and optimization of an SBR for nitrogen removal: from model calibration to plant operation

En aquesta tesis s'ha desenvolupat un sistema de control capaç d'optimitzar el funcionament dels Reactors Discontinus Seqüencials dins el camp de l'eliminació de matèria orgànica i nitrogen de les aigües residuals. El sistema de control permet ajustar en línia la durada de les etapes de reacció a partir de mesures directes o indirectes de sondes. En una primera etapa de la tesis s'ha estudiat la calibració de models matemàtics que permeten realitzar fàcilment provatures de diferents estratègies de control. A partir de l'anàlisis de dades històriques s'han plantejat diferents opcions per controlar l'SBR i les més convenients s'han provat mitjançant simulació. Després d'assegurar l'èxit de l'estratègia de control mitjançant simulacions s'ha implementat en una planta semi-industrial. Finalment es planteja l'estructura d'uns sistema supervisor encarregat de controlar el funcionament de l'SBR no només a nivell de fases sinó també a nivell cicle.

Trets de personalitat, percepció de control, conducta proactiva de vinculació social i satisfacció amb la vida d'una mostra d'estudiants universitaris

Amb aquest estudi es pretén conèixer els nivells de Satisfacció amb la vida i simptomatologia afectiva dels estudiants de Psicologia de la Universitat de Girona, analitzar la influència de les diferències individuals en l'explicació de la Satisfacció amb la vida i la simptomatologia afectiva i aportar dades empíriques que ajudin a clarificar les relacions existents entre diferents característiques de personalitat i la seva influència sobre la conducta Proactiva de vinculació social dels estudiants universitaris.Han participat en l'estudi 159 alumnes dels estudis de psicologia de la Universitat de Girona (86'2% dones i 13'8% homes).Els resultats obtinguts mostren que hi ha un 28'5 % d'estudiants que manifesten no sentir-se satisfets amb la seva vida en general. Els dominis més directament vinculats al jo, com la percepció d'un mateix i el suport afectiu que reps dels altres, són els que millor contribueixen a l'explicació de la Satisfacció amb la vida. Els resultats també mostrem que són les característiques de personalitat (neuroticisme, responsabilitat i extraversió) les variables que millor prediuen la Satisfacció amb la vida en general i per dominis.

Els valors límit d'exposició professional i límits biològics per a agents químics en l'àmbit de treball, mesura i control. Evolució de la normativa sobre el plom i la seva incidència sobre els accidents laborals i malalties professionals en la indústria ceràmica

L'objectiu d'aquesta tesi és l'estudi dels valors límit d'exposició professional previstos en la normativa actual com a valors de referència per a l'avaluació i control dels riscos que comporta l'exposició a agents químics presents en el lloc de treball, fonamentalment per inhalació, per protegir la salut dels treballadors. No es pretén realitzar ni un estudi epidemiològic ni un estudi d'higiene, només s'utilitzen els valors d'exposició professional per analitzar el compliment de la normativa sobre la presència de plom en l'ambient de treball, i comprovar si el compliment de la normativa comporta la millora de la salut dels treballadors en funció de la millora de les concentracions de valors ambientals o biològics de l'exposició dels treballadors. La Directiva 98/24/CE deroga les Directives 80/1107/CEE sobre la protecció dels treballadors contra els riscos relacionats amb l'exposició a agents químics, físics i biològics durant el treball, i la Directiva 82/605/CEE, sobre la protecció dels treballadors contra riscos relacionats amb una exposició al plom metàl·lic i als seus compostos iònics durant el treball. S'analitza l'evolució de la normativa sobre la presència d'agents químics en l'ambient de treball, i en concret el plom, i la seva incidència en els accidents laborals i malalties professionals, i el compliment de la normativa al final d'un cicle marcat per l'entrada en vigor de la Directiva 98/24/CE. Per realitzar l'anàlisi anteriorment esmentada s'estudia la indústria ceràmica de les comarques gironines, de la construcció, de l'alimentació i decorativa, a través de les mesures de plom en l'ambient laboral i les mesures de plom en sang dels treballadors d'aquesta indústria des de 1991 a 1996.

Improvement of strategies for the management of fire blight (Erwinia amylovora). Evaluation and optimization of physical and chemical control methods, and use of decision support systems

El foc bacterià és una malaltia que afecta a plantes de la família de la rosàcies, causada pel bacteri Erwinia amylovora. El seu rang d'hostes inclou arbres fruiters, com la perera, la pomera o el codonyer, i plantes ornamentals de gran interès comercial i econòmic. Actualment, la malaltia s'ha dispersat i es troba àmpliament distribuïda en totes les zones de clima temperat del món. A Espanya, on la malaltia no és endèmica, el foc bacterià es va detectar per primer cop al 1995 al nord del país (Euskadi) i posteriorment, han aparegut varis focus en altres localitzacions, que han estat convenientment eradicats. El control del foc bacterià, és molt poc efectiu en plantes afectades per la malaltia, de manera que es basa en mesures encaminades a evitar la dispersió del patogen, i la introducció de la malaltia en regions no endèmiques. En aquest treball, la termoteràpia ha estat avaluada com a mètode d'eradicació d'E. amylovora de material vegetal de propagació asimptomàtic. S'ha demostrat que la termoteràpia és un mètode viable d'eradicar E. amylovora de material de propagació. Gairebé totes les espècies i varietats de rosàcies mantingudes en condicions d'humitat sobrevivien 7 hores a 45 ºC i més de 3 hores a 50 ºC, mentre que més d'1 hora d'exposició a 50 ºC amb calor seca produïa danys en el material vegetal i reduïa la brotació. Tractaments de 60 min a 45 ºC o 30 min a 50 ºC van ser suficients per reduir la població epífita d'E. amylovora a nivells no detectables (5 x 102 ufc g-1 p.f.) en branques de perera. Els derivats dels fosfonats i el benzotiadiazol són efectius en el control del foc bacterià en perera i pomera, tant en condicions de laboratori, com d'hivernacle i camp. Els inductors de defensa de les plantes redueixen els nivells de malaltia fins al 40-60%. Els intervals de temps mínims per aconseguir el millor control de la malaltia van ser 5 dies pel fosetil-Al, i 7 dies per l'etefon i el benzotiadiazol, i les dosis òptimes pel fosetil-Al i el benzotiadiazol van ser 3.72 g HPO32- L-1 i 150 mg i.a. L-1, respectivament. Es millora l'eficàcia del fosetil-Al i del benzotiadiazol en el control del foc bacterià, quan es combinen amb els antibiòtics a la meitat de la dosi d'aquests últims. Tot i que l'estratègia de barrejar productes és més pràctica i fàcil de dur a terme a camp, que l'estratègia de combinar productes, el millor nivell de control de la malaltia s'aconsegueix amb l'estratègia de combinar productes. Es va analitzar a nivell histològic i ultrastructural l'efecte del benzotiadiazol i dels fosfonats en la interacció Erwinia amylovora-perera. Ni el benzotiadiazol, ni el fosetil-Al, ni l'etefon van induir canvis estructurals en els teixits de perera 7 dies després de la seva aplicació. No obstant, després de la inoculació d'E. amylovora es va observar en plantes tractades amb fosetil-Al i etefon una desorganització estructural cel·lular, mentre que en les plantes tractades amb benzotiadiazol aquestes alteracions tissulars van ser retardades. S'han avaluat dos models (Maryblyt, Cougarblight) en un camp a Espanya afectat per la malaltia, per determinar la precisió de les prediccions. Es van utilitzar dos models per elaborar el mapa de risc, el BRS-Powell combinat i el BIS95 modificat. Els resultats van mostrar dos zones amb elevat i baix risc de la malaltia. Maryblyt i Cougarblight són dos models de fàcil ús, tot i que la seva implementació en programes de maneig de la malaltia requereix que siguin avaluats i validats per un període de temps més llarg i en àrees on la malaltia hi estigui present.