Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Model-based objects recognition in industrial environments for autonomous vehicles control

Behavior-based navigation of autonomous vehicles requires the recognition of the navigable areas and the potential obstacles. In this paper we describe a model-based objects recognition system which is part of an image interpretation system intended to assist the navigation of autonomous vehicles that operate in industrial environments. The recognition system integrates color, shape and texture information together with the location of the vanishing point. The recognition process starts from some prior scene knowledge, that is, a generic model of the expected scene and the potential objects. The recognition system constitutes an approach where different low-level vision techniques extract a multitude of image descriptors which are then analyzed using a rule-based reasoning system to interpret the image content. This system has been implemented using a rule-based cooperative expert system

Local model predictive control experiences with differential driven wheeled mobile robots

This work extends a previously developed research concerning about the use of local model predictive control in differential driven mobile robots. Hence, experimental results are presented as a way to improve the methodology by considering aspects as trajectory accuracy and time performance. In this sense, the cost function and the prediction horizon are important aspects to be considered. The aim of the present work is to test the control method by measuring trajectory tracking accuracy and time performance. Moreover, strategies for the integration with perception system and path planning are briefly introduced. In this sense, monocular image data can be used to plan safety trajectories by using goal attraction potential fields

Mission control system for dam inspection with an AUV

This paper presents a complete control architecture that has been designed to fulfill predefined missions with an autonomous underwater vehicle (AUV). The control architecture has three levels of control: mission level, task level and vehicle level. The novelty of the work resides in the mission level, which is built with a Petri network that defines the sequence of tasks that are executed depending on the unpredictable situations that may occur. The task control system is composed of a set of active behaviours and a coordinator that selects the most appropriate vehicle action at each moment. The paper focuses on the design of the mission controller and its interaction with the task controller. Simulations, inspired on an industrial underwater inspection of a dam grate, show the effectiveness of the control architecture

Control de glicèmia en pacients crítics mitjançant CGMS

L’estudi que es realitza en aquest projecte/treball final de carrera queda englobat dins del grup de recerca MICE (Modal Intervals Control and Engeneering), el qual realitza investigacions entorn al control de glucèmia. Aquest grup de recerca vinculat a la Universitat de Girona col•labora amb l’Hospital Universitari Dr. Josep Trueta de Girona. La temàtica principal tractarà de realitzar el control de glucèmia en pacients crítics, que es troben ingressats en la unitat de cures intensives de qualsevol hospital. Com a conseqüència d’aquesta problemàtica, s’ha implementat en un entorn virtual, un pacient el qual simula la situació d’un pacient real en la unitat de cures intensives. El model emprat per a la obtenció del model de pacient virtual és el desenvolupat per Chase et al. (2005), el qual mitjançant variables com l’alimentació enteral i la sensibilitat insulínica, es podien realitzar assajos reals per a validar protocols de control ‘in silico’ per posteriorment realitzar assajos amb població real

Quantified set inversion with applications to control

This paper describes a new reliable method, based on modal interval analysis (MIA) and set inversion (SI) techniques, for the characterization of solution sets defined by quantified constraints satisfaction problems (QCSP) over continuous domains. The presented methodology, called quantified set inversion (QSI), can be used over a wide range of engineering problems involving uncertain nonlinear models. Finally, an application on parameter identification is presented

An LMI approach to H∞ synchronization of second-order neutral master-slave systems

The H∞ synchronization problem of the master and slave structure of a second-order neutral master-slave systems with time-varying delays is presented in this paper. Delay-dependent sufficient conditions for the design of a delayed output-feedback control are given by Lyapunov-Krasovskii method in terms of a linear matrix inequality (LMI). A controller, which guarantees H∞ synchronization of the master and slave structure using some free weighting matrices, is then developed. A numerical example has been given to show the effectiveness of the method

Identification and Semiactive Control of Smart Structures Equipped with Magnetorheological Actuators

This paper deals with the problem of identification and semiactive control of smart structures subject to unknown external disturbances such as earthquake, wind, etc. The experimental setup used is a 6-story test structure equipped with shear-mode semiactive magnetorheological actuators being installed in WUSCEEL. The experimental results obtained have verified the effectiveness of the proposed control algorithms

Estado del arte del control en sistemas organizacionales y técnicos

La perdurabilidad empresarial es una de las preocupaciones sectoriales, regionales y nacionales estudiada desde diferentes ámbitos (económico, social y académico), convirtiéndose en uno de los objetivos multinivel que impulsa el desarrollo y crecimiento de un país. De otro lado, una de las metodologías que está orientada a garantizar el cumplimiento de los objetivos o comportamientos planificados se denomina “sistemas de control” cuya aplicación es interdisciplinaria, tiene su origen en los sistemas técnicos y se traslada a los sistemas organizacionales. Este trabajo desarrolla una revisión bibliográfica del control, desde la en los sistemas técnicos y desde la Psicología, Sociología y disciplinas sociales a los sistemas organizacionales, identificando dos corrientes. La primera corriente, denominada “clásica” en sistemas causales y la segunda, llamada “inteligente”. El trabajo describe en cada corriente la conceptualización, los propósitos, las metodologías, la estructura, la taxonomía y las críticas en los sistemas de control. El control es abordado con diferentes metodologías, dependiendo de la corriente y de la naturaleza de cada sistema, pero tiene un propósito transversal o interdisciplinario que consiste en generar comportamientos esperados o deseables en el sistema, incluyendo alcanzar objetivos establecidos. En cuanto al desarrollo y comprensión, hay un mayor avance en los sistemas técnicos enfocados básicamente hacia la autonomía del sistema, mientras que en los sistemas organizacionales se ha generado la inquietud de evolucionar o generar controles diferentes o eliminar el control, pero las organizaciones continúan aplicando los controles clásicos y generando resultados de no perdurabilidad empresarial.

Factores para la implementación eficiente de un sistema de control de gestión en las organizaciones

La implementación del MCS es una necesidad que demandan las organizaciones en la medida en que incrementan de tamaño, pero la experiencia muestra que esta metodología tiene casos de éxito como de fracaso, por lo que es importante identificar y contemplar los factores que influyen en la implementación para que el sistema sea efectivo. Este proyecto pretende analizar las variables y herramientas para la implementación de un MCS en una organización. Para este análisis se hizo una amplia revisión literaria teórica y práctica. Finalmente el resultado que se obtuvo fue definir cuáles son los factores determinantes para la implementación de un MCS efectivo en una empresa.

Impacto del sistema de control de gestión en el aprendizaje de las empresas multidomésticas del sector automotriz de Colombia

Las empresas multidomesticas en su direccionamiento estratégico necesitan de un sistema de control de gestión que les permita entender cómo se está desarrollando su estrategia en los diferentes mercados, frente a los objetivos planteados, de esta forma la implementación de estos sistemas de gestión generan la posibilidad de poder medir, valorar e informar sobre el cumplimiento y la evolución de los resultados previstos y ser un apoyo para la estrategia de mercados multidomesticos. Frente al contexto actual colombiano, se encontro que el mercado del sector automotriz, conformado por empresas multinacionales con una administración estratégica multidomestica, está cada vez más competitivos.Mediante la utilización de los sistemas de control de gestión es posible establecer e identificar variables que fomenten el aprendizaje organizacional, un campo de investigación académica y de práctica profesional el cual permite desarrollar variables claves dentro de la organización como lo son la innovación, la estrategia, la productividad y la toma de decisiones. Variables que favorecen el dinamismo y sostenibilidad del sector automotriz y las organizaciones que la conforman. Así garantizan un mayor aprendizaje creciente en el tiempo, por medio del cual se garantiza la perfecta armonía entre todos los empleados sin jerarquizacion y filtros para la información, dando paso al aprendizaje. Por medio de encuestas a directivos de las empresas mencionadas fue posible obtener conclusiones y encontrar similitudes entre el panorama actual contado por ellos mismos y lo que previamente se formulaba basados en fuentes teóricas, demostrando el real impacto de los sistemas de control de gestión en el aprendizaje de las empresas multidomesticas del sector automotriz en Colombia.

Impacto de los factores interculturales en la implementación de un efectivo control de gestión en las organizaciones

Este trabajo pretende de una manera tanto teórica como práctica, estudiar la relación que pueda existir entre la interculturalidad y el Management Control System, para ello se realiza una revisión bibliográfica de los trabajos empíricos y teóricos desarrollados hasta el momento sobre el tema. Se comienza con la revisión de los diferentes conceptos que puedan hacer alusión a la interculturalidad, y los MCS (o contemple variables cercanas en relación a este), se delimita el tema y se procede a su clasificación hasta llegar a la estructuración de la definición de los constructos que integren los conceptos de interculturalidad y MCS. De igual manera, se operacionalizan las variables para poder generar un análisis practico utilizando estadística cuantitativa. Finalmente presentamos los resultados que demuestran el grado de importancia percibido por encuestados de filiales localizadas en diferentes países de Latino América de la empresa Agrocampo S.A.S, con el fin de presentar conclusiones que integren los dos temas de análisis.

New delay-dependent stability criteria for uncertain neutral systems with mixed time-varying delays and nonlinear perturbations

The problem of stability analysis for a class of neutral systems with mixed time-varying neutral, discrete and distributed delays and nonlinear parameter perturbations is addressed. By introducing a novel Lyapunov-Krasovskii functional and combining the descriptor model transformation, the Leibniz-Newton formula, some free-weighting matrices, and a suitable change of variables, new sufficient conditions are established for the stability of the considered system, which are neutral-delay-dependent, discrete-delay-range dependent, and distributeddelay-dependent. The conditions are presented in terms of linear matrix inequalities (LMIs) and can be efficiently solved using convex programming techniques. Two numerical examples are given to illustrate the efficiency of the proposed method

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.