Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Model-based objects recognition in industrial environments for autonomous vehicles control

Behavior-based navigation of autonomous vehicles requires the recognition of the navigable areas and the potential obstacles. In this paper we describe a model-based objects recognition system which is part of an image interpretation system intended to assist the navigation of autonomous vehicles that operate in industrial environments. The recognition system integrates color, shape and texture information together with the location of the vanishing point. The recognition process starts from some prior scene knowledge, that is, a generic model of the expected scene and the potential objects. The recognition system constitutes an approach where different low-level vision techniques extract a multitude of image descriptors which are then analyzed using a rule-based reasoning system to interpret the image content. This system has been implemented using a rule-based cooperative expert system

Local model predictive control experiences with differential driven wheeled mobile robots

This work extends a previously developed research concerning about the use of local model predictive control in differential driven mobile robots. Hence, experimental results are presented as a way to improve the methodology by considering aspects as trajectory accuracy and time performance. In this sense, the cost function and the prediction horizon are important aspects to be considered. The aim of the present work is to test the control method by measuring trajectory tracking accuracy and time performance. Moreover, strategies for the integration with perception system and path planning are briefly introduced. In this sense, monocular image data can be used to plan safety trajectories by using goal attraction potential fields

Mission control system for dam inspection with an AUV

This paper presents a complete control architecture that has been designed to fulfill predefined missions with an autonomous underwater vehicle (AUV). The control architecture has three levels of control: mission level, task level and vehicle level. The novelty of the work resides in the mission level, which is built with a Petri network that defines the sequence of tasks that are executed depending on the unpredictable situations that may occur. The task control system is composed of a set of active behaviours and a coordinator that selects the most appropriate vehicle action at each moment. The paper focuses on the design of the mission controller and its interaction with the task controller. Simulations, inspired on an industrial underwater inspection of a dam grate, show the effectiveness of the control architecture

On AUV control architecture

This paper surveys control architectures proposed in the literature and describes a control architecture that is being developed for a semi-autonomous underwater vehicle for intervention missions (SAUVIM) at the University of Hawaii. Conceived as hybrid, this architecture has been organized in three layers: planning, control and execution. The mission is planned with a sequence of subgoals. Each subgoal has a related task supervisor responsible for arranging a set of pre-programmed task modules in order to achieve the subgoal. Task modules are the key concept of the architecture. They are the main building blocks and can be dynamically re-arranged by the task supervisor. In our architecture, deliberation takes place at the planning layer while reaction is dealt through the parallel execution of the task modules. Hence, the system presents both a hierarchical and an heterarchical decomposition, being able to show a predictable response while keeping rapid reactivity to the dynamic environment

Control de glicèmia en pacients crítics mitjançant CGMS

L’estudi que es realitza en aquest projecte/treball final de carrera queda englobat dins del grup de recerca MICE (Modal Intervals Control and Engeneering), el qual realitza investigacions entorn al control de glucèmia. Aquest grup de recerca vinculat a la Universitat de Girona col•labora amb l’Hospital Universitari Dr. Josep Trueta de Girona. La temàtica principal tractarà de realitzar el control de glucèmia en pacients crítics, que es troben ingressats en la unitat de cures intensives de qualsevol hospital. Com a conseqüència d’aquesta problemàtica, s’ha implementat en un entorn virtual, un pacient el qual simula la situació d’un pacient real en la unitat de cures intensives. El model emprat per a la obtenció del model de pacient virtual és el desenvolupat per Chase et al. (2005), el qual mitjançant variables com l’alimentació enteral i la sensibilitat insulínica, es podien realitzar assajos reals per a validar protocols de control ‘in silico’ per posteriorment realitzar assajos amb població real

An LMI approach to H∞ synchronization of second-order neutral master-slave systems

The H∞ synchronization problem of the master and slave structure of a second-order neutral master-slave systems with time-varying delays is presented in this paper. Delay-dependent sufficient conditions for the design of a delayed output-feedback control are given by Lyapunov-Krasovskii method in terms of a linear matrix inequality (LMI). A controller, which guarantees H∞ synchronization of the master and slave structure using some free weighting matrices, is then developed. A numerical example has been given to show the effectiveness of the method

Identification and Semiactive Control of Smart Structures Equipped with Magnetorheological Actuators

This paper deals with the problem of identification and semiactive control of smart structures subject to unknown external disturbances such as earthquake, wind, etc. The experimental setup used is a 6-story test structure equipped with shear-mode semiactive magnetorheological actuators being installed in WUSCEEL. The experimental results obtained have verified the effectiveness of the proposed control algorithms

Predictive motion control of a mirosot mobile robot

This paper discusses predictive motion control of a MiRoSoT robot. The dynamic model of the robot is deduced by taking into account the whole process - robot, vision, control and transmission systems. Based on the obtained dynamic model, an integrated predictive control algorithm is proposed to position precisely with either stationary or moving obstacle avoidance. This objective is achieved automatically by introducing distant constraints into the open-loop optimization of control inputs. Simulation results demonstrate the feasibility of such control strategy for the deduced dynamic model

Los conceptos de salud financiera, riesgo y epidemiología en los estados financieros de las compañías del sector de extracción de petróleo crudo y gas natural en Colombia

El presente proyecto tiene como objeto identificar cuáles son los conceptos de salud, enfermedad, epidemiología y riesgo aplicables a las empresas del sector de extracción de petróleo y gas natural en Colombia. Dado, el bajo nivel de predicción de los análisis financieros tradicionales y su insuficiencia, en términos de inversión y toma de decisiones a largo plazo, además de no considerar variables como el riesgo y las expectativas de futuro, surge la necesidad de abordar diferentes perspectivas y modelos integradores. Esta apreciación es pertinente dentro del sector de extracción de petróleo y gas natural, debido a la creciente inversión extranjera que ha reportado, US$2.862 millones en el 2010, cifra mayor a diez veces su valor en el año 2003. Así pues, se podrían desarrollar modelos multi-dimensional, con base en los conceptos de salud financiera, epidemiológicos y estadísticos. El termino de salud y su adopción en el sector empresarial, resulta útil y mantiene una coherencia conceptual, evidenciando una presencia de diferentes subsistemas o factores interactuantes e interconectados. Es necesario mencionar también, que un modelo multidimensional (multi-stage) debe tener en cuenta el riesgo y el análisis epidemiológico ha demostrado ser útil al momento de determinarlo e integrarlo en el sistema junto a otros conceptos, como la razón de riesgo y riesgo relativo. Esto se analizará mediante un estudio teórico-conceptual, que complementa un estudio previo, para contribuir al proyecto de finanzas corporativas de la línea de investigación en Gerencia.

Estado del arte del control en sistemas organizacionales y técnicos

La perdurabilidad empresarial es una de las preocupaciones sectoriales, regionales y nacionales estudiada desde diferentes ámbitos (económico, social y académico), convirtiéndose en uno de los objetivos multinivel que impulsa el desarrollo y crecimiento de un país. De otro lado, una de las metodologías que está orientada a garantizar el cumplimiento de los objetivos o comportamientos planificados se denomina “sistemas de control” cuya aplicación es interdisciplinaria, tiene su origen en los sistemas técnicos y se traslada a los sistemas organizacionales. Este trabajo desarrolla una revisión bibliográfica del control, desde la en los sistemas técnicos y desde la Psicología, Sociología y disciplinas sociales a los sistemas organizacionales, identificando dos corrientes. La primera corriente, denominada “clásica” en sistemas causales y la segunda, llamada “inteligente”. El trabajo describe en cada corriente la conceptualización, los propósitos, las metodologías, la estructura, la taxonomía y las críticas en los sistemas de control. El control es abordado con diferentes metodologías, dependiendo de la corriente y de la naturaleza de cada sistema, pero tiene un propósito transversal o interdisciplinario que consiste en generar comportamientos esperados o deseables en el sistema, incluyendo alcanzar objetivos establecidos. En cuanto al desarrollo y comprensión, hay un mayor avance en los sistemas técnicos enfocados básicamente hacia la autonomía del sistema, mientras que en los sistemas organizacionales se ha generado la inquietud de evolucionar o generar controles diferentes o eliminar el control, pero las organizaciones continúan aplicando los controles clásicos y generando resultados de no perdurabilidad empresarial.

Factores para la implementación eficiente de un sistema de control de gestión en las organizaciones

La implementación del MCS es una necesidad que demandan las organizaciones en la medida en que incrementan de tamaño, pero la experiencia muestra que esta metodología tiene casos de éxito como de fracaso, por lo que es importante identificar y contemplar los factores que influyen en la implementación para que el sistema sea efectivo. Este proyecto pretende analizar las variables y herramientas para la implementación de un MCS en una organización. Para este análisis se hizo una amplia revisión literaria teórica y práctica. Finalmente el resultado que se obtuvo fue definir cuáles son los factores determinantes para la implementación de un MCS efectivo en una empresa.

Impacto del sistema de control de gestión en el aprendizaje de las empresas multidomésticas del sector automotriz de Colombia

Las empresas multidomesticas en su direccionamiento estratégico necesitan de un sistema de control de gestión que les permita entender cómo se está desarrollando su estrategia en los diferentes mercados, frente a los objetivos planteados, de esta forma la implementación de estos sistemas de gestión generan la posibilidad de poder medir, valorar e informar sobre el cumplimiento y la evolución de los resultados previstos y ser un apoyo para la estrategia de mercados multidomesticos. Frente al contexto actual colombiano, se encontro que el mercado del sector automotriz, conformado por empresas multinacionales con una administración estratégica multidomestica, está cada vez más competitivos.Mediante la utilización de los sistemas de control de gestión es posible establecer e identificar variables que fomenten el aprendizaje organizacional, un campo de investigación académica y de práctica profesional el cual permite desarrollar variables claves dentro de la organización como lo son la innovación, la estrategia, la productividad y la toma de decisiones. Variables que favorecen el dinamismo y sostenibilidad del sector automotriz y las organizaciones que la conforman. Así garantizan un mayor aprendizaje creciente en el tiempo, por medio del cual se garantiza la perfecta armonía entre todos los empleados sin jerarquizacion y filtros para la información, dando paso al aprendizaje. Por medio de encuestas a directivos de las empresas mencionadas fue posible obtener conclusiones y encontrar similitudes entre el panorama actual contado por ellos mismos y lo que previamente se formulaba basados en fuentes teóricas, demostrando el real impacto de los sistemas de control de gestión en el aprendizaje de las empresas multidomesticas del sector automotriz en Colombia.

Impacto de los factores interculturales en la implementación de un efectivo control de gestión en las organizaciones

Este trabajo pretende de una manera tanto teórica como práctica, estudiar la relación que pueda existir entre la interculturalidad y el Management Control System, para ello se realiza una revisión bibliográfica de los trabajos empíricos y teóricos desarrollados hasta el momento sobre el tema. Se comienza con la revisión de los diferentes conceptos que puedan hacer alusión a la interculturalidad, y los MCS (o contemple variables cercanas en relación a este), se delimita el tema y se procede a su clasificación hasta llegar a la estructuración de la definición de los constructos que integren los conceptos de interculturalidad y MCS. De igual manera, se operacionalizan las variables para poder generar un análisis practico utilizando estadística cuantitativa. Finalmente presentamos los resultados que demuestran el grado de importancia percibido por encuestados de filiales localizadas en diferentes países de Latino América de la empresa Agrocampo S.A.S, con el fin de presentar conclusiones que integren los dos temas de análisis.