Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

I-SS: integrated supervision systems approach based on interactive components

Process supervision is the activity focused on monitoring the process operation in order to deduce conditions to maintain the normality including when faults are present Depending on the number/distribution/heterogeneity of variables, behaviour situations, sub-processes, etc. from processes, human operators and engineers do not easily manipulate the information. This leads to the necessity of automation of supervision activities. Nevertheless, the difficulty to deal with the information complicates the design and development of software applications. We present an approach called "integrated supervision systems". It proposes multiple supervisors coordination to supervise multiple sub-processes whose interactions permit one to supervise the global process

Interacting software-agents to support a kind of expert supervision systems

Expert supervision systems are software applications specially designed to automate process monitoring. The goal is to reduce the dependency on human operators to assure the correct operation of a process including faulty situations. Construction of this kind of application involves an important task of design and development in order to represent and to manipulate process data and behaviour at different degrees of abstraction for interfacing with data acquisition systems connected to the process. This is an open problem that becomes more complex with the number of variables, parameters and relations to account for the complexity of the process. Multiple specialised modules tuned to solve simpler tasks that operate under a co-ordination provide a solution. A modular architecture based on concepts of software agents, taking advantage of the integration of diverse knowledge-based techniques, is proposed for this purpose. The components (software agents, communication mechanisms and perception/action mechanisms) are based on ICa (Intelligent Control architecture), software middleware supporting the build-up of applications with software agent features

Semiactive backstepping control for vibration attenuation in structures equipped with magnetorheological actuatorscat

This paper deals with the problem of semiactive vibration control of civil engineering structures subject to unknown external disturbances (for example, earthquakes, winds, etc.). Two kinds of semiactive controllers are proposed based on the backstepping control technique. The experimental setup used is a 6-story test structure equipped with shear-mode semiactive magnetorheological dampers being installed in the Washington University Structural Control and Earthquake Engineering Laboratory (WUSCEEL). The experimental results obtained have verified the effectiveness of the proposed control algorithms

Self-organized sociopolitical interactions as the best way to achieve organized patterns in human social systems: going beyond the top-down control of classical political regimes

La monografía presenta la auto-organización sociopolítica como la mejor manera de lograr patrones organizados en los sistemas sociales humanos, dada su naturaleza compleja y la imposibilidad de las tareas computacionales de los regímenes políticos clásico, debido a que operan con control jerárquico, el cual ha demostrado no ser óptimo en la producción de orden en los sistemas sociales humanos. En la monografía se extrapola la teoría de la auto-organización en los sistemas biológicos a las dinámicas sociopolíticas humanas, buscando maneras óptimas de organizarlas, y se afirma que redes complejas anárquicas son la estructura emergente de la auto-organización sociopolítica.

Factores para la implementación eficiente de un sistema de control de gestión en las organizaciones

La implementación del MCS es una necesidad que demandan las organizaciones en la medida en que incrementan de tamaño, pero la experiencia muestra que esta metodología tiene casos de éxito como de fracaso, por lo que es importante identificar y contemplar los factores que influyen en la implementación para que el sistema sea efectivo. Este proyecto pretende analizar las variables y herramientas para la implementación de un MCS en una organización. Para este análisis se hizo una amplia revisión literaria teórica y práctica. Finalmente el resultado que se obtuvo fue definir cuáles son los factores determinantes para la implementación de un MCS efectivo en una empresa.

Impacto del sistema de control de gestión en el aprendizaje de las empresas multidomésticas del sector automotriz de Colombia

Las empresas multidomesticas en su direccionamiento estratégico necesitan de un sistema de control de gestión que les permita entender cómo se está desarrollando su estrategia en los diferentes mercados, frente a los objetivos planteados, de esta forma la implementación de estos sistemas de gestión generan la posibilidad de poder medir, valorar e informar sobre el cumplimiento y la evolución de los resultados previstos y ser un apoyo para la estrategia de mercados multidomesticos. Frente al contexto actual colombiano, se encontro que el mercado del sector automotriz, conformado por empresas multinacionales con una administración estratégica multidomestica, está cada vez más competitivos.Mediante la utilización de los sistemas de control de gestión es posible establecer e identificar variables que fomenten el aprendizaje organizacional, un campo de investigación académica y de práctica profesional el cual permite desarrollar variables claves dentro de la organización como lo son la innovación, la estrategia, la productividad y la toma de decisiones. Variables que favorecen el dinamismo y sostenibilidad del sector automotriz y las organizaciones que la conforman. Así garantizan un mayor aprendizaje creciente en el tiempo, por medio del cual se garantiza la perfecta armonía entre todos los empleados sin jerarquizacion y filtros para la información, dando paso al aprendizaje. Por medio de encuestas a directivos de las empresas mencionadas fue posible obtener conclusiones y encontrar similitudes entre el panorama actual contado por ellos mismos y lo que previamente se formulaba basados en fuentes teóricas, demostrando el real impacto de los sistemas de control de gestión en el aprendizaje de las empresas multidomesticas del sector automotriz en Colombia.

Impacto de los factores interculturales en la implementación de un efectivo control de gestión en las organizaciones

Este trabajo pretende de una manera tanto teórica como práctica, estudiar la relación que pueda existir entre la interculturalidad y el Management Control System, para ello se realiza una revisión bibliográfica de los trabajos empíricos y teóricos desarrollados hasta el momento sobre el tema. Se comienza con la revisión de los diferentes conceptos que puedan hacer alusión a la interculturalidad, y los MCS (o contemple variables cercanas en relación a este), se delimita el tema y se procede a su clasificación hasta llegar a la estructuración de la definición de los constructos que integren los conceptos de interculturalidad y MCS. De igual manera, se operacionalizan las variables para poder generar un análisis practico utilizando estadística cuantitativa. Finalmente presentamos los resultados que demuestran el grado de importancia percibido por encuestados de filiales localizadas en diferentes países de Latino América de la empresa Agrocampo S.A.S, con el fin de presentar conclusiones que integren los dos temas de análisis.

Desarrollo de un estado de la cuestión acerca de las interacciones entre el control de gestión y el aprendizaje organizacional.

Las organizaciones en la actualidad deben encontrar diferentes maneras de sobrevivir en un tiempo de rápida transformación. Uno de los mecanismos usados por las empresas para adaptarse a los cambios organizacionales son los sistemas de control de gestión, que a su vez permiten a las organizaciones hacer un seguimiento a sus procesos, para que la adaptabilidad sea efectiva. Otra variable importante para la adaptación es el aprendizaje organizacional siendo el proceso mediante el cual las organizaciones se adaptan a los cambios del entorno, tanto interno como externo de la compañía. Dado lo anterior, este proyecto se basa en la extracción de documentación soporte valido, que permita explorar las interacciones entre estos dos campos, los sistemas de control de gestión y el aprendizaje organizacional, además, analizar el impacto de estas interacciones en la perdurabilidad organizacional. ​

Semiactive control strategies for vibration mitigation in adaptronic structures equipped with magnetorheological dampers

Los sistemas tales como edificios y veh¨ªculos est¨¢n sujetos a vibraciones que pueden causar mal funcionamiento, incomodidad o colapso. Para mitigar estas vibraciones, se suelen instalar amortiguadores. Estas estructuras se convierten en sistemas adaptr¨®nicos cuando los amortiguadores son controlables. Esta tesis se enfoca en la soluci¨®n del problema de vibraciones en edificios y veh¨ªculos usando amortiguadores magnetoreol¨®gicos (MR). Estos son unos amortiguadores controlables caracterizados por una din¨¢mica altamente no lineal. Adem¨¢s, los sistemas donde se instalan se caracterizan por la incertidumbre param¨¦trica, la limitaci¨®n de medidas y las perturbaciones desconocidas, lo que obliga al uso de t¨¦cnicas complejas de control. En esta tesis se usan Backstepping, QFT y H2/H¡Þ mixto para resolver el problema. Las leyes de control se verifican mediante simulaci¨®n y experimentaci¨®n.

Control and optimization of an SBR for nitrogen removal: from model calibration to plant operation

En aquesta tesis s'ha desenvolupat un sistema de control capaç d'optimitzar el funcionament dels Reactors Discontinus Seqüencials dins el camp de l'eliminació de matèria orgànica i nitrogen de les aigües residuals. El sistema de control permet ajustar en línia la durada de les etapes de reacció a partir de mesures directes o indirectes de sondes. En una primera etapa de la tesis s'ha estudiat la calibració de models matemàtics que permeten realitzar fàcilment provatures de diferents estratègies de control. A partir de l'anàlisis de dades històriques s'han plantejat diferents opcions per controlar l'SBR i les més convenients s'han provat mitjançant simulació. Després d'assegurar l'èxit de l'estratègia de control mitjançant simulacions s'ha implementat en una planta semi-industrial. Finalment es planteja l'estructura d'uns sistema supervisor encarregat de controlar el funcionament de l'SBR no només a nivell de fases sinó també a nivell cicle.

The Spanish system of food controls - its administration and enforcement

Following a number of major food safety problems in Europe, including in particular the issues of BSE and dioxin, consumers have become increasingly concerned about food safety. This has led authorities in Europe to revise their systems of food control. The establishment of the European Food Safety Authority (EFSA) is one of the main structural changes made at the moment within the European Union, and similar action at national level has been or is being taken by many EU member states. In Spain a law creating the Spanish Agency of Food Safety has been approved. This has general objectives that include the promotion of food security and offering guarantees and the provision of objective information to consumers and food businesses in the Spanish agrifood sector. This paper reviews the general structure of the current food control system in Spain. At a national level this involves three different Ministries. Spain however also has a devolved system involving Autonomous Communities the paper considers Castilla y Leon as an example. In conclusion the paper recognises that Spain has a complex system for food control. and considers that it will take time before a full evaluation of the new system is possible. (C) 2003 Elsevier Ltd. All rights reserved.

Use of a continuous culture fermentation system to investigate the effect of GanedenBC30 (Bacillus coagulans GBI-30, 6086) supplementation on pathogen survival in the human gut microbiota

Single-stage continuous fermentation systems were employed to examine the effects of GanedenBC30 supplementation on the human gastrointestinal microbiota in relation to pathogen challenge in vitro. Denaturing gradient gel electrophoresis analysis demonstrated that GanedenBC30 supplementation modified the microbial profiles in the fermentation systems compared with controls, with profiles clustering according to treatment. Overall, GanedenBC30 supplementation did not elicit major changes in bacterial population counts in vitro, although notably higher Bcoa191 counts were seen following probiotic supplementation (compared to the controls). Pathogen challenge did not elicit significant modification of the microbial counts in vitro, although notably higher Clit135 counts were seen in the control system post-Clostridium difficile challenge than in the corresponding GanedenBC30-supplemented systems. Sporulation appears to be associated with the anti-microbial activity of GanedenBC30, suggesting that a bi-modal lifecycle of GanedenBC30 in vivo may lead to anti-microbial activity in distal regions of the gastrointestinal tract.

Solving complex optimal control problems at no cost with PSOPT

This paper introduces PSOPT, an open source optimal control solver written in C++. PSOPT uses pseudospectral and local discretizations, sparse nonlinear programming, automatic differentiation, and it incorporates automatic scaling and mesh refinement facilities. The software is able to solve complex optimal control problems including multiple phases, delayed differential equations, nonlinear path constraints, interior point constraints, integral constraints, and free initial and/or final times. The software does not require any non-free platform to run, not even the operating system, as it is able to run under Linux. Additionally, the software generates plots as well as LATEX code so that its results can easily be included in publications. An illustrative example is provided.