Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Semiactive backstepping control for vibration attenuation in structures equipped with magnetorheological actuatorscat

This paper deals with the problem of semiactive vibration control of civil engineering structures subject to unknown external disturbances (for example, earthquakes, winds, etc.). Two kinds of semiactive controllers are proposed based on the backstepping control technique. The experimental setup used is a 6-story test structure equipped with shear-mode semiactive magnetorheological dampers being installed in the Washington University Structural Control and Earthquake Engineering Laboratory (WUSCEEL). The experimental results obtained have verified the effectiveness of the proposed control algorithms

Self-organized sociopolitical interactions as the best way to achieve organized patterns in human social systems: going beyond the top-down control of classical political regimes

La monografía presenta la auto-organización sociopolítica como la mejor manera de lograr patrones organizados en los sistemas sociales humanos, dada su naturaleza compleja y la imposibilidad de las tareas computacionales de los regímenes políticos clásico, debido a que operan con control jerárquico, el cual ha demostrado no ser óptimo en la producción de orden en los sistemas sociales humanos. En la monografía se extrapola la teoría de la auto-organización en los sistemas biológicos a las dinámicas sociopolíticas humanas, buscando maneras óptimas de organizarlas, y se afirma que redes complejas anárquicas son la estructura emergente de la auto-organización sociopolítica.

Factores para la implementación eficiente de un sistema de control de gestión en las organizaciones

La implementación del MCS es una necesidad que demandan las organizaciones en la medida en que incrementan de tamaño, pero la experiencia muestra que esta metodología tiene casos de éxito como de fracaso, por lo que es importante identificar y contemplar los factores que influyen en la implementación para que el sistema sea efectivo. Este proyecto pretende analizar las variables y herramientas para la implementación de un MCS en una organización. Para este análisis se hizo una amplia revisión literaria teórica y práctica. Finalmente el resultado que se obtuvo fue definir cuáles son los factores determinantes para la implementación de un MCS efectivo en una empresa.

Impacto del sistema de control de gestión en el aprendizaje de las empresas multidomésticas del sector automotriz de Colombia

Las empresas multidomesticas en su direccionamiento estratégico necesitan de un sistema de control de gestión que les permita entender cómo se está desarrollando su estrategia en los diferentes mercados, frente a los objetivos planteados, de esta forma la implementación de estos sistemas de gestión generan la posibilidad de poder medir, valorar e informar sobre el cumplimiento y la evolución de los resultados previstos y ser un apoyo para la estrategia de mercados multidomesticos. Frente al contexto actual colombiano, se encontro que el mercado del sector automotriz, conformado por empresas multinacionales con una administración estratégica multidomestica, está cada vez más competitivos.Mediante la utilización de los sistemas de control de gestión es posible establecer e identificar variables que fomenten el aprendizaje organizacional, un campo de investigación académica y de práctica profesional el cual permite desarrollar variables claves dentro de la organización como lo son la innovación, la estrategia, la productividad y la toma de decisiones. Variables que favorecen el dinamismo y sostenibilidad del sector automotriz y las organizaciones que la conforman. Así garantizan un mayor aprendizaje creciente en el tiempo, por medio del cual se garantiza la perfecta armonía entre todos los empleados sin jerarquizacion y filtros para la información, dando paso al aprendizaje. Por medio de encuestas a directivos de las empresas mencionadas fue posible obtener conclusiones y encontrar similitudes entre el panorama actual contado por ellos mismos y lo que previamente se formulaba basados en fuentes teóricas, demostrando el real impacto de los sistemas de control de gestión en el aprendizaje de las empresas multidomesticas del sector automotriz en Colombia.

Impacto de los factores interculturales en la implementación de un efectivo control de gestión en las organizaciones

Este trabajo pretende de una manera tanto teórica como práctica, estudiar la relación que pueda existir entre la interculturalidad y el Management Control System, para ello se realiza una revisión bibliográfica de los trabajos empíricos y teóricos desarrollados hasta el momento sobre el tema. Se comienza con la revisión de los diferentes conceptos que puedan hacer alusión a la interculturalidad, y los MCS (o contemple variables cercanas en relación a este), se delimita el tema y se procede a su clasificación hasta llegar a la estructuración de la definición de los constructos que integren los conceptos de interculturalidad y MCS. De igual manera, se operacionalizan las variables para poder generar un análisis practico utilizando estadística cuantitativa. Finalmente presentamos los resultados que demuestran el grado de importancia percibido por encuestados de filiales localizadas en diferentes países de Latino América de la empresa Agrocampo S.A.S, con el fin de presentar conclusiones que integren los dos temas de análisis.

Desarrollo de un estado de la cuestión acerca de las interacciones entre el control de gestión y el aprendizaje organizacional.

Las organizaciones en la actualidad deben encontrar diferentes maneras de sobrevivir en un tiempo de rápida transformación. Uno de los mecanismos usados por las empresas para adaptarse a los cambios organizacionales son los sistemas de control de gestión, que a su vez permiten a las organizaciones hacer un seguimiento a sus procesos, para que la adaptabilidad sea efectiva. Otra variable importante para la adaptación es el aprendizaje organizacional siendo el proceso mediante el cual las organizaciones se adaptan a los cambios del entorno, tanto interno como externo de la compañía. Dado lo anterior, este proyecto se basa en la extracción de documentación soporte valido, que permita explorar las interacciones entre estos dos campos, los sistemas de control de gestión y el aprendizaje organizacional, además, analizar el impacto de estas interacciones en la perdurabilidad organizacional. ​

Semiactive control strategies for vibration mitigation in adaptronic structures equipped with magnetorheological dampers

Los sistemas tales como edificios y veh¨ªculos est¨¢n sujetos a vibraciones que pueden causar mal funcionamiento, incomodidad o colapso. Para mitigar estas vibraciones, se suelen instalar amortiguadores. Estas estructuras se convierten en sistemas adaptr¨®nicos cuando los amortiguadores son controlables. Esta tesis se enfoca en la soluci¨®n del problema de vibraciones en edificios y veh¨ªculos usando amortiguadores magnetoreol¨®gicos (MR). Estos son unos amortiguadores controlables caracterizados por una din¨¢mica altamente no lineal. Adem¨¢s, los sistemas donde se instalan se caracterizan por la incertidumbre param¨¦trica, la limitaci¨®n de medidas y las perturbaciones desconocidas, lo que obliga al uso de t¨¦cnicas complejas de control. En esta tesis se usan Backstepping, QFT y H2/H¡Þ mixto para resolver el problema. Las leyes de control se verifican mediante simulaci¨®n y experimentaci¨®n.

Control and optimization of an SBR for nitrogen removal: from model calibration to plant operation

En aquesta tesis s'ha desenvolupat un sistema de control capaç d'optimitzar el funcionament dels Reactors Discontinus Seqüencials dins el camp de l'eliminació de matèria orgànica i nitrogen de les aigües residuals. El sistema de control permet ajustar en línia la durada de les etapes de reacció a partir de mesures directes o indirectes de sondes. En una primera etapa de la tesis s'ha estudiat la calibració de models matemàtics que permeten realitzar fàcilment provatures de diferents estratègies de control. A partir de l'anàlisis de dades històriques s'han plantejat diferents opcions per controlar l'SBR i les més convenients s'han provat mitjançant simulació. Després d'assegurar l'èxit de l'estratègia de control mitjançant simulacions s'ha implementat en una planta semi-industrial. Finalment es planteja l'estructura d'uns sistema supervisor encarregat de controlar el funcionament de l'SBR no només a nivell de fases sinó també a nivell cicle.

The role of the Hellenic food safety authority in Greece: implementation strategies

During the last 15 years, a series of food scares and crises (BSE, dioxin. foot and mouth disease) have seriously under-mined public confidence in food producers and operators and their capacity to produce safe food. As a result, food safety has become a top priority of the European legislative authorities and systems of national food control have been tightened up and have included the establishment of the European Food Safety Authority. In Greece a law creating the Hellenic Food Safety Authority has been approved. The main objectives of this Authority are to promote the food security to consumers and inform them of any changes or any development in the food and health sector. The paper reviews the general structure of the current food control system in Greece. It describes the structure and the mission of the Hellenic Food Safety Authority and explains the strategy to carry out inspections and the analysis of the preliminary results of such inspections. Details are also given of the personnel training and certification and accreditation standards to be met by the Authority by the end of 2004. (c) 2005 Elsevier Ltd. All rights reserved.

Use of a continuous culture fermentation system to investigate the effect of GanedenBC30 (Bacillus coagulans GBI-30, 6086) supplementation on pathogen survival in the human gut microbiota

Single-stage continuous fermentation systems were employed to examine the effects of GanedenBC30 supplementation on the human gastrointestinal microbiota in relation to pathogen challenge in vitro. Denaturing gradient gel electrophoresis analysis demonstrated that GanedenBC30 supplementation modified the microbial profiles in the fermentation systems compared with controls, with profiles clustering according to treatment. Overall, GanedenBC30 supplementation did not elicit major changes in bacterial population counts in vitro, although notably higher Bcoa191 counts were seen following probiotic supplementation (compared to the controls). Pathogen challenge did not elicit significant modification of the microbial counts in vitro, although notably higher Clit135 counts were seen in the control system post-Clostridium difficile challenge than in the corresponding GanedenBC30-supplemented systems. Sporulation appears to be associated with the anti-microbial activity of GanedenBC30, suggesting that a bi-modal lifecycle of GanedenBC30 in vivo may lead to anti-microbial activity in distal regions of the gastrointestinal tract.

Solving complex optimal control problems at no cost with PSOPT

This paper introduces PSOPT, an open source optimal control solver written in C++. PSOPT uses pseudospectral and local discretizations, sparse nonlinear programming, automatic differentiation, and it incorporates automatic scaling and mesh refinement facilities. The software is able to solve complex optimal control problems including multiple phases, delayed differential equations, nonlinear path constraints, interior point constraints, integral constraints, and free initial and/or final times. The software does not require any non-free platform to run, not even the operating system, as it is able to run under Linux. Additionally, the software generates plots as well as LATEX code so that its results can easily be included in publications. An illustrative example is provided.

Real-time expert system for fault location on high voltage underground distribution cables

To ensure minimum loss of system security and revenue it is essential that faults on underground cable systems be located and repaired rapidly. Currently in the UK, the impulse current method is used to prelocate faults, prior to using acoustic methods to pinpoint the fault location. The impulse current method is heavily dependent on the engineer's knowledge and experience in recognising/interpreting the transient waveforms produced by the fault. The development of a prototype real-time expert system aid for the prelocation of cable faults is described. Results from the prototype demonstrate the feasibility and benefits of the expert system as an aid for the diagnosis and location of faults on underground cable systems.

Autonomous ship collision free trajectory navigation and control algorithms

A new autonomous ship collision free (ASCF) trajectory navigation and control system has been introduced with a new recursive navigation algorithm based on analytic geometry and convex set theory for ship collision free guidance. The underlying assumption is that the geometric information of ship environment is available in the form of a polygon shaped free space, which may be easily generated from a 2D image or plots relating to physical hazards or other constraints such as collision avoidance regulations. The navigation command is given as a heading command sequence based on generating a way point which falls within a small neighborhood of the current position, and the sequence of the way points along the trajectory are guaranteed to lie within a bounded obstacle free region using convex set theory. A neurofuzzy network predictor which in practice uses only observed input/output data generated by on board sensors or external sensors (or a sensor fusion algorithm), based on using rudder deflection angle for the control of ship heading angle, is utilised in the simulation of an ESSO 190000 dwt tanker model to demonstrate the effectiveness of the system.