Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Perspectives of auto-correcting lens distortions in mosaic-based underwater navigation

When unmanned underwater vehicles (UUVs) perform missions near the ocean floor, optical sensors can be used to improve local navigation. Video mosaics allow to efficiently process the images acquired by the vehicle, and also to obtain position estimates. We discuss in this paper the role of lens distortions in this context, proving that degenerate mosaics have their origin not only in the selected motion model or in registration errors, but also in the cumulative effect of radial distortion residuals. Additionally, we present results on the accuracy of different feature-based approaches for self-correction of lens distortions that may guide the choice of appropriate techniques for correcting distortions

Improving resource utilization in carrier ethernet technologies

Ethernet está empezando a pasar de las redes de área local a una red de transporte. Sin embargo, como los requisitos de las redes de transporte son más exigentes, la tecnología necesita ser mejorada. Esquemas diseñados para mejorar Ethernet para que cumpla con las necesidades de transporte se pueden categorizar en dos clases. La primera clase mejora solo los componentes de control de Ethernet (Tecnologías basadas en STP), y la segunda clase mejora tanto componentes de control como de encaminamiento de Ethernet (tecnologías basadas en etiquetas). Esta tesis analiza y compara el uso de espacio en las etiquetas de las tecnologias basadas en ellas para garantizar su escalabilidad. La aplicabilidad de las técnicas existentes y los estudios que se pueden utilizar para superar o reducir los problemas de escalabilidad de la etiqueta son evaluados. Además, esta tesis propone un ILP para calcular el óptimo rendimiento de las technologias basadas en STP y las compara con las basadas en etiquetas para ser capaz de determinar, dada una específica situacion, que technologia utilizar.

Limnological characteristics and zooplankton community structure of Mediterranean coastal lagoons undergoing restoration

Entre 1999 i 2003 es va desenvolupar un projecte Life de restauració a la maresma de La Pletera, afectada per un pla urbanització, i a la llacuna del Ter Vell, amb un elevat grau d'eutròfia (aiguamolls del Baix Ter, NE Península Ibèrica). L'objectiu d'aquesta tesi és establir el funcionament d'ambdós ecosistemes, analitzar-ne la problemàtica ambiental i avaluar els efectes de la restauració. A la maresma de la Pletera, es va analitzar el paper de la hidrologia en la composició i dinàmica dels nutrients i del zooplàncton en cinc llacunes, tres de les quals havien estat creades dins el projecte de restauració com a nous refugis per una espècie de peix amenaçada (Aphanius iberus). La hidrologia es va caracteritzar per un llarg període de confinament sense entrades d'aigua, interromput de manera irregular per inundacions puntuals. La dinàmica del nitrogen inorgànic es va relacionar amb les entrades d'aigua, mentre que la del fòsfor, del nitrogen total i de la matèria orgànica es va relacionar amb els processos d'acumulació i reciclatge intern durant el confinament. El zooplàncton es va analitzar mitjançant la combinació d'aproximacions taxonòmiques i de mides. L'estructura de mides de la comunitat es va veure més afectada per les interaccions tròfiques (depredació i competència) mentre que l'estructura taxonòmica va ser més sensible a factors abiòtics (nutrients). El ràpid creixement de la població A. iberus en les noves llacunes va suggerir que aquestes havien proporcionat l'hàbitat adequat per a l'espècie, almenys a curt termini. Les actuacions de restauració a la llacuna del Ter Vell es van centrar en la millora de la qualitat de l'aigua mitjançant (1) la construcció d'uns aiguamolls per depurar l'aigua d'entrada i (2) el dragat del sediment en diversos punts. Simultàniament a la restauració, però de forma independent, la gestió agrícola de l'aigua va reduir dràsticament el cabal d'entrada d'aigua dolça a la llacuna, provocant un canvi en el règim hídric. Es van analitzar els efectes a curt termini d'aquest canvi sobre la limnologia i el zooplàncton de la llacuna. Abans del canvi, la hidrologia era artificial ja que s'havia prolongat l'entrada d'aigua dolça d'acord amb la demanda agrícola, i per tant la llacuna presentava una elevada taxa de renovació de l'aigua i majors concentracions de nutrients. Després del canvi, la hidrologia va dependre més del clima, es van reduir les entrades d'aigua i es va allargar el període de confinament. La composició y dinàmica dels nutrients va tendir a assemblar-se a l'observada a les llacunes de la maresma, mentre que la comunitat del zooplàncton no ho va fer. L'estat ecològic de la llacuna va millorar després del canvi en el règim hídric.

A compositional data analysis package for R providing multiple approaches

”compositions” is a new R-package for the analysis of compositional and positive data. It contains four classes corresponding to the four different types of compositional and positive geometry (including the Aitchison geometry). It provides means for computation, plotting and high-level multivariate statistical analysis in all four geometries. These geometries are treated in an fully analogous way, based on the principle of working in coordinates, and the object-oriented programming paradigm of R. In this way, called functions automatically select the most appropriate type of analysis as a function of the geometry. The graphical capabilities include ternary diagrams and tetrahedrons, various compositional plots (boxplots, barplots, piecharts) and extensive graphical tools for principal components. Afterwards, ortion and proportion lines, straight lines and ellipses in all geometries can be added to plots. The package is accompanied by a hands-on-introduction, documentation for every function, demos of the graphical capabilities and plenty of usage examples. It allows direct and parallel computation in all four vector spaces and provides the beginner with a copy-and-paste style of data analysis, while letting advanced users keep the functionality and customizability they demand of R, as well as all necessary tools to add own analysis routines. A complete example is included in the appendix

An hybrid methodology for RL-based behavior coordination in a target following mission with an AUV

Proposes a behavior-based scheme for high-level control of autonomous underwater vehicles (AUVs). Two main characteristics can be highlighted in the control scheme. Behavior coordination is done through a hybrid methodology, which takes in advantages of the robustness and modularity in competitive approaches, as well as optimized trajectories

Hybrid coordination of reinforcement learning-based behaviors for AUV control

This paper proposes a hybrid coordination method for behavior-based control architectures. The hybrid method takes advantages of the robustness and modularity in competitive approaches as well as optimized trajectories in cooperative ones. This paper shows the feasibility of applying this hybrid method with a 3D-navigation to an autonomous underwater vehicle (AUV). The behaviors are learnt online by means of reinforcement learning. A continuous Q-learning implemented with a feed-forward neural network is employed. Realistic simulations were carried out. The results obtained show the good performance of the hybrid method on behavior coordination as well as the convergence of the behaviors

A new all-round density functional based on spin states and SN2 barriers

We report here a new empirical density functional that is constructed based on the performance of OPBE and PBE for spin states and SN 2 reaction barriers and how these are affected by different regions of the reduced gradient expansion. In a previous study [Swart, Sol̀, and Bickelhaupt, J. Comput. Methods Sci. Eng. 9, 69 (2009)] we already reported how, by switching between OPBE and PBE, one could obtain both the good performance of OPBE for spin states and reaction barriers and that of PBE for weak interactions within one and the same (SSB-sw) functional. Here we fine tuned this functional and include a portion of the KT functional and Grimme's dispersion correction to account for π- π stacking. Our new SSB-D functional is found to be a clear improvement and functions very well for biological applications (hydrogen bonding, π -π stacking, spin-state splittings, accuracy of geometries, reaction barriers)

A hybrid approach of knowledge-based reasoning for structural assessment

La idea básica de detección de defectos basada en vibraciones en Monitorización de la Salud Estructural (SHM), es que el defecto altera las propiedades de rigidez, masa o disipación de energía de un sistema, el cual, altera la respuesta dinámica del mismo. Dentro del contexto de reconocimiento de patrones, esta tesis presenta una metodología híbrida de razonamiento para evaluar los defectos en las estructuras, combinando el uso de un modelo de la estructura y/o experimentos previos con el esquema de razonamiento basado en el conocimiento para evaluar si el defecto está presente, su gravedad y su localización. La metodología involucra algunos elementos relacionados con análisis de vibraciones, matemáticas (wavelets, control de procesos estadístico), análisis y procesamiento de señales y/o patrones (razonamiento basado en casos, redes auto-organizativas), estructuras inteligentes y detección de defectos. Las técnicas son validadas numérica y experimentalmente considerando corrosión, pérdida de masa, acumulación de masa e impactos. Las estructuras usadas durante este trabajo son: una estructura tipo cercha voladiza, una viga de aluminio, dos secciones de tubería y una parte del ala de un avión comercial.

Computationally reliable approaches of contractive MPC for discrete-time systems

La tesis pretende explorar acercamientos computacionalmente confiables y eficientes de contractivo MPC para sistemas de tiempo discreto. Dos tipos de contractivo MPC han sido estudiados: MPC con coacción contractiva obligatoria y MPC con una secuencia contractiva de conjuntos controlables. Las técnicas basadas en optimización convexa y análisis de intervalos son aplicadas para tratar MPC contractivo lineal y no lineal, respectivamente. El análisis de intervalos clásicos es ampliado a zonotopes en la geometría para diseñar un conjunto invariante de control terminal para el modo dual de MPC. También es ampliado a intervalos modales para tener en cuenta la modalidad al calcula de conjuntos controlables robustos con una interpretación semántica clara. Los instrumentos de optimización convexa y análisis de intervalos han sido combinados para mejorar la eficacia de contractive MPC para varias clases de sistemas de tiempo discreto inciertos no lineales limitados. Finalmente, los dos tipos dirigidos de contractivo MPC han sido aplicados para controlar un Torneo de Fútbol de Copa Mundial de Micro Robot (MiroSot) y un Tanque-Reactor de Mezcla Continua (CSTR), respectivamente.