Advances towards behaviour-based indoor robotic exploration

215 p.

Designing High Performance Factory Automation Applications on Top of DDS

13 p.

Aplicación de ROS: Sistema Operativo Robótico sobre Lego Mindstorms NXT

[ES]El objetivo de este Trabajo de Fin de Grado es estudiar el programa llamado ROS, un entorno para la programación de robots. Proporciona una serie de herramientas, librerías, drivers… que facilitan en gran medida la programación de sistemas robóticos. Para realizar este estudio se utilizará ROS para crear una aplicación para un robot LEGO Mindstorms NXT. Estos robots son pequeños y versátiles, y son adecuados para la investigación. La aplicación que se llevará a cabo será un seguidor de línea, un robot capaz de seguir una pista dibujada sobre una superficie de otro color. Para programar la aplicación, se utilizarán en la medida de lo posible las herramientas proporcionadas por ROS. De esta manera, se espera alcanzar una mayor comprensión de ROS y de su funcionamiento, con sus fortalezas y sus debilidades.

Desarrollo de una herramienta virtual destinada al diseño de una plataforma robótica reconfigurable.

[ES]Este proyecto tiene como objeto aumentar el conocimiento concerniente a mecanismos robóticos reconfigurables, así como ponerlo en práctica. Estos mecanismos pueden lograr rápidas transiciones y son capaces de adaptarse a sí mismos a muchos entornos diferentes, conduciendo a una reducción de costes y requerimientos de espacio. Para ello, se estudia el estado del arte, de manera que se pueda reunir información sobre las principales aplicaciones y oportunidades que este campo ofrece en diferentes áreas. A continuación, se requiere llevar a cabo un análisis cinemático de un robot específico, y junto a métodos de planificación de trayectorias, su implementación en un software gráfico para simular su movimiento. La herramienta de software “Matlab” va a ser la que permitirá llevar a cabo toda la programación y representación a lo largo de todo el proyecto.

Learning Multirobot Hose Transportation and Deployment by Distributed Round-Robin Q-Learning

Multi-Agent Reinforcement Learning (MARL) algorithms face two main difficulties: the curse of dimensionality, and environment non-stationarity due to the independent learning processes carried out by the agents concurrently. In this paper we formalize and prove the convergence of a Distributed Round Robin Q-learning (D-RR-QL) algorithm for cooperative systems. The computational complexity of this algorithm increases linearly with the number of agents. Moreover, it eliminates environment non sta tionarity by carrying a round-robin scheduling of the action selection and execution. That this learning scheme allows the implementation of Modular State-Action Vetoes (MSAV) in cooperative multi-agent systems, which speeds up learning convergence in over-constrained systems by vetoing state-action pairs which lead to undesired termination states (UTS) in the relevant state-action subspace. Each agent's local state-action value function learning is an independent process, including the MSAV policies. Coordination of locally optimal policies to obtain the global optimal joint policy is achieved by a greedy selection procedure using message passing. We show that D-RR-QL improves over state-of-the-art approaches, such as Distributed Q-Learning, Team Q-Learning and Coordinated Reinforcement Learning in a paradigmatic Linked Multi-Component Robotic System (L-MCRS) control problem: the hose transportation task. L-MCRS are over-constrained systems with many UTS induced by the interaction of the passive linking element and the active mobile robots.