Advances towards behaviour-based indoor robotic exploration

215 p.

Learning Multirobot Hose Transportation and Deployment by Distributed Round-Robin Q-Learning

Multi-Agent Reinforcement Learning (MARL) algorithms face two main difficulties: the curse of dimensionality, and environment non-stationarity due to the independent learning processes carried out by the agents concurrently. In this paper we formalize and prove the convergence of a Distributed Round Robin Q-learning (D-RR-QL) algorithm for cooperative systems. The computational complexity of this algorithm increases linearly with the number of agents. Moreover, it eliminates environment non sta tionarity by carrying a round-robin scheduling of the action selection and execution. That this learning scheme allows the implementation of Modular State-Action Vetoes (MSAV) in cooperative multi-agent systems, which speeds up learning convergence in over-constrained systems by vetoing state-action pairs which lead to undesired termination states (UTS) in the relevant state-action subspace. Each agent's local state-action value function learning is an independent process, including the MSAV policies. Coordination of locally optimal policies to obtain the global optimal joint policy is achieved by a greedy selection procedure using message passing. We show that D-RR-QL improves over state-of-the-art approaches, such as Distributed Q-Learning, Team Q-Learning and Coordinated Reinforcement Learning in a paradigmatic Linked Multi-Component Robotic System (L-MCRS) control problem: the hose transportation task. L-MCRS are over-constrained systems with many UTS induced by the interaction of the passive linking element and the active mobile robots.

Un entorno de programación multinivel y control modular de robots

En este proyecto final de carrera se van a tratar los aspectos referentes a la ampliación de robots. Para ello se utilizará una placa Arduino que se comunicará con el robot por puerto serie. Esta placa, servirá de plataforma de comunicación entre un PC y el robot, ofreciendo una interfaz del robot anterior con la capacidad de ampliación de la placa Arduino. En el transcurso del proyecto se ha realizado una capa intermedia de código C++ que gestiona el uso de la placa Arduino y del robot iRobot Create a través de la misma. Con objeto de dar también soporte a la programación del robot iRobot Create, se ha elegido un simulador y se le ha dado soporte en la capa anteriormente citada.

Metodología para la implantación de una herramienta de control virtual de robots serie

[Es]El objetivo principal de este trabajo es la introducción del usuario al mundo de la robótica, explicando para ello, desde un punto de vista práctico, los conceptos teóricos relacionados con la cinemática de mecanismos espaciales, específicamente la de los robots serie. Para lograr este objetivo se ha creado una metodología de aprendizaje, basada en tres ejercicios, que explica los comandos principales de RobotStudio; software de programación necesario para el control virtual de robots de la marca ABB, robot disponible en la escuela. Junto con esto, se desarrollan los conceptos necesarios para la realización de tareas básicas dentro del ámbito de la robótica. Mediante la implantación de esta metodología se pretende dotar al usuario de los conceptos esenciales para programar robots serie dentro de un ámbito virtual, otorgándole la posibilidad de conectarlo posteriormente a un robot real, obteniendo resultados prácticos y visibles.

Roaming in the Mobile Internet: when coverage sharing agreements call for regulation

Revised: 2006-06

Software de control desarrollado en ROS para teleoperar de manera eficiente el robot Kuka Lightweight mediante el háptico Phantom Omni

La teleoperación o telerobótica es un campo de la robótica que se basa en el control remoto de robots esclavo por parte de un usuario encargado de gobernar, mediante un dispositivo maestro, la fuerza y movimiento del robot. Sobre dicho usuario recaen también las tareas de percepción del entorno, planificación y manipulación compleja. Concretamente se pretende desarrollar el control software necesario para teleoperar un manipulador esclavo, Kuka Lightweigh mediante un dispositivo háptico Phamton Omni, que se comporta como maestro, sin que afecten las diferencias dinámicas y estructurales existentes entre ambos dispositivos, aportando información adicional al operador para facilitar la operación. La principal motivación de la evolución de esta tecnología se debe a la necesidad de realizar trabajos en entornos hostiles, de difícil acceso, o perjudiciales para la salud del usuario.

Control de un sistema de accionamientos de traslación basado en correa para un manipulador de cinemática paralela

[ES]Este Trabajo de Fin de Grado “Control de un sistema de accionamientos de traslación basado en correa para un manipulador de cinemática paralela” tiene como objetivo principal la implementación de un sistema de control que nos permita manejar un manipulador de cinemática paralela de dos grados de libertad accionado mediante dos motores eléctricos de corriente continua. Como componente central de este sistema de control, se dispondrá de un ordenador portátil cuyo procesador será el encargado de ejecutar las acciones necesarias para que pueda llevarse a cabo esta actividad de control. De esta forma, la tarea más importante y laboriosa a llevar cabo en este proyecto será el desarrollo de un aplicación de control que, corriendo en el citado ordenador, permitirá al usuario manejar el manipulador de cinemática paralela en cuestión. Para ello, esta aplicación deberá ser capaz de interpretar las ordenes de movimiento dadas por el usuario y transmitirlas al procesador del mencionado ordenador. Además de todo lo anterior, para completar el desarrollo del sistema de control, será necesaria la implementación de diversos sensores que se encargarán de detectar y transmitir las señales necesarias para evitar situaciones de emergencia en el que el manipulador estuviese a punto de chocar con algún objeto o persona. En conclusión, mediante el cumplimiento de los objetivos de este Trabajo de Fin de Grado, se va a disponer de un sistema de control sencillo, intuitivo y fácilmente operable, que va a permitir a cualquier futuro usuario del mismo el manejo de un robot de cinemática paralela.

Modelling and Simulation of ERTMS for Current and Future Mobile Technologies

Nowadays, train control in-lab simulation tools play a crucial role in reducing extensive and expensive on-site railway testing activities. In this paper, we present our contribution in this arena by detailing the internals of our European Railway Train Management System in-lab demonstrator. This demonstrator is built over a general-purpose simulation framework, Riverbed Modeler, previously Opnet Modeler. Our framework models both ERTMS subsystems, the Automatic Train Protection application layer based on movement authority message exchange and the telecommunication subsystem based on GSM-R communication technology. We provide detailed information on our modelling strategy. We also validate our simulation framework with real trace data. To conclude, under current industry migration scenario from GSM-R legacy obsolescence to IP-based heterogeneous technologies, our simulation framework represents a singular tool to railway operators. As an example, we present the assessment of related performance indicators for a specific railway network using a candidate replacement technology, LTE, versus current legacy technology. To the best of our knowledge, there is no similar initiative able to measure the impact of the telecommunication subsystem in the railway network availability.