Desarrollo y evaluación de un sistema de teleoperación de robots basado en reconocimiento de gestos usando el sensor Kinect

En este Proyecto Fin de Carrera, se presenta un sistema de reconocimiento de gestos para teleoperar robots basado en el sensor Kinect. El proyecto se divide en dos partes, la primera relativa al diseño y evaluación de un sistema de reconocimiento de gestos basado en el sensor Kinect; y la segunda, relativa a la teleoperación de robots usando el sistema de reconocimiento de gestos desarrollado. En la primera parte, se enumeran las características y limitaciones del sensor Kinect. Posteriormente, se analiza la detección de movimiento y se presenta la máquina de estados propuesta para detectar el movimiento de un gesto. A continuación, se explican los posibles preprocesados de un esqueleto en 3 dimensiones para mejorar la detección de gestos y el algoritmo utilizado para la detección de gestos, el algoritmo de Alineamiento Temporal Dinámico (DTW). Por último, se expone con detalle el software desarrollado de reconocimiento y evaluación de gestos, el Evaluador de Gestos, y se realiza un análisis de varias evaluaciones realizadas con distintos perfiles de configuración donde se extraen las conclusiones de acierto, fiabilidad y precisión de cada configuración. En la segunda parte, se expone el sistema de teleoperación del robots y su integración con el evaluador de gestos: este sistema controla el robot Lego Mindstorm mediante la detección de gestos o el reconocimiento de voz. Por último, se exponen las conclusiones finales del proyecto.

Aprendizaje en robots sociales: El caso de Urbano

Se presenta el estado actual del proyecto URBANO, que en la versión 8.02 es una arquitectura distribuida de componentes orientada al diseño de aplicaciones en robots sociales. Se utiliza SOAP como mecanismo de integración remota. Se han diseñado nuevos componentes que permiten diferentes formas de aprendizaje. Por un lado, se ha diseñado una aplicación Android que posibilita la integración del móvil o tablet al control del robot. Por otro se ha desarrollado una ontología que permite representar, no solo conceptos, sino el aprendizaje propiamente dicho y se suman a los ya disponibles para la sintetización y reconocimiento de voces, gestión de gestos de cara y brazos, generación de trayectorias y navegación segura, modelo de estado de ánimo del robot y ejecución de tareas definidas por el usuario mediante el lenguaje propio UPL (Urbano Programming Language)

Energy Management Module for Mobile Robots in Hostile Environments

In hostile environments at CERN and other similar scientific facilities, having a reliable mobile robot system is essential for successful execution of robotic missions and to avoid situations of manual recovery of the robots in the event that the robot runs out of energy. Because of environmental constraints, such mobile robots are usually battery-powered and hence energy management and optimization is one of the key challenges in this field. The ability to know beforehand the energy consumed by various elements of the robot (such as locomotion, sensors, controllers, computers and communication) will allow flexibility in planning or managing the tasks to be performed by the robot.

Model Based On-Line Energy Prediction System for Semi-Autonomous Mobile Robots

Maximizing energy autonomy is a consistent challenge when deploying mobile robots in ionizing radiation or other hazardous environments. Having a reliable robot system is essential for successful execution of missions and to avoid manual recovery of the robots in environments that are harmful to human beings. For deployment of robots missions at short notice, the ability to know beforehand the energy required for performing the task is essential. This paper presents a on-line method for predicting energy requirements based on the pre-determined power models for a mobile robot. A small mobile robot, Khepera III is used for the experimental study and the results are promising with high prediction accuracy. The applications of the energy prediction models in energy optimization and simulations are also discussed along with examples of significant energy savings.

Haptic teleoperation of mobile robots for augmentation of operator perception in environments with low-wireless signal

Wireless teleoperation of field robots for maintenance, inspection and rescue missions is often performed in environments with low wireless connectivity, caused by signal losses from the environment and distance from the wireless transmitters. Various studies from the literature have addressed these problems with time-delay robust control systems and multi-hop wireless relay networks. However, such approaches do not solve the issue of how to present wireless data to the operator to avoid losing control of the robot. Despite the fact that teleoperation for maintenance often already involves haptic devices, no studies look at the possibility of using this existing feedback to aid operators in navigating within areas of variable wireless connectivity. We propose a method to incorporate haptic information into the velocity control of an omnidirectional robot to augment the operators perception of wireless signal strength in the remote environment. In this paper we introduce a mapping between wireless signal strength from multiple receivers to the force feedback of a 6 Degree of Freedom haptic master and evaluate the proposed approach using experimental data and randomly generated wireless maps

Spatial sampling methods for improved communication for wireless relay robots

Having reliable wireless communication in a network of mobile robots is an ongoing challenge, especially when the mobile robots are given tasks in hostile or harmful environments such as radiation environments in scientific facilities, tunnels with large metallic components and complicated geometries as found at CERN. In this paper, we propose a decentralised method for improving the wireless network throughput by optimizing the wireless relay robot position to receive the best wireless signal strength using implicit spatial diversity concepts and gradient-search algorithms. We experimentally demonstrate the effectiveness of the proposed solutions with a KUKA Youbot omni-directional mobile robot. The performance of the algorithms is compared under various scenarios in an underground scientific facility at CERN.

Wireless communication enhancement methods for mobile robots in radiation environments

En entornos hostiles tales como aquellas instalaciones científicas donde la radiación ionizante es el principal peligro, el hecho de reducir las intervenciones humanas mediante el incremento de las operaciones robotizadas está siendo cada vez más de especial interés. CERN, la Organización Europea para la Investigación Nuclear, tiene alrededor de unos 50 km de superficie subterránea donde robots móviles controlador de forma remota podrían ayudar en su funcionamiento, por ejemplo, a la hora de llevar a cabo inspecciones remotas sobre radiación en los diferentes áreas destinados al efecto. No solo es preciso considerar que los robots deben ser capaces de recorrer largas distancias y operar durante largos periodos de tiempo, sino que deben saber desenvolverse en los correspondientes túneles subterráneos, tener en cuenta la presencia de campos electromagnéticos, radiación ionizante, etc. y finalmente, el hecho de que los robots no deben interrumpir el funcionamiento de los aceleradores. El hecho de disponer de un sistema de comunicaciones inalámbrico fiable y robusto es esencial para la correcta ejecución de las misiones que los robots deben afrontar y por supuesto, para evitar tales situaciones en las que es necesario la recuperación manual de los robots al agotarse su energía o al perder el enlace de comunicaciones. El objetivo de esta Tesis es proveer de las directrices y los medios necesarios para reducir el riesgo de fallo en la misión y maximizar las capacidades de los robots móviles inalámbricos los cuales disponen de almacenamiento finito de energía al trabajar en entornos peligrosos donde no se dispone de línea de vista directa. Para ello se proponen y muestran diferentes estrategias y métodos de comunicación inalámbrica. Teniendo esto en cuenta, se presentan a continuación los objetivos de investigación a seguir a lo largo de la Tesis: predecir la cobertura de comunicaciones antes y durante las misiones robotizadas; optimizar la capacidad de red inalámbrica de los robots móviles con respecto a su posición; y mejorar el rango operacional de esta clase de robots. Por su parte, las contribuciones a la Tesis se citan más abajo. El primer conjunto de contribuciones son métodos novedosos para predecir el consumo de energía y la autonomía en la comunicación antes y después de disponer de los robots en el entorno seleccionado. Esto es importante para proporcionar conciencia de la situación del robot y evitar fallos en la misión. El consumo de energía se predice usando una estrategia propuesta la cual usa modelos de consumo provenientes de diferentes componentes en un robot. La predicción para la cobertura de comunicaciones se desarrolla usando un nuevo filtro de RSS (Radio Signal Strength) y técnicas de estimación con la ayuda de Filtros de Kalman. El segundo conjunto de contribuciones son métodos para optimizar el rango de comunicaciones usando novedosas técnicas basadas en muestreo espacial que son robustas frente a ruidos de campos de detección y radio y que proporcionan redundancia. Se emplean métodos de diferencia central finitos para determinar los gradientes 2D RSS y se usa la movilidad del robot para optimizar el rango de comunicaciones y la capacidad de red. Este método también se valida con un caso de estudio centrado en la teleoperación háptica de robots móviles inalámbricos. La tercera contribución es un algoritmo robusto y estocástico descentralizado para la optimización de la posición al considerar múltiples robots autónomos usados principalmente para extender el rango de comunicaciones desde la estación de control al robot que está desarrollando la tarea. Todos los métodos y algoritmos propuestos se verifican y validan usando simulaciones y experimentos de campo con variedad de robots móviles disponibles en CERN. En resumen, esta Tesis ofrece métodos novedosos y demuestra su uso para: predecir RSS; optimizar la posición del robot; extender el rango de las comunicaciones inalámbricas; y mejorar las capacidades de red de los robots móviles inalámbricos para su uso en aplicaciones dentro de entornos peligrosos, que como ya se mencionó anteriormente, se destacan las instalaciones científicas con emisión de radiación ionizante. En otros términos, se ha desarrollado un conjunto de herramientas para mejorar, facilitar y hacer más seguras las misiones de los robots en entornos hostiles. Esta Tesis demuestra tanto en teoría como en práctica que los robots móviles pueden mejorar la calidad de las comunicaciones inalámbricas mediante la profundización en el estudio de su movilidad para optimizar dinámicamente sus posiciones y mantener conectividad incluso cuando no existe línea de vista. Los métodos desarrollados en la Tesis son especialmente adecuados para su fácil integración en robots móviles y pueden ser aplicados directamente en la capa de aplicación de la red inalámbrica. ABSTRACT In hostile environments such as in scientific facilities where ionising radiation is a dominant hazard, reducing human interventions by increasing robotic operations are desirable. CERN, the European Organization for Nuclear Research, has around 50 km of underground scientific facilities, where wireless mobile robots could help in the operation of the accelerator complex, e.g. in conducting remote inspections and radiation surveys in different areas. The main challenges to be considered here are not only that the robots should be able to go over long distances and operate for relatively long periods, but also the underground tunnel environment, the possible presence of electromagnetic fields, radiation effects, and the fact that the robots shall in no way interrupt the operation of the accelerators. Having a reliable and robust wireless communication system is essential for successful execution of such robotic missions and to avoid situations of manual recovery of the robots in the event that the robot runs out of energy or when the robot loses its communication link. The goal of this thesis is to provide means to reduce risk of mission failure and maximise mission capabilities of wireless mobile robots with finite energy storage capacity working in a radiation environment with non-line-of-sight (NLOS) communications by employing enhanced wireless communication methods. Towards this goal, the following research objectives are addressed in this thesis: predict the communication range before and during robotic missions; optimise and enhance wireless communication qualities of mobile robots by using robot mobility and employing multi-robot network. This thesis provides introductory information on the infrastructures where mobile robots will need to operate, the tasks to be carried out by mobile robots and the problems encountered in these environments. The reporting of research work carried out to improve wireless communication comprises an introduction to the relevant radio signal propagation theory and technology followed by explanation of the research in the following stages: An analysis of the wireless communication requirements for mobile robot for different tasks in a selection of CERN facilities; predictions of energy and communication autonomies (in terms of distance and time) to reduce risk of energy and communication related failures during missions; autonomous navigation of a mobile robot to find zone(s) of maximum radio signal strength to improve communication coverage area; and autonomous navigation of one or more mobile robots acting as mobile wireless relay (repeater) points in order to provide a tethered wireless connection to a teleoperated mobile robot carrying out inspection or radiation monitoring activities in a challenging radio environment. The specific contributions of this thesis are outlined below. The first sets of contributions are novel methods for predicting the energy autonomy and communication range(s) before and after deployment of the mobile robots in the intended environments. This is important in order to provide situational awareness and avoid mission failures. The energy consumption is predicted by using power consumption models of different components in a mobile robot. This energy prediction model will pave the way for choosing energy-efficient wireless communication strategies. The communication range prediction is performed using radio signal propagation models and applies radio signal strength (RSS) filtering and estimation techniques with the help of Kalman filters and Gaussian process models. The second set of contributions are methods to optimise the wireless communication qualities by using novel spatial sampling based techniques that are robust to sensing and radio field noises and provide redundancy features. Central finite difference (CFD) methods are employed to determine the 2-D RSS gradients and use robot mobility to optimise the communication quality and the network throughput. This method is also validated with a case study application involving superior haptic teleoperation of wireless mobile robots where an operator from a remote location can smoothly navigate a mobile robot in an environment with low-wireless signals. The third contribution is a robust stochastic position optimisation algorithm for multiple autonomous relay robots which are used for wireless tethering of radio signals and thereby to enhance the wireless communication qualities. All the proposed methods and algorithms are verified and validated using simulations and field experiments with a variety of mobile robots available at CERN. In summary, this thesis offers novel methods and demonstrates their use to predict energy autonomy and wireless communication range, optimise robots position to improve communication quality and enhance communication range and wireless network qualities of mobile robots for use in applications in hostile environmental characteristics such as scientific facilities emitting ionising radiations. In simpler terms, a set of tools are developed in this thesis for improving, easing and making safer robotic missions in hostile environments. This thesis validates both in theory and experiments that mobile robots can improve wireless communication quality by exploiting robots mobility to dynamically optimise their positions and maintain connectivity even when the (radio signal) environment possess non-line-of-sight characteristics. The methods developed in this thesis are well-suited for easier integration in mobile robots and can be applied directly at the application layer of the wireless network. The results of the proposed methods have outperformed other comparable state-of-the-art methods.

A simulation environment for bio-inspired heterogeneous chained modular robots

This paper presents a new simulation environment aimed at heterogeneous chained modular robots. This simulator allows testing the feasibility of the design, checking how modules are going to perform in the field and verifying hardware, electronics and communication designs before the prototype is built, saving time and resources. The paper shows how the simulator is built and how it can be set up to adapt to new designs. It also gives some examples of its use showing different heterogeneous modular robots running in different environments.

Integration of low-cost supervisory mobile robots in domestic wireless sensor networks

This paper presents a communication interface between supervisory low-cost mobile robots and domestic Wireless Sensor Network (WSN) based on the Zig Bee protocol from different manufacturers. The communication interface allows control and communication with other network devices using the same protocol. The robot can receive information from sensor devices (temperature, humidity, luminosity) and send commands to actuator devices (lights, shutters, thermostats) from different manufacturers. The architecture of the system, the interfaces and devices needed to establish the communication are described in the paper.

Hammer: an Android based application for end-user industrial robot programming

This paper presents a novel tablet based end-user interface for industrial robot programming (called Hammer). This application makes easier to program tasks for industrial robots like polishing, milling or grinding. It is based on the Scratch programming language, but specifically design and created for Android OS. It is a visual programming concept that allows non-skilled programmer operators to create programs. The application also allows to monitor the tasks while it is being executed by overlapping real time information through augmented reality. The application includes a teach pendant screen that can be customized according to the operator needs at every moment.

Control por modos deslizantes como estrategia de navegación en una flota de robots

En esta tesis se presenta el desarrollo de un esquema de cooperación entre vehículos terrestres (UGV) y aéreos (UAV) no tripulados, que sirve de base para conformar dos flotas de robots autónomos (denominadas FRACTAL y RoMA). Con el fin de comprobar, en diferentes escenarios y con diferente tareas, la validez de las estrategias de coordinación y cooperación propuestas en la tesis se utilizan los robots de la flota FRACTAL, que sirven como plataforma de prueba para tareas como el uso de vehículos aéreos y terrestres para apoyar labores de búsqueda y rescate en zonas de emergencia y la cooperación de una flota de robots para labores agrícolas. Se demuestra además, que el uso de la técnica de control no lineal conocida como Control por Modos Deslizantes puede ser aplicada no solo para conseguir la navegación autónoma individual de un robot aéreo o terrestre, sino también en tareas que requieren la navegación coordinada y sin colisiones de varios robots en un ambiente compartido. Para esto, se conceptualiza teóricamente el uso de la técnica de Control por Modos Deslizantes como estrategia de coordinación entre robots, extendiendo su aplicación a robots no-holonómicos en R2 y a robots aéreos en el espacio tridimensional. Después de dicha contextualización teórica, se analizan las condiciones necesarias para determinar la estabilidad del sistema multi-robot controlado y, finalmente, se comprueban las características de estabilidad y robustez ofrecidas por esta técnica de control. Tales comprobaciones se hacen simulando la navegación segura y eficiente de un grupo de UGVs para la detección de posibles riesgos ambientales, aprovechando la información aportada por un UAV. Para estas simulaciones se utilizan los modelos matemáticos de robots de la flota RoMA. Estas tareas coordinadas entre los robots se hacen posibles gracias a la efectividad, estabilidad y robustez de las estrategias de control que se desarrollan como núcleo fundamental de este trabajo de investigación. ABSTRACT This thesis presents the development of a cooperation scheme between unmanned ground (UGV) and aerial (UAV) vehicles. This scheme is the basis for forming two fleets of autonomous robots (called FRACTAL and RoMA). In order to assess, in different settings and on different tasks, the validity of the coordination and cooperation strategies proposed in the thesis, the FRACTAL fleet robots serves as a test bed for tasks like using coordinated aerial and ground vehicles to support search and rescue work in emergency scenarios or cooperation of a fleet of robots for agriculture. It is also shown that using the technique of nonlinear control known as Sliding Modes Control (SMC) can be applied not only for individual autonomous navigation of an aircraft or land robot, but also in tasks requiring the coordinated navigation of several robots, without collisions, in a shared environment. To this purpose, a strategy of coordination between robots using Sliding Mode Control technique is theoretically conceptualized, extending its application to non-holonomic robots in R2 and aerial robots in three-dimensional space. After this theoretical contextualization, the stability conditions of multi-robot system are analyzed, and finally, the stability and robustness characteristics are validated. Such validations are made with simulated experiments about the safe and efficient navigation of a group of UGV for the detection of possible environmental hazards, taking advantage of the information provided by a UAV. This simulations are made using mathematical models of RoMA fleet robots. These coordinated tasks of robots fleet are made possible thanks to the effectiveness, stability and robustness of the control strategies developed as core of this research.

Análisis de las tecnologías de comunicación entre robots y humanos para su aplicación en grupos de robots

En los últimos tiempos los esfuerzos se están centrando en mejorar los métodos de interacción entre el humano y el robot. El objetivo es conseguir que esa relación parezca simple y que se produzca de la manera más natural posible entre el humano y el robot. Para ese fin se está investigando en métodos de reconocimiento e interpretación del lenguaje corporal, gestos, expresiones de la cara y de sonidos que emite el humano para que la máquina se de cuenta de las intenciones y deseos de los humanos sin recibir órdenes muy específicas. Por otro lado interesa saber cómo se podría aplicar estas técnicas a la comunicación entre robots, pensando aquí en grupos de robots que trabajan en equipos realizando tareas ya asignadas. Estas máquinas se tienen que comunicar para entender las situaciones, detectar necesidades puntuales (si una máquina falla y necesita refuerzo, si pasan acontecimientos inesperados) y reaccionar a ello. Ejecutar estas tareas y realizar las comunicaciones para desarrollar las tareas entre las máquinas resultan especialmente difíciles en entornos hostiles, p.ej. debajo del agua, por lo que el objetivo de este proyecto fin de carrera es investigar las posibles aplicaciones de las técnicas de comunicación entre humanos y máquinas a grupos de robots, como refuerzo o sustitución de los métodos de comunicación clásicos. ABSTRACT. During the last years, many efforts are made to improve the interaction between humans and robots. The aim is to make this relationship simpler and the most natural as possible. For these purpose investigations on the recognition and interpretation of body language, gestures, facial expressions etc are carried out, in order to understand human intentions and desires without receiving specific orders. On the other hand, it is of interest investigate how these techniques could be applied to the communication among robots themselves, e.g. groups of robots which are working in teams resolving certain tasks. These machines have to communicate in order to understand the situations, detect punctual necessities and react to them (e.g. if a machines fails and needs some support, or when some unexpected event happens). The execution of certain tasks and the involved communication, happen to be especially hard in hostile environments, i.e. under water. The objective of this final thesis is to investigate the possible applications of the communication techniques between human and machines to groups of robots, as reinforcement or substitution for the classical communication methods.

Multiple Robots, Single Operator: Considerations About Information And Commanding

Multiple robot, single operator scenarios suppose a challenge in terms of human factors. Two relevant issues are keeping the situational awareness and managing the workload of operators. In order to address these problems, this work analyses the management of information and commands in multi-robot missions. About the information, this paper proposes a selection based on mission and operator states. Regarding the commands, this work reflects about the levels of automation and the methods of commanding.

Estimación bayesiana de características en robots móviles mediante muestreo de la densidad a posteriori

Comunicación presentada en el I Congrés Català d’Intel·ligència Artificial, Tarragona, Octubre de 1998.

Multi-agent system for control of robots inspired on the distributed activity and hormonal regulation of humans

Robotics is an emerging field with great activity. Robotics is a field that presents several problems because it depends on a large number of disciplines, technologies, devices and tasks. Its expansion from perfectly controlled industrial environments toward open and dynamic environment presents a many new challenges. New uses are, for example, household robots or professional robots. To facilitate the low cost, rapid development of robotic systems, reusability of code, its medium and long term maintainability and robustness are required novel approaches to provide generic models and software systems who develop paradigms capable of solving these problems. For this purpose, in this paper we propose a model based on multi-agent systems inspired by the human nervous system able to transfer the control characteristics of the biological system and able to take advantage of the best properties of distributed software systems. Specifically, we model the decentralized activity and hormonal variation.