Three-dimensional mapping of real environments for cognitive robots navigation

Abstract The development of cognitive robots needs a strong “sensorial” support which should allow it to perceive the real world for interacting with it properly. Therefore the development of efficient visual-processing software to be equipped in effective artificial agents is a must. In this project we study and develop a visual-processing software that will work as the “eyes” of a cognitive robot. This software performs a three-dimensional mapping of the robot’s environment, providing it with the essential information required to make proper decisions during its navigation. Due to the complexity of this objective we have adopted the Scrum methodology in order to achieve an agile development process, which has allowed us to correct and improve in a fast way the successive versions of the product. The present project is structured in Sprints, which cover the different stages of the software development based on the requirements imposed by the robot and its real necessities. We have initially explored different commercial devices oriented to the acquisition of the required visual information, adopting the Kinect Sensor camera (Microsoft) as the most suitable option. Later on, we have studied the available software to manage the obtained visual information as well as its integration with the robot’s software, choosing the high-level platform Matlab as the common nexus to join the management of the camera, the management of the robot and the implementation of the behavioral algorithms. During the last stages the software has been developed to include the fundamental functionalities required to process the real environment, such as depth representation, segmentation, and clustering. Finally the software has been optimized to exhibit real-time processing and a suitable performance to fulfill the robot’s requirements during its operation in real situations.

A simulation environment for bio-inspired heterogeneous chained modular robots

This paper presents a new simulation environment aimed at heterogeneous chained modular robots. This simulator allows testing the feasibility of the design, checking how modules are going to perform in the field and verifying hardware, electronics and communication designs before the prototype is built, saving time and resources. The paper shows how the simulator is built and how it can be set up to adapt to new designs. It also gives some examples of its use showing different heterogeneous modular robots running in different environments.

Integration of low-cost supervisory mobile robots in domestic wireless sensor networks

This paper presents a communication interface between supervisory low-cost mobile robots and domestic Wireless Sensor Network (WSN) based on the Zig Bee protocol from different manufacturers. The communication interface allows control and communication with other network devices using the same protocol. The robot can receive information from sensor devices (temperature, humidity, luminosity) and send commands to actuator devices (lights, shutters, thermostats) from different manufacturers. The architecture of the system, the interfaces and devices needed to establish the communication are described in the paper.

Control por modos deslizantes como estrategia de navegación en una flota de robots

En esta tesis se presenta el desarrollo de un esquema de cooperación entre vehículos terrestres (UGV) y aéreos (UAV) no tripulados, que sirve de base para conformar dos flotas de robots autónomos (denominadas FRACTAL y RoMA). Con el fin de comprobar, en diferentes escenarios y con diferente tareas, la validez de las estrategias de coordinación y cooperación propuestas en la tesis se utilizan los robots de la flota FRACTAL, que sirven como plataforma de prueba para tareas como el uso de vehículos aéreos y terrestres para apoyar labores de búsqueda y rescate en zonas de emergencia y la cooperación de una flota de robots para labores agrícolas. Se demuestra además, que el uso de la técnica de control no lineal conocida como Control por Modos Deslizantes puede ser aplicada no solo para conseguir la navegación autónoma individual de un robot aéreo o terrestre, sino también en tareas que requieren la navegación coordinada y sin colisiones de varios robots en un ambiente compartido. Para esto, se conceptualiza teóricamente el uso de la técnica de Control por Modos Deslizantes como estrategia de coordinación entre robots, extendiendo su aplicación a robots no-holonómicos en R2 y a robots aéreos en el espacio tridimensional. Después de dicha contextualización teórica, se analizan las condiciones necesarias para determinar la estabilidad del sistema multi-robot controlado y, finalmente, se comprueban las características de estabilidad y robustez ofrecidas por esta técnica de control. Tales comprobaciones se hacen simulando la navegación segura y eficiente de un grupo de UGVs para la detección de posibles riesgos ambientales, aprovechando la información aportada por un UAV. Para estas simulaciones se utilizan los modelos matemáticos de robots de la flota RoMA. Estas tareas coordinadas entre los robots se hacen posibles gracias a la efectividad, estabilidad y robustez de las estrategias de control que se desarrollan como núcleo fundamental de este trabajo de investigación. ABSTRACT This thesis presents the development of a cooperation scheme between unmanned ground (UGV) and aerial (UAV) vehicles. This scheme is the basis for forming two fleets of autonomous robots (called FRACTAL and RoMA). In order to assess, in different settings and on different tasks, the validity of the coordination and cooperation strategies proposed in the thesis, the FRACTAL fleet robots serves as a test bed for tasks like using coordinated aerial and ground vehicles to support search and rescue work in emergency scenarios or cooperation of a fleet of robots for agriculture. It is also shown that using the technique of nonlinear control known as Sliding Modes Control (SMC) can be applied not only for individual autonomous navigation of an aircraft or land robot, but also in tasks requiring the coordinated navigation of several robots, without collisions, in a shared environment. To this purpose, a strategy of coordination between robots using Sliding Mode Control technique is theoretically conceptualized, extending its application to non-holonomic robots in R2 and aerial robots in three-dimensional space. After this theoretical contextualization, the stability conditions of multi-robot system are analyzed, and finally, the stability and robustness characteristics are validated. Such validations are made with simulated experiments about the safe and efficient navigation of a group of UGV for the detection of possible environmental hazards, taking advantage of the information provided by a UAV. This simulations are made using mathematical models of RoMA fleet robots. These coordinated tasks of robots fleet are made possible thanks to the effectiveness, stability and robustness of the control strategies developed as core of this research.

Proprioceptive force estimation and control for teleoperation in radioactive environments

A medida que se incrementa la energía de los aceleradores de partículas o iones pesados como el CERN o GSI, de los reactores de fusión como JET o ITER, u otros experimentos científicos, se va haciendo cada vez más imprescindible el uso de técnicas de manipulación remota para la interacción con el entorno sujeto a la radiación. Hasta ahora la tasa de dosis radioactiva en el CERN podía tomar valores cercanos a algunos mSv para tiempos de enfriamiento de horas, que permitían la intervención humana para tareas de mantenimiento. Durante los primeros ensayos con plasma en JET, se alcanzaban valores cercanos a los 200 μSv después de un tiempo de enfriamiento de 4 meses y ya se hacía extensivo el uso de técnicas de manipulación remota. Hay una clara tendencia al incremento de los niveles de radioactividad en el futuro en este tipo de instalaciones. Un claro ejemplo es ITER, donde se esperan valores de 450 Sv/h en el centro del toroide a los 11 días de enfriamiento o los nuevos niveles energéticos del CERN que harán necesario una apuesta por niveles de mantenimiento remotos. En estas circunstancias se enmarca esta tesis, que estudia un sistema de control bilateral basado en fuerza-posición, tratando de evitar el uso de sensores de fuerza/par, cuyo contenido electrónico los hace especialmente sensitivos en estos ambientes. El contenido de este trabajo se centra en la teleoperación de robots industriales, que debido a su reconocida solvencia y facilidad para ser adaptados a estos entornos, unido al bajo coste y alta disponibilidad, les convierte en una alternativa interesante para tareas de manipulación remota frente a costosas soluciones a medida. En primer lugar se considera el problema cinemático de teleoperación maestro-esclavo de cinemática disimilar y se desarrolla un método general para la solución del problema en el que se incluye el uso de fuerzas asistivas para guiar al operador. A continuación se explican con detalle los experimentos realizados con un robot ABB y que muestran las dificultades encontradas y recomendaciones para solventarlas. Se concluye el estudio cinemático con un método para el encaje de espacios de trabajo entre maestro y esclavo disimilares. Posteriormente se mira hacia la dinámica, estudiándose el modelado de robots con vistas a obtener un método que permita estimar las fuerzas externas que actúan sobre los mismos. Durante la caracterización del modelo dinámico, se realizan varios ensayos para tratar de encontrar un compromiso entre complejidad de cálculo y error de estimación. También se dan las claves para modelar y caracterizar robots con estructura en forma de paralelogramo y se presenta la arquitectura de control deseada. Una vez obtenido el modelo completo del esclavo, se investigan diferentes alternativas que permitan una estimación de fuerzas externas en tiempo real, minimizando las derivadas de la posición para minimizar el ruido. Se comienza utilizando observadores clásicos del estado para ir evolucionando hasta llegar al desarrollo de un observador de tipo Luenberger-Sliding cuya implementación es relativamente sencilla y sus resultados contundentes. También se analiza el uso del observador propuesto durante un control bilateral simulado en el que se compara la realimentación de fuerzas obtenida con las técnicas clásicas basadas en error de posición frente a un control basado en fuerza-posición donde la fuerza es estimada y no medida. Se comprueba como la solución propuesta da resultados comparables con las arquitecturas clásicas y sin embargo introduce una alternativa para la teleoperación de robots industriales cuya teleoperación en entornos radioactivos sería imposible de otra manera. Finalmente se analizan los problemas derivados de la aplicación práctica de la teleoperación en los escenarios mencionados anteriormente. Debido a las condiciones prohibitivas para todo equipo electrónico, los sistemas de control se deben colocar a gran distancia de los manipuladores, dando lugar a longitudes de cable de centenares de metros. En estas condiciones se crean sobretensiones en controladores basados en PWM que pueden ser destructivas para el sistema formado por control, cableado y actuador, y por tanto, han de ser eliminadas. En este trabajo se propone una solución basada en un filtro LC comercial y se prueba de forma extensiva que su inclusión no produce efectos negativos sobre el control del actuador. ABSTRACT As the energy on the particle accelerators or heavy ion accelerators such as CERN or GSI, fusion reactors such as JET or ITER, or other scientific experiments is increased, it is becoming increasingly necessary to use remote handling techniques to interact with the remote and radioactive environment. So far, the dose rate at CERN could present values near several mSv for cooling times on the range of hours, which allowed human intervention for maintenance tasks. At JET, they measured values close to 200 μSv after a cooling time of 4 months and since then, the remote handling techniques became usual. There is a clear tendency to increase the radiation levels in the future. A clear example is ITER, where values of 450 Sv/h are expected in the centre of the torus after 11 days of cooling. Also, the new energetic levels of CERN are expected to lead to a more advanced remote handling means. In these circumstances this thesis is framed, studying a bilateral control system based on force-position, trying to avoid the use of force/torque sensors, whose electronic content makes them very sensitive in these environments. The contents of this work are focused on teleoperating industrial robots, which due its well-known reliability, easiness to be adapted to these environments, cost-effectiveness and high availability, are considered as an interesting alternative to expensive custom-made solutions for remote handling tasks. Firstly, the kinematic problem of teloperating master and slave with dissimilar kinematics is analysed and a new general approach for solving this issue is presented. The solution includes using assistive forces in order to guide the human operator. Coming up next, I explain with detail the experiments accomplished with an ABB robot that show the difficulties encountered and the proposed solutions. This section is concluded with a method to match the master’s and slave’s workspaces when they present dissimilar kinematics. Later on, the research studies the dynamics, with special focus on robot modelling with the purpose of obtaining a method that allows to estimate external forces acting on them. During the characterisation of the model’s parameters, a set of tests are performed in order to get to a compromise between computational complexity and estimation error. Key points for modelling and characterising robots with a parallelogram structure are also given, and the desired control architecture is presented. Once a complete model of the slave is obtained, different alternatives for external force estimation are review to be able to predict forces in real time, minimizing the position differentiation to minimize the estimation noise. The research starts by implementing classic state observers and then it evolves towards the use of Luenberger- Sliding observers whose implementation is relatively easy and the results are convincing. I also analyse the use of proposed observer during a simulated bilateral control on which the force feedback obtained with the classic techniques based on the position error is compared versus a control architecture based on force-position, where the force is estimated instead of measured. I t is checked how the proposed solution gives results comparable with the classical techniques and however introduces an alternative method for teleoperating industrial robots whose teleoperation in radioactive environments would have been impossible in a different way. Finally, the problems originated by the practical application of teleoperation in the before mentioned scenarios are analysed. Due the prohibitive conditions for every electronic equipment, the control systems should be placed far from the manipulators. This provokes that the power cables that fed the slaves devices can present lengths of hundreds of meters. In these circumstances, overvoltage waves are developed when implementing drives based on PWM technique. The occurrence of overvoltage is very dangerous for the system composed by drive, wiring and actuator, and has to be eliminated. During this work, a solution based on commercial LC filters is proposed and it is extensively proved that its inclusion does not introduce adverse effects into the actuator’s control.

Análisis de las tecnologías de comunicación entre robots y humanos para su aplicación en grupos de robots

En los últimos tiempos los esfuerzos se están centrando en mejorar los métodos de interacción entre el humano y el robot. El objetivo es conseguir que esa relación parezca simple y que se produzca de la manera más natural posible entre el humano y el robot. Para ese fin se está investigando en métodos de reconocimiento e interpretación del lenguaje corporal, gestos, expresiones de la cara y de sonidos que emite el humano para que la máquina se de cuenta de las intenciones y deseos de los humanos sin recibir órdenes muy específicas. Por otro lado interesa saber cómo se podría aplicar estas técnicas a la comunicación entre robots, pensando aquí en grupos de robots que trabajan en equipos realizando tareas ya asignadas. Estas máquinas se tienen que comunicar para entender las situaciones, detectar necesidades puntuales (si una máquina falla y necesita refuerzo, si pasan acontecimientos inesperados) y reaccionar a ello. Ejecutar estas tareas y realizar las comunicaciones para desarrollar las tareas entre las máquinas resultan especialmente difíciles en entornos hostiles, p.ej. debajo del agua, por lo que el objetivo de este proyecto fin de carrera es investigar las posibles aplicaciones de las técnicas de comunicación entre humanos y máquinas a grupos de robots, como refuerzo o sustitución de los métodos de comunicación clásicos. ABSTRACT. During the last years, many efforts are made to improve the interaction between humans and robots. The aim is to make this relationship simpler and the most natural as possible. For these purpose investigations on the recognition and interpretation of body language, gestures, facial expressions etc are carried out, in order to understand human intentions and desires without receiving specific orders. On the other hand, it is of interest investigate how these techniques could be applied to the communication among robots themselves, e.g. groups of robots which are working in teams resolving certain tasks. These machines have to communicate in order to understand the situations, detect punctual necessities and react to them (e.g. if a machines fails and needs some support, or when some unexpected event happens). The execution of certain tasks and the involved communication, happen to be especially hard in hostile environments, i.e. under water. The objective of this final thesis is to investigate the possible applications of the communication techniques between human and machines to groups of robots, as reinforcement or substitution for the classical communication methods.

Multiple Robots, Single Operator: Considerations About Information And Commanding

Multiple robot, single operator scenarios suppose a challenge in terms of human factors. Two relevant issues are keeping the situational awareness and managing the workload of operators. In order to address these problems, this work analyses the management of information and commands in multi-robot missions. About the information, this paper proposes a selection based on mission and operator states. Regarding the commands, this work reflects about the levels of automation and the methods of commanding.