Game Theory Models for Multi-Robot Patrolling of Infraestructures

Abstract This work is focused on the problem of performing multi‐robot patrolling for infrastructure security applications in order to protect a known environment at critical facilities. Thus, given a set of robots and a set of points of interest, the patrolling task consists of constantly visiting these points at irregular time intervals for security purposes. Current existing solutions for these types of applications are predictable and inflexible. Moreover, most of the previous centralized and deterministic solutions and only few efforts have been made to integrate dynamic methods. Therefore, the development of new dynamic and decentralized collaborative approaches in order to solve the aforementioned problem by implementing learning models from Game Theory. The model selected in this work that includes belief‐based and reinforcement models as special cases is called Experience‐Weighted Attraction. The problem has been defined using concepts of Graph Theory to represent the environment in order to work with such Game Theory techniques. Finally, the proposed methods have been evaluated experimentally by using a patrolling simulator. The results obtained have been compared with previous available

Response threshold models, stochastic learning automata and ant colony optimization-based decentralized self-coordination algorithms for heterogeneous multi-tasks distribution in multi-robot systems

In recent decades, there has been an increasing interest in systems comprised of several autonomous mobile robots, and as a result, there has been a substantial amount of development in the eld of Articial Intelligence, especially in Robotics. There are several studies in the literature by some researchers from the scientic community that focus on the creation of intelligent machines and devices capable to imitate the functions and movements of living beings. Multi-Robot Systems (MRS) can often deal with tasks that are dicult, if not impossible, to be accomplished by a single robot. In the context of MRS, one of the main challenges is the need to control, coordinate and synchronize the operation of multiple robots to perform a specic task. This requires the development of new strategies and methods which allow us to obtain the desired system behavior in a formal and concise way. This PhD thesis aims to study the coordination of multi-robot systems, in particular, addresses the problem of the distribution of heterogeneous multi-tasks. The main interest in these systems is to understand how from simple rules inspired by the division of labor in social insects, a group of robots can perform tasks in an organized and coordinated way. We are mainly interested on truly distributed or decentralized solutions in which the robots themselves, autonomously and in an individual manner, select a particular task so that all tasks are optimally distributed. In general, to perform the multi-tasks distribution among a team of robots, they have to synchronize their actions and exchange information. Under this approach we can speak of multi-tasks selection instead of multi-tasks assignment, which means, that the agents or robots select the tasks instead of being assigned a task by a central controller. The key element in these algorithms is the estimation ix of the stimuli and the adaptive update of the thresholds. This means that each robot performs this estimate locally depending on the load or the number of pending tasks to be performed. In addition, it is very interesting the evaluation of the results in function in each approach, comparing the results obtained by the introducing noise in the number of pending loads, with the purpose of simulate the robot's error in estimating the real number of pending tasks. The main contribution of this thesis can be found in the approach based on self-organization and division of labor in social insects. An experimental scenario for the coordination problem among multiple robots, the robustness of the approaches and the generation of dynamic tasks have been presented and discussed. The particular issues studied are: Threshold models: It presents the experiments conducted to test the response threshold model with the objective to analyze the system performance index, for the problem of the distribution of heterogeneous multitasks in multi-robot systems; also has been introduced additive noise in the number of pending loads and has been generated dynamic tasks over time. Learning automata methods: It describes the experiments to test the learning automata-based probabilistic algorithms. The approach was tested to evaluate the system performance index with additive noise and with dynamic tasks generation for the same problem of the distribution of heterogeneous multi-tasks in multi-robot systems. Ant colony optimization: The goal of the experiments presented is to test the ant colony optimization-based deterministic algorithms, to achieve the distribution of heterogeneous multi-tasks in multi-robot systems. In the experiments performed, the system performance index is evaluated by introducing additive noise and dynamic tasks generation over time.

Modelado de Cadenas Cinemáticas mediante Matrices de Desplazamiento. Una alternativa al método de Denavit-Hartenberg

En este trabajo se presenta un método para el modelado de cadenas cinemáticas de robots que salva las dificultades asociadas a la elección de los sistemas de coordenadas y obtención de los parámetros de Denavit-Hartenberg. El método propuesto parte del conocimiento de la posición y orientación del extremo del robot en su configuración de reposo, para ir obteniendo en qué se transforman éstas tras los sucesivos movimientos de sus grados de libertad en secuencia descendente, desde el más alejado al más cercano a su base. Los movimientos son calculados en base a las Matrices de Desplazamiento, que permiten conocer en que se transforma un punto cuando éste es desplazado (trasladado o rotado) con respecto a un eje que no pasa por el origen. A diferencia del método de Denavit-Hartenberg, que precisa ubicar para cada eslabón el origen y las direcciones de los vectores directores de los sistemas de referencia asociados, el método basado en las Matrices de Desplazamiento precisa solo identificar el eje de cada articulación, lo que le hace más simple e intuitivo que aquel. La obtención de las Matrices de Desplazamiento y con ellas del Modelo Cinemático Directo a partir de los ejes de la articulación, puede hacerse mediante algunas simples operaciones, fácilmente programables.

Diseño, construcción y control de un robot doméstico para asistencia y entrenamiento de la movilidad

Esta tesis presenta el diseño conceptual, el análisis y la planificación de movimientos de un robot de asistencia domestica. El objetivo de este robot es ayudar a personas con problemas de movilidad, las cuales les impiden tener una vida independiente. Se realiza una investigación para identificar las principales necesidades de ayuda técnica y una revisión del estado del arte de robots de asistencia y rehabilitación. Esta información es empleada durante el proceso del diseño conceptual para establecer los objetivos del diseño identificar y las soluciones previamente propuestas. Posteriormente, se presenta la propuesta de un robot asistente para la marcha y el levantado de la posición de sentado, cuyo diseño permite al usuario realizar sus actividades de la vida diaria. Para evaluar diversos aspectos del concepto se desarrollo un prototipo a escala. Este prototipo fue útil para establecer la arquitectura de control del robot y probar el principio de funcionamiento de diversos elementos del concepto. Se propone la manera de controlar la ejecución de tareas y de navegación del robot, se simula y se analiza a través de las redes de Petri, se implementa y se prueba en el prototipo a escala. Se desarrollo el modelado dinámico y cinemático del robot. Se propone una relación entre la cinemática del movimiento de levantado normal de una persona y la cinemática del robot para generar las trayectorias a ejecutar por los actuadores. Mediante una herramienta de simulación se realizo un estudio de las fuerzas internas que se llevan a cabo en el usuario y en el robot durante la tarea de levantado. En este punto, se analizo la capacidad del robot para minimizar la fuerza que se ejerce en las articulaciones en la persona.

Desarrollo de una Interfaz de sustitución sensorial para el estudio de la percepción del flujo vibrotáctil (retina táctil)

En el presente trabajo fin de máster se ha concebido, diseñado e utilizado una interfaz háptica, adecuada para ser utilizada como dispositivo de sustitución sensorial, la cual hemos llamado retina táctil. Por cuanto trata de proporcionar información propia del sentido de la vista a través del sentido del tacto. Durante este trabajo, que fue desarrollado en el grupo de robótica y cibernética CAR UPM-CSIC, se ha trabajado en estrecha colaboración con el departamento de la facultad de psicología de la universidad autónoma de Madrid, los cuales han definido las bases de la información de alto orden, como podrían ser, gradientes de intensidades de vibración, mediante las cuales el individuo llega a tener una mejor comprensión del ambiente. El proyecto maneja teorías psicológicas recientes, como las teorías ecológicas y dinámicas que entienden que la percepción se basa en variables informacionales de alto orden. Ejemplos de tales variables son el flujo óptico, gradientes de movimiento, gradientes de intensidades, cambios en gradientes, etc. Sorprendentemente, nuestra percepción visual es mucho más sensible a variables de alto orden que a variables de bajo orden, lo cual descarta que variables de alto orden se infieran o calculen en base a variables de bajo orden. La hipótesis que maneja la teoría ecológica es que las variables de alto orden se detectan como unidades básicas, sin descomponerlas en variables de bajo orden. Imaginemos el caso de un objeto acercándose, intuitivamente pensaríamos que calculamos la distancia y la velocidad del objeto para determinar el momento en el cual este nos impactaría, ¿pero es este realmente el modo en el que actúa nuestro cerebro?, ¿no seremos capaces en determinar directamente el tiempo de contacto como una variable de alto orden presente en el entorno?, por ejemplo, determinar directamente la relación entre el tamaño del objeto y la tasa de crecimiento. También cabe preguntarse si todas estas suposiciones son válidas para estimulaciónes a través de los receptores táctiles en la piel. El dispositivo desarrollado está conformado por 13 módulos cada uno de los cuales maneja 6 tactores o vibradores, para hacer un total de 78 vibradores (ampliables al agregar módulos adicionales), cada uno de los tactores tiene 8mm de diámetro y proporciona información del flujo óptico asociado al entorno que rodea al usuario a través de información táctil, él mismo puede ser utilizado inalámbricamente a pesar de que el procesamiento de los datos se este realizando en una computadora de mesa, lo cual es muy útil al trabajar con ambientes virtuales. También se presenta la integración de la interfaz con el sistema operativo de robots ROS para usarlo en conjunto con las librerías que han sido desarrolladas para el control de la cámara Microsoft Kinect con la cual se puede obtener una matriz de distancias de puntos en el espacio, permitiendo de esta manera utilizar la interfaz en ambientes reales. Finalmente se realizaron experimentos para comprobar hipótesis sobre la variable de percepción del tiempo de contacto además de verificar el correcto funcionamiento del dispositivo de sustitución sensorial tanto en ambientes reales como en ambientes simulados así como comprobar hipótesis sobre la validéz del uso del flujo vibrotáctil para la determinación del tiempo de contacto.

ARGoS: a modular, multi-engine simulator for heterogeneous swarm robotics

We present ARGoS, a novel open source multi-robot simulator. The main design focus of ARGoS is the real-time simulation of large heterogeneous swarms of robots. Existing robot simulators obtain scalability by imposing limitations on their extensibility and on the accuracy of the robot models. By contrast, in ARGoS we pursue a deeply modular approach that allows the user both to easily add custom features and to allocate computational resources where needed by the experiment. A unique feature of ARGoS is the possibility to use multiple physics engines of different types and to assign them to different parts of the environment. Robots can migrate from one engine to another transparently. This feature enables entirely novel classes of optimizations to improve scalability and paves the way for a new approach to parallelism in robotics simulation. Results show that ARGoS can simulate about 10,000 simple wheeled robots 40% faster than real-time.

La tercera Via de la Mecanización. Evolución reciente de la mecanización agraria.

Durante la evolución de la maquinaria se han desarrollado hasta tres estrategias o vías de mecanización bien diferenciadas: desarrollo de maquinaria de gran potencia (mayor que110 kW), pequeños robots autónomos (menor que20 kW), y parques de máquinas de potencia media (en torno a 60 kW) controladas simultáneamente por un único operador. Todas ellas están encaminadas a la optimización de la producción (mayores capacidades de trabajo y menores costes), en el caso de la segunda y la tercera vía se amplían los criterios de optimización. Cuando se pretende establecer un procedimiento capaz de un manejo del suelo más sostenible sin comprometer la capacidad de trabajo nos encontramos con la denominada tercera vía en la que se propone el empleo de flotas de tractores con un único operador capaz de manejar un número limitado de máquinas. Este es el caso del sistema GUIDE CONNECT de Fendt, medalla de oro en diversas ferias internacionales durante éste último año.

Wearable soft robotic device for post-stroke shoulder rehabilitation: identifying misalignments

Stroke is the leading cause of long-term disability in the United States, affecting over 795,000 people annually. In order to regain motor function of the upper body, patients are usually treated by regular sessions with a dedicated physical therapist. A cost-effective wearable upper body orthotics system that can be used at home to empower both the patients and physical therapists is described. The system is composed of a thin, compliant, lightweight, cost-effective soft orthotic device with an integrated cable actuation system that is worn over the upper body, an embedded limb position sensing system, an electric actuator package and controller. The proposed device is robust to misalignments that may occur during actuation of the compliant brace or when putting on the system. Through simulations and experimental evaluation, it was demonstrated i) that the soft orthotic cable-driven shoulder brace can be successfully actuated without the production of off-axis torques in the presence of misalignments and ii) that the proposed model can identify linear and angular misalignments online.

Decentralized multi-tasks distribution in heterogeneous robot teams by means of ant colony optimization and learning automata

This paper focuses on the general problem of coordinating multiple robots. More specifically, it addresses the self-election of heterogeneous specialized tasks by autonomous robots. In this paper we focus on a specifically distributed or decentralized approach as we are particularly interested on decentralized solution where the robots themselves autonomously and in an individual manner, are responsible of selecting a particular task so that all the existing tasks are optimally distributed and executed. In this regard, we have established an experimental scenario to solve the corresponding multi-tasks distribution problem and we propose a solution using two different approaches by applying Ant Colony Optimization-based deterministic algorithms as well as Learning Automata-based probabilistic algorithms. We have evaluated the robustness of the algorithm, perturbing the number of pending loads to simulate the robot’s error in estimating the real number of pending tasks and also the dynamic generation of loads through time. The paper ends with a critical discussion of experimental results.

Risk analysis for UAV safe operations: a rationalization for an agricultural environment

The road to the automation of the agricultural processes passes through the safe operation of the autonomous vehicles. This requirement is a fact in ground mobile units, but it still has not well defined for the aerial robots (UAVs) mainly because the normative and legislation are quite diffuse or even inexistent. Therefore, to define a common and global policy is the challenge to tackle. This characterization has to be addressed from the field experience. Accordingly, this paper presents the work done in this direction, based on the analysis of the most common sources of hazards when using UAV's for agricultural tasks. The work, based on the ISO 31000 normative, has been carried out by applying a three-step structure that integrates the identification, assessment and reduction procedures. The present paper exposes how this method has been applied to analyze previous accidents and malfunctions during UAV operations in order to obtain real failure causes. It has allowed highlighting common risks and hazardous sources and proposing specific guards and safety measures for the agricultural context.

Application of self-organizing techniques for the distribution of heterogeneous multi-tasks in multi-robot systems

This paper focuses on the general problem of coordinating of multi-robot systems, more specifically, it addresses the self-election of heterogeneous and specialized tasks by autonomous robots. In this regard, it has proposed experimenting with two different techniques based chiefly on selforganization and emergence biologically inspired, by applying response threshold models as well as ant colony optimization. Under this approach it can speak of multi-tasks selection instead of multi-tasks allocation, that means, as the agents or robots select the tasks instead of being assigned a task by a central controller. The key element in these algorithms is the estimation of the stimuli and the adaptive update of the thresholds. This means that each robot performs this estimate locally depending on the load or the number of pending tasks to be performed. It has evaluated the robustness of the algorithms, perturbing the number of pending loads to simulate the robot’s error in estimating the real number of pending tasks and also the dynamic generation of loads through time. The paper ends with a critical discussion of experimental results.

Response threshold models and stochastic learning automata for self-coordination of heterogeneous multi-task distribution in multi-robot systems.

This paper focuses on the general problem of coordinating multiple robots. More specifically, it addresses the self-selection of heterogeneous specialized tasks by autonomous robots. In this paper we focus on a specifically distributed or decentralized approach as we are particularly interested in a decentralized solution where the robots themselves autonomously and in an individual manner, are responsible for selecting a particular task so that all the existing tasks are optimally distributed and executed. In this regard, we have established an experimental scenario to solve the corresponding multi-task distribution problem and we propose a solution using two different approaches by applying Response Threshold Models as well as Learning Automata-based probabilistic algorithms. We have evaluated the robustness of the algorithms, perturbing the number of pending loads to simulate the robot’s error in estimating the real number of pending tasks and also the dynamic generation of loads through time. The paper ends with a critical discussion of experimental results.

Detection and Tracking of Dynamic Objects. A MultiRobot approach to Critical Infrastructures Surveillance.

Despite that Critical Infrastructures (CIs) security and surveillance are a growing concern for many countries and companies, Multi Robot Systems (MRSs) have not been yet broadly used in this type of facilities. This dissertation presents a novel study of the challenges arisen by the implementation of this type of systems and proposes solutions to specific problems. First, a comprehensive analysis of different types of CIs has been carried out, emphasizing the influence of the different characteristics of the facilities in the design of a security and surveillance MRS. One of the most important needs for the surveillance of a CI is the detection of intruders. From a technical point of view this problem can be abstracted as equivalent to the Detection and Tracking of Mobile Objects (DATMO). This dissertation proposes algorithms to solve this specific problem in a CI environment. Using 3D range images of the environment as input data, two detection algorithms for ground robots have been developed. These detection algorithms provide a list of moving objects in the robot detection area. Direct image differentiation and computer vision techniques are used when the robot is static. Alternatively, multi-layer ground reconstructions are compared to detect the dynamic objects when the robot is moving. Since CIs usually spread over large areas, it is very useful to incorporate aerial vehicles in the surveillance MRS. Therefore, a moving object detection algorithm for aerial vehicles has been also developed. This algorithm compares the real optical flow obtained from a down-face oriented camera with an artificial optical flow computed using a RANSAC based homography matrix. Two tracking algorithms have been developed to follow the moving objects trajectories. These algorithms can efficiently handle occlusions and crossings, as well as exchange information among robots. The multirobot tracking can be applied to any type of communication structure: centralized, decentralized or a combination of both. Even more, the developed tracking algorithms are independent of the detection algorithms and could be potentially used with other detection procedures or even with static sensors, such as cameras. In addition, using the 3D point clouds available to the robots, a relative localization algorithm has been developed to improve the position estimation of a given robot with observations from other robots. All the developed algorithms have been extensively tested in different simulated CIs using the Webots robotics simulator. Furthermore, the algorithms have also been validated with real robots operating in real scenarios. In conclusion, this dissertation presents a multirobot approach to Critical Infrastructure Surveillance, mainly focusing on Detecting and Tracking Dynamic Objects.

Análisis de la aplicación de Soldadura de acero de calidad "A" mediante láser de Neodimio-YAG en construcción naval

El proceso de soldadura por láser desarrollado en los últimos años ha puesto de manifiesto las posibilidades de aplicación de esta tecnología en diferentes sectores productivos, principalmente en la industria automovilística, en la cual se han demostrado sus ventajas en términos de productividad, eficiencia y calidad. El uso de la tecnología láser, ya sea híbrida o pura, reduce el input térmico al limitar la zona afectada por el calor, sin crear deformaciones y, por tanto, disminuye los re-trabajos post-soldadura necesarios para eliminarlas. Asimismo, se aumenta la velocidad de soldadura, incrementando la productividad y calidad de las uniones. En la última década, el uso de láseres híbridos, (láser + arco) de gran potencia de Neodimio YAG, (Nd: YAG) ha sido cada vez más importante. La instalación de este tipo de fuentes de láser sólido de gran potencia ha sido posible en construcción naval debido a sus ventajas con respecto a las instalaciones de láser de C02 existentes en los astilleros que actualmente utilizan esta tecnología. Los láseres de C02 están caracterizados por su gran potencia y la transmisión del haz a través de espejos. En el caso de las fuentes de Nd:YAG, debido a la longitud de onda a la cual se genera el haz láser, su transmisión pueden ser realizada a través de fibra óptica , haciendo posible la utilización del cabezal láser a gran distancia de la fuente, aparte de la alternativa de integrar el cabezal en unidades robotizadas. El proceso láser distribuye el calor aportado de manera uniforme. Las características mecánicas de dichas uniones ponen de manifiesto la adecuación de la soldadura por láser para su uso en construcción naval, cumpliendo los requerimientos exigidos por las Sociedades de Clasificación. La eficiencia energética de los láseres de C02, con porcentajes superiores al 20%, aparte de las ya estudiadas técnicas de su instalación constituyen las razones por las cuales este tipo de láser es el más usado en el ámbito industrial. El láser de gran potencia de Nd: YAG está presente en el mercado desde hace poco tiempo, y por tanto, su precio es relativamente mayor que el de C02, siendo sus costes de mantenimiento, tanto de lámparas como de diodos necesarios para el bombeo del sólido, igualmente mayores que en el caso del C02. En cambio, el efecto de absorción de parte de la energía en el plasma generado durante el proceso no se produce en el caso del láser de Nd: YAG, utilizando parte de esa energía en estabilizar el arco, siendo necesaria menos potencia de la fuente, reduciendo el coste de la inversión. En función de la aplicación industrial, se deberá realizar el análisis de viabilidad económica correspondiente. Dependiendo de la potencia de la fuente y del tipo de láser utilizado, y por tanto de la longitud de onda a la que se propaga la radiación electromagnética, pueden existen riesgos para la salud. El láser de neodimio se propaga en una longitud de onda, relativamente cercana al rango visible, en la cual se pueden producir daños en los ojos de los operadores. Se deberán establecer las medidas preventivas para evitar los riesgos a los que están expuestos dichos operadores en la utilización de este tipo de energía. La utilización del láser de neodimio: YAG ofrece posibilidades de utilización en construcción naval económicamente rentables, debido su productividad y las buenas características mecánicas de las uniones. Abstract The laser welding process development of the last years shows broad application possibilities in many sectors of industry, mostly in automobile production. The advantages of the laser beam process produce higher productivity, increasing the quality and thermal efficiency. Laser technology, arc-hybrid or pure laser welding, reduces thermal input and thus a smaller heat-affected zone at the work piece. This means less weldment distortion which reduces the amount of subsequent post-weld straightening work that needs to be done. A higher welding speed is achieved by use of the arc and the laser beam, increasing productivity and quality of the joining process. In the last decade use of hybrid technology (laser-GMA hybrid method) with high power sources Nd:YAG lasers, gained in importance. The installation of this type of higher power solid state laser is possible in shipbuilding industrial applications due to its advantages compare with the C02 laser sources installed in the shipyards which use this technology. C02 lasers are characterised by high power output and its beam guidance is via inelastic system of mirrors. In the case of Nd:YAG laser, due to its wavelength, the laser beam can be led by means of a flexible optical fibre even across large distances, which allows three dimensional welding jobs by using of robots. Laser beam welding is a process during which the heat is transferred to the welded material uniformly and the features of the process fulfilled the requirements by Classification Societies. So that, its application to the shipbuilding industry should be possible. The high quantum efficiency of C02 laser, which enabled efficiency factors up to 20%, and relative simple technical possibilities of implementation are the reasons for the fact that it is the most important laser in industrial material machining. High power Nd: YAG laser is established on the market since short time, so that its price is relatively high compared with the C02 laser source and its maintenance cost, lamp or diode pumped solid state laser, is also higher than in the case of C02 lasers. Nevertheless effect of plasma shielding does not exist with Nd:YAG lasers, so that for the gas-shielding welding process the optimal gases can be used regarding arc stability, thus power source are saved and the costs can be optimised. Each industrial application carried out needs its cost efficiency analysis. Depending on the power output and laser type, the dangerousness of reflected irradiation, which even in some meters distance, affects for the healthy operators. For the YAG laser process safety arrangements must be set up in order to avoid the laser radiation being absorbed by the human eye. Due to its wavelength of radiation, being relatively close to the visible range, severe damage to the retina of the eye is possible if sufficient precautions are not taken. Safety aspects are of vital importance to be able to shield the operator as well as other personal. The use of Nd:YAG lasers offers interesting and economically attractive applications in shipbuilding industry. Higher joining rates are possible, and very good mechanical/technological parameters can be achieved.

Design and control of multi-finger haptic devices for dexterous manipulation

En la interacción con el entorno que nos rodea durante nuestra vida diaria (utilizar un cepillo de dientes, abrir puertas, utilizar el teléfono móvil, etc.) y en situaciones profesionales (intervenciones médicas, procesos de producción, etc.), típicamente realizamos manipulaciones avanzadas que incluyen la utilización de los dedos de ambas manos. De esta forma el desarrollo de métodos de interacción háptica multi-dedo dan lugar a interfaces hombre-máquina más naturales y realistas. No obstante, la mayoría de interfaces hápticas disponibles en el mercado están basadas en interacciones con un solo punto de contacto; esto puede ser suficiente para la exploración o palpación del entorno pero no permite la realización de tareas más avanzadas como agarres. En esta tesis, se investiga el diseño mecánico, control y aplicaciones de dispositivos hápticos modulares con capacidad de reflexión de fuerzas en los dedos índice, corazón y pulgar del usuario. El diseño mecánico de la interfaz diseñada, ha sido optimizado con funciones multi-objetivo para conseguir una baja inercia, un amplio espacio de trabajo, alta manipulabilidad y reflexión de fuerzas superiores a 3 N en el espacio de trabajo. El ancho de banda y la rigidez del dispositivo se han evaluado mediante simulación y experimentación real. Una de las áreas más importantes en el diseño de estos dispositivos es el efector final, ya que es la parte que está en contacto con el usuario. Durante este trabajo se ha diseñado un dedal de bajo peso, adaptable a diferentes usuarios que, mediante la incorporación de sensores de contacto, permite estimar fuerzas normales y tangenciales durante la interacción con entornos reales y virtuales. Para el diseño de la arquitectura de control, se estudiaron los principales requisitos para estos dispositivos. Entre estos, cabe destacar la adquisición, procesado e intercambio a través de internet de numerosas señales de control e instrumentación; la computación de equaciones matemáticas incluyendo la cinemática directa e inversa, jacobiana, algoritmos de detección de agarres, etc. Todos estos componentes deben calcularse en tiempo real garantizando una frecuencia mínima de 1 KHz. Además, se describen sistemas para manipulación de precisión virtual y remota; así como el diseño de un método denominado "desacoplo cinemático iterativo" para computar la cinemática inversa de robots y la comparación con otros métodos actuales. Para entender la importancia de la interacción multimodal, se ha llevado a cabo un estudio para comprobar qué estímulos sensoriales se correlacionan con tiempos de respuesta más rápidos y de mayor precisión. Estos experimentos se desarrollaron en colaboración con neurocientíficos del instituto Technion Israel Institute of Technology. Comparando los tiempos de respuesta en la interacción unimodal (auditiva, visual y háptica) con combinaciones bimodales y trimodales de los mismos, se demuestra que el movimiento sincronizado de los dedos para generar respuestas de agarre se basa principalmente en la percepción háptica. La ventaja en el tiempo de procesamiento de los estímulos hápticos, sugiere que los entornos virtuales que incluyen esta componente sensorial generan mejores contingencias motoras y mejoran la credibilidad de los eventos. Se concluye que, los sistemas que incluyen percepción háptica dotan a los usuarios de más tiempo en las etapas cognitivas para rellenar información de forma creativa y formar una experiencia más rica. Una aplicación interesante de los dispositivos hápticos es el diseño de nuevos simuladores que permitan entrenar habilidades manuales en el sector médico. En colaboración con fisioterapeutas de Griffith University en Australia, se desarrolló un simulador que permite realizar ejercicios de rehabilitación de la mano. Las propiedades de rigidez no lineales de la articulación metacarpofalange del dedo índice se estimaron mediante la utilización del efector final diseñado. Estos parámetros, se han implementado en un escenario que simula el comportamiento de la mano humana y que permite la interacción háptica a través de esta interfaz. Las aplicaciones potenciales de este simulador están relacionadas con entrenamiento y educación de estudiantes de fisioterapia. En esta tesis, se han desarrollado nuevos métodos que permiten el control simultáneo de robots y manos robóticas en la interacción con entornos reales. El espacio de trabajo alcanzable por el dispositivo háptico, se extiende mediante el cambio de modo de control automático entre posición y velocidad. Además, estos métodos permiten reconocer el gesto del usuario durante las primeras etapas de aproximación al objeto para su agarre. Mediante experimentos de manipulación avanzada de objetos con un manipulador y diferentes manos robóticas, se muestra que el tiempo en realizar una tarea se reduce y que el sistema permite la realización de la tarea con precisión. Este trabajo, es el resultado de una colaboración con investigadores de Harvard BioRobotics Laboratory. ABSTRACT When we interact with the environment in our daily life (using a toothbrush, opening doors, using cell-phones, etc.), or in professional situations (medical interventions, manufacturing processes, etc.) we typically perform dexterous manipulations that involve multiple fingers and palm for both hands. Therefore, multi-Finger haptic methods can provide a realistic and natural human-machine interface to enhance immersion when interacting with simulated or remote environments. Most commercial devices allow haptic interaction with only one contact point, which may be sufficient for some exploration or palpation tasks but are not enough to perform advanced object manipulations such as grasping. In this thesis, I investigate the mechanical design, control and applications of a modular haptic device that can provide force feedback to the index, thumb and middle fingers of the user. The designed mechanical device is optimized with a multi-objective design function to achieve a low inertia, a large workspace, manipulability, and force-feedback of up to 3 N within the workspace; the bandwidth and rigidity for the device is assessed through simulation and real experimentation. One of the most important areas when designing haptic devices is the end-effector, since it is in contact with the user. In this thesis the design and evaluation of a thimble-like, lightweight, user-adaptable, and cost-effective device that incorporates four contact force sensors is described. This design allows estimation of the forces applied by a user during manipulation of virtual and real objects. The design of a real-time, modular control architecture for multi-finger haptic interaction is described. Requirements for control of multi-finger haptic devices are explored. Moreover, a large number of signals have to be acquired, processed, sent over the network and mathematical computations such as device direct and inverse kinematics, jacobian, grasp detection algorithms, etc. have to be calculated in Real Time to assure the required high fidelity for the haptic interaction. The Hardware control architecture has different modules and consists of an FPGA for the low-level controller and a RT controller for managing all the complex calculations (jacobian, kinematics, etc.); this provides a compact and scalable solution for the required high computation capabilities assuring a correct frequency rate for the control loop of 1 kHz. A set-up for dexterous virtual and real manipulation is described. Moreover, a new algorithm named the iterative kinematic decoupling method was implemented to solve the inverse kinematics of a robotic manipulator. In order to understand the importance of multi-modal interaction including haptics, a subject study was carried out to look for sensory stimuli that correlate with fast response time and enhanced accuracy. This experiment was carried out in collaboration with neuro-scientists from Technion Israel Institute of Technology. By comparing the grasping response times in unimodal (auditory, visual, and haptic) events with the response times in events with bimodal and trimodal combinations. It is concluded that in grasping tasks the synchronized motion of the fingers to generate the grasping response relies on haptic cues. This processing-speed advantage of haptic cues suggests that multimodalhaptic virtual environments are superior in generating motor contingencies, enhancing the plausibility of events. Applications that include haptics provide users with more time at the cognitive stages to fill in missing information creatively and form a richer experience. A major application of haptic devices is the design of new simulators to train manual skills for the medical sector. In collaboration with physical therapists from Griffith University in Australia, we developed a simulator to allow hand rehabilitation manipulations. First, the non-linear stiffness properties of the metacarpophalangeal joint of the index finger were estimated by using the designed end-effector; these parameters are implemented in a scenario that simulates the behavior of the human hand and that allows haptic interaction through the designed haptic device. The potential application of this work is related to educational and medical training purposes. In this thesis, new methods to simultaneously control the position and orientation of a robotic manipulator and the grasp of a robotic hand when interacting with large real environments are studied. The reachable workspace is extended by automatically switching between rate and position control modes. Moreover, the human hand gesture is recognized by reading the relative movements of the index, thumb and middle fingers of the user during the early stages of the approximation-to-the-object phase and then mapped to the robotic hand actuators. These methods are validated to perform dexterous manipulation of objects with a robotic manipulator, and different robotic hands. This work is the result of a research collaboration with researchers from the Harvard BioRobotics Laboratory. The developed experiments show that the overall task time is reduced and that the developed methods allow for full dexterity and correct completion of dexterous manipulations.