Design and control of multi-finger haptic devices for dexterous manipulation

En la interacción con el entorno que nos rodea durante nuestra vida diaria (utilizar un cepillo de dientes, abrir puertas, utilizar el teléfono móvil, etc.) y en situaciones profesionales (intervenciones médicas, procesos de producción, etc.), típicamente realizamos manipulaciones avanzadas que incluyen la utilización de los dedos de ambas manos. De esta forma el desarrollo de métodos de interacción háptica multi-dedo dan lugar a interfaces hombre-máquina más naturales y realistas. No obstante, la mayoría de interfaces hápticas disponibles en el mercado están basadas en interacciones con un solo punto de contacto; esto puede ser suficiente para la exploración o palpación del entorno pero no permite la realización de tareas más avanzadas como agarres. En esta tesis, se investiga el diseño mecánico, control y aplicaciones de dispositivos hápticos modulares con capacidad de reflexión de fuerzas en los dedos índice, corazón y pulgar del usuario. El diseño mecánico de la interfaz diseñada, ha sido optimizado con funciones multi-objetivo para conseguir una baja inercia, un amplio espacio de trabajo, alta manipulabilidad y reflexión de fuerzas superiores a 3 N en el espacio de trabajo. El ancho de banda y la rigidez del dispositivo se han evaluado mediante simulación y experimentación real. Una de las áreas más importantes en el diseño de estos dispositivos es el efector final, ya que es la parte que está en contacto con el usuario. Durante este trabajo se ha diseñado un dedal de bajo peso, adaptable a diferentes usuarios que, mediante la incorporación de sensores de contacto, permite estimar fuerzas normales y tangenciales durante la interacción con entornos reales y virtuales. Para el diseño de la arquitectura de control, se estudiaron los principales requisitos para estos dispositivos. Entre estos, cabe destacar la adquisición, procesado e intercambio a través de internet de numerosas señales de control e instrumentación; la computación de equaciones matemáticas incluyendo la cinemática directa e inversa, jacobiana, algoritmos de detección de agarres, etc. Todos estos componentes deben calcularse en tiempo real garantizando una frecuencia mínima de 1 KHz. Además, se describen sistemas para manipulación de precisión virtual y remota; así como el diseño de un método denominado "desacoplo cinemático iterativo" para computar la cinemática inversa de robots y la comparación con otros métodos actuales. Para entender la importancia de la interacción multimodal, se ha llevado a cabo un estudio para comprobar qué estímulos sensoriales se correlacionan con tiempos de respuesta más rápidos y de mayor precisión. Estos experimentos se desarrollaron en colaboración con neurocientíficos del instituto Technion Israel Institute of Technology. Comparando los tiempos de respuesta en la interacción unimodal (auditiva, visual y háptica) con combinaciones bimodales y trimodales de los mismos, se demuestra que el movimiento sincronizado de los dedos para generar respuestas de agarre se basa principalmente en la percepción háptica. La ventaja en el tiempo de procesamiento de los estímulos hápticos, sugiere que los entornos virtuales que incluyen esta componente sensorial generan mejores contingencias motoras y mejoran la credibilidad de los eventos. Se concluye que, los sistemas que incluyen percepción háptica dotan a los usuarios de más tiempo en las etapas cognitivas para rellenar información de forma creativa y formar una experiencia más rica. Una aplicación interesante de los dispositivos hápticos es el diseño de nuevos simuladores que permitan entrenar habilidades manuales en el sector médico. En colaboración con fisioterapeutas de Griffith University en Australia, se desarrolló un simulador que permite realizar ejercicios de rehabilitación de la mano. Las propiedades de rigidez no lineales de la articulación metacarpofalange del dedo índice se estimaron mediante la utilización del efector final diseñado. Estos parámetros, se han implementado en un escenario que simula el comportamiento de la mano humana y que permite la interacción háptica a través de esta interfaz. Las aplicaciones potenciales de este simulador están relacionadas con entrenamiento y educación de estudiantes de fisioterapia. En esta tesis, se han desarrollado nuevos métodos que permiten el control simultáneo de robots y manos robóticas en la interacción con entornos reales. El espacio de trabajo alcanzable por el dispositivo háptico, se extiende mediante el cambio de modo de control automático entre posición y velocidad. Además, estos métodos permiten reconocer el gesto del usuario durante las primeras etapas de aproximación al objeto para su agarre. Mediante experimentos de manipulación avanzada de objetos con un manipulador y diferentes manos robóticas, se muestra que el tiempo en realizar una tarea se reduce y que el sistema permite la realización de la tarea con precisión. Este trabajo, es el resultado de una colaboración con investigadores de Harvard BioRobotics Laboratory. ABSTRACT When we interact with the environment in our daily life (using a toothbrush, opening doors, using cell-phones, etc.), or in professional situations (medical interventions, manufacturing processes, etc.) we typically perform dexterous manipulations that involve multiple fingers and palm for both hands. Therefore, multi-Finger haptic methods can provide a realistic and natural human-machine interface to enhance immersion when interacting with simulated or remote environments. Most commercial devices allow haptic interaction with only one contact point, which may be sufficient for some exploration or palpation tasks but are not enough to perform advanced object manipulations such as grasping. In this thesis, I investigate the mechanical design, control and applications of a modular haptic device that can provide force feedback to the index, thumb and middle fingers of the user. The designed mechanical device is optimized with a multi-objective design function to achieve a low inertia, a large workspace, manipulability, and force-feedback of up to 3 N within the workspace; the bandwidth and rigidity for the device is assessed through simulation and real experimentation. One of the most important areas when designing haptic devices is the end-effector, since it is in contact with the user. In this thesis the design and evaluation of a thimble-like, lightweight, user-adaptable, and cost-effective device that incorporates four contact force sensors is described. This design allows estimation of the forces applied by a user during manipulation of virtual and real objects. The design of a real-time, modular control architecture for multi-finger haptic interaction is described. Requirements for control of multi-finger haptic devices are explored. Moreover, a large number of signals have to be acquired, processed, sent over the network and mathematical computations such as device direct and inverse kinematics, jacobian, grasp detection algorithms, etc. have to be calculated in Real Time to assure the required high fidelity for the haptic interaction. The Hardware control architecture has different modules and consists of an FPGA for the low-level controller and a RT controller for managing all the complex calculations (jacobian, kinematics, etc.); this provides a compact and scalable solution for the required high computation capabilities assuring a correct frequency rate for the control loop of 1 kHz. A set-up for dexterous virtual and real manipulation is described. Moreover, a new algorithm named the iterative kinematic decoupling method was implemented to solve the inverse kinematics of a robotic manipulator. In order to understand the importance of multi-modal interaction including haptics, a subject study was carried out to look for sensory stimuli that correlate with fast response time and enhanced accuracy. This experiment was carried out in collaboration with neuro-scientists from Technion Israel Institute of Technology. By comparing the grasping response times in unimodal (auditory, visual, and haptic) events with the response times in events with bimodal and trimodal combinations. It is concluded that in grasping tasks the synchronized motion of the fingers to generate the grasping response relies on haptic cues. This processing-speed advantage of haptic cues suggests that multimodalhaptic virtual environments are superior in generating motor contingencies, enhancing the plausibility of events. Applications that include haptics provide users with more time at the cognitive stages to fill in missing information creatively and form a richer experience. A major application of haptic devices is the design of new simulators to train manual skills for the medical sector. In collaboration with physical therapists from Griffith University in Australia, we developed a simulator to allow hand rehabilitation manipulations. First, the non-linear stiffness properties of the metacarpophalangeal joint of the index finger were estimated by using the designed end-effector; these parameters are implemented in a scenario that simulates the behavior of the human hand and that allows haptic interaction through the designed haptic device. The potential application of this work is related to educational and medical training purposes. In this thesis, new methods to simultaneously control the position and orientation of a robotic manipulator and the grasp of a robotic hand when interacting with large real environments are studied. The reachable workspace is extended by automatically switching between rate and position control modes. Moreover, the human hand gesture is recognized by reading the relative movements of the index, thumb and middle fingers of the user during the early stages of the approximation-to-the-object phase and then mapped to the robotic hand actuators. These methods are validated to perform dexterous manipulation of objects with a robotic manipulator, and different robotic hands. This work is the result of a research collaboration with researchers from the Harvard BioRobotics Laboratory. The developed experiments show that the overall task time is reduced and that the developed methods allow for full dexterity and correct completion of dexterous manipulations.

El entorno de las tecnologías emergentes

De los innumerables estudios realizados hasta hoy en torno a las relaciones de la tecnología con el entorno en el que se desarrolla, una de las conclusiones más generalmente aceptadas es la del grado de multiplicidad de sus resultados. Multiplicidad que afecta no sólo a sus polivalentes aplicaciones en muy dispares campos, sino también a su grado de factorización creadora. En cierta manera, la situación es equivalente a la del tablero de ajedrez en el que en la primera casilla se puso un grano de trigo, en el segundo, dos, en el tercero, cuatro... Si hace un siglo podían contarse con los dedos de una mano, y quizás a veces sobraban algunos, las innovaciones tecnológicas que surgían por año, en la actualidad no serían suficientes los veinte dedos del cuerpo para contar, quizás, las que surgen al cabo del día.

Study and analysis of the Leap Motion sensor and the Software Development Kit (SDK) for the implementation of visual Human Computer Interfaces

En este proyecto, se presenta un informe técnico sobre la cámara Leap Motion y el Software Development Kit correspondiente, el cual es un dispositivo con una cámara de profundidad orientada a interfaces hombre-máquina. Esto es realizado con el propósito de desarrollar una interfaz hombre-máquina basada en un sistema de reconocimiento de gestos de manos. Después de un exhaustivo estudio de la cámara Leap Motion, se han realizado diversos programas de ejemplo con la intención de verificar las capacidades descritas en el informe técnico, poniendo a prueba la Application Programming Interface y evaluando la precisión de las diferentes medidas obtenidas sobre los datos de la cámara. Finalmente, se desarrolla un prototipo de un sistema de reconocimiento de gestos. Los datos sobre la posición y orientación de la punta de los dedos obtenidos de la Leap Motion son usados para describir un gesto mediante un vector descriptor, el cual es enviado a una Máquina Vectores Soporte, utilizada como clasificador multi-clase.

Eduardo Chillida, arquitecto

Es sabido que tras abandonar la carrera de arquitectura Chillida marcha a Paris a comenzar su carrera como escultor. De vuelta al País Vasco el hierro es el material en el que encuentra un camino propio. Toda la obra de su primera década está muy alejada en el aspecto formal de la arquitectura. Sin embargo, las líneas de fuerza que los hierros configuran muestran un interés espacial que queda manifiesto en una obra de 1953 denominada Consejo al espacio I. A partir de aquí su obra gira en torno al vacío. Las formas cambiarán con los materiales pero no el propósito. En sus dibujos, las manos expresan, más allá de su condición figurativa, la búsqueda del espacio cóncavo que los dedos encierran. El espacio que encuentra en la palma de la mano es equivalente al que construye con dedos gigantes de madera u hormigón. Chillida observa sus obras con una mirada cuya idea de escala se distancia del concepto de dimensión. Adquieren así una posibilidad de crecer que facilita imaginar sus espacios como arquitectura. Tras el hierro, el trabajo en madera y alabastro aproxima -en el aspecto formal- la obra de Chillida a la arquitectura. Los títulos de numerosas obras hacen referencia a ella o a conceptos con ella relacionados. Elogio de la arquitectura, Homenaje a la arquitectura, Arquitectura heterodoxa, Modulación del espacio, construcción heterodoxa, Alrededor del vacío, Mesa del arquitecto o Casa de luz, son algunos de ellos. La introducción del vacío en el alabastro da comienzo a un proceso tendente a que el espacio interior tenga una importancia inversamente proporcional a su presencia en la forma exterior. Un proceso de progresivo hermetismo donde pequeños espacios interiores son expresados mediante grandes masas envolventes. El espacio interior es el principal motivo por el que vemos la obra de Eduardo Chillida como arquitectura. La condición de interior, apreciable igualmente en sus grandes obras en el espacio público, hace que estas no constituyan únicamente hitos visuales sino espacios de protección con los que cuerpo interactúa estableciendo una nueva relación con el paisaje, el horizonte o el cosmos. La búsqueda de un interior vacío tiene como consecuencia la evolución hacia la desaparición de la forma exterior. Tal evolución comienza con el diálogo entre el bolo natural de alabastro y el vacío tallado de Homenaje a Goethe, y, como muestra de la inter-escalabilidad de la obra de Chillida, concluye con la introducción de un vacío oculto en la montaña sagrada de Tindaya. El gran vacío de Tindaya nos hace mirar la obra de pequeño formato a través de su filtro de aumento. Nos permite entender que el límite entre arquitectura y escultura es difuso en la obra del escultor vasco. Que la arquitectura puede estar en el origen de su escultura. Que su escultura puede ser el germen de muchas arquitecturas. ABSTRACT It is well known that after leaving his architectural studies Chillida went to Paris in order to begin his career as a sculptor. Back again to the Basque Country, iron is the material in which he finds his own way. In terms of form, his work from the very first ten years is far away from architecture. However, the strength lines set by the iron show a spatial will that is clearly evident in a 1953 piece called Advice to space I. From there on, his work focuses on void. Different materials will set different forms but the purpose will remain the same. In his drawings, hands are expressing, beyond its figurative condition, the search of the concave space that fingers are enclosing. The space founded in the palm of the hand is equivalent to the one built with giant wood or concrete fingers. Chillida faces his work with a look where the idea of scale takes distance to the concept of dimension. His works gets then a possibility to grow that allow us to imagine his spaces as architecture. Following iron, wood and alabaster pieces, in the formal aspect, approaches Chillida´s work to architecture. The titles of many sculptures are referred to it or to the concept related to it. In praise of architecture, Homage to architecture, Heterodox architecture, Modulation of space, Heterodox construction, Around the void, Architect’s table, or House of light, are some of them. The introduction of void in alabaster begins a process leading to the interior space has a presence inversely proportional to its importance in the external form. A process of progressive secrecy where small interior spaces are expressed through large enveloping masses. The interior space is the main reason why we see the work of Eduardo Chillida as architecture. The condition of inner space, equally noticeable in his great works in public space, makes this not only constitute visual landmarks, but protection spaces that body interacts with establishing a new relationship with the landscape, the horizon or the cosmos. The search of an inner void leads to an evolution towards the disappearance of the external form. The evolution begins in the dialogue between the natural bolus of alabaster and the carved void of Homage to Goethe, and as a sign of inter-scalability of the work of Chillida, it concludes with the introduction of a hidden void in the sacred mountain of Tindaya. The great void of Tindaya makes us look at a small format work trough the filter of his increase filter. It allows us to understand that the boundary between architecture and sculpture is diffuse in the work of the Basque sculptor. That architecture can be at the origin of his sculpture. That his sculpture may be the seed of many architectures.

Interacción combinada táctil 3D para manejo de colecciones de documentos

Actualmente existen varios dispositivos que aceptan gestos sobre superficies táctiles, sean celulares, tabletas, computadores, etc. a los cuales las personas se acostumbran rápidamente a su uso y los aceptan como herramientas necesarias en su vida. Del mismo modo existen algunas aplicaciones que manejan entornos en 3D, y permiten captar gestos realizados con las manos, cuerpo, cabeza. Estas técnicas se han desarrollado mucho por separado pero se ha podido evidenciar en base a los artículos revisados que no existen muchos estudios que combinen las aplicaciones táctiles con las 3D manejadas por gestos en el aire. El presente trabajo muestra un prototipo que permite la comunicación y coordinación entre dos aplicaciones, una que muestra documentos representados por esferas en una aplicación con interacción táctil desarrollada en Unity que funciona sobre Android, y una segunda aplicación desarrollada también en Unity que maneja un entorno 3D con el que se interactúa mediante gestos realizados en el aire. Luego de algunos intentos la interacción entre ambas aplicaciones fue lograda implementando comunicación por sockets entre la aplicación en el dispositivo Android y la aplicación 3D que se encuentra alojada en un computador con Windows 7. La captura de gestos en el aire se realiza mediante el sistema Tracking Tools desarrollado por la compañía Optitrack que captura los movimientos con cámaras infrarrojas y marcadores en los dedos. Este sistema envía los datos de los gestos a nuestra aplicación 3D. Estos equipos son de propiedad del laboratorio Decoroso Crespo de la Universidad Politécnica de Madrid. Una vez lograda la implementación e interacción entre las aplicaciones se han realizado pruebas de usabilidad con nueve estudiantes del Máster Universitario en Software y Sistemas de la Universidad Politécnica de Madrid. Cada uno ha respondido una serie de encuestas para poder obtener resultados sobre cuán usable es el prototipo, la experiencia del usuario y qué mejoras se podrían realizar sobre éste. En la parte final de este documento se presentan los resultados de las encuestas y se muestran las conclusiones y trabajo futuro.---ABSTRACT---Currently there are several devices that accept gestures on touch surfaces like phones, tablets, computers, etc. to which people quickly become accustomed to their use and accept them as necessary tools in their life. Similarly there are some applications that handle 3D environments and like televisions, holograms and allow capture gestures made with hands, body, and head. These techniques have been developed on a separated way but based on some research we may say that the are not many studies that combine touch with 3D applications handled by gestures in the air. This paper presents a prototype of the interaction of two issues of a 2D showing documents represented by spheres on a touch application developed in Unity that works on Android and allows communicating with the second application also developed in Unity that handles a 3D environment interaction of gestures made in air. After some attempts interaction was achieved by implementing communication sockets between the application on the Android device and 3D application that is hosted on a computer with windows 7, and gestures capturing in the air is done by the system Tracking Tools developed by the Optitrack company it captures movements with infrared cameras and markers on the fingers, which sends data to this application gestures, these equipment are owned by the Decoroso Crespo laboratory of the Polytechnic University of Madrid. Once achieved the interaction of applications has been conducted performance tests with ten students of the university master of the Universidad Politécnica de Madrid, each has answered a series of surveys to get results on how usable is the prototype, the user experience and that improvements could be made on this.