Design and control of multi-finger haptic devices for dexterous manipulation

En la interacción con el entorno que nos rodea durante nuestra vida diaria (utilizar un cepillo de dientes, abrir puertas, utilizar el teléfono móvil, etc.) y en situaciones profesionales (intervenciones médicas, procesos de producción, etc.), típicamente realizamos manipulaciones avanzadas que incluyen la utilización de los dedos de ambas manos. De esta forma el desarrollo de métodos de interacción háptica multi-dedo dan lugar a interfaces hombre-máquina más naturales y realistas. No obstante, la mayoría de interfaces hápticas disponibles en el mercado están basadas en interacciones con un solo punto de contacto; esto puede ser suficiente para la exploración o palpación del entorno pero no permite la realización de tareas más avanzadas como agarres. En esta tesis, se investiga el diseño mecánico, control y aplicaciones de dispositivos hápticos modulares con capacidad de reflexión de fuerzas en los dedos índice, corazón y pulgar del usuario. El diseño mecánico de la interfaz diseñada, ha sido optimizado con funciones multi-objetivo para conseguir una baja inercia, un amplio espacio de trabajo, alta manipulabilidad y reflexión de fuerzas superiores a 3 N en el espacio de trabajo. El ancho de banda y la rigidez del dispositivo se han evaluado mediante simulación y experimentación real. Una de las áreas más importantes en el diseño de estos dispositivos es el efector final, ya que es la parte que está en contacto con el usuario. Durante este trabajo se ha diseñado un dedal de bajo peso, adaptable a diferentes usuarios que, mediante la incorporación de sensores de contacto, permite estimar fuerzas normales y tangenciales durante la interacción con entornos reales y virtuales. Para el diseño de la arquitectura de control, se estudiaron los principales requisitos para estos dispositivos. Entre estos, cabe destacar la adquisición, procesado e intercambio a través de internet de numerosas señales de control e instrumentación; la computación de equaciones matemáticas incluyendo la cinemática directa e inversa, jacobiana, algoritmos de detección de agarres, etc. Todos estos componentes deben calcularse en tiempo real garantizando una frecuencia mínima de 1 KHz. Además, se describen sistemas para manipulación de precisión virtual y remota; así como el diseño de un método denominado "desacoplo cinemático iterativo" para computar la cinemática inversa de robots y la comparación con otros métodos actuales. Para entender la importancia de la interacción multimodal, se ha llevado a cabo un estudio para comprobar qué estímulos sensoriales se correlacionan con tiempos de respuesta más rápidos y de mayor precisión. Estos experimentos se desarrollaron en colaboración con neurocientíficos del instituto Technion Israel Institute of Technology. Comparando los tiempos de respuesta en la interacción unimodal (auditiva, visual y háptica) con combinaciones bimodales y trimodales de los mismos, se demuestra que el movimiento sincronizado de los dedos para generar respuestas de agarre se basa principalmente en la percepción háptica. La ventaja en el tiempo de procesamiento de los estímulos hápticos, sugiere que los entornos virtuales que incluyen esta componente sensorial generan mejores contingencias motoras y mejoran la credibilidad de los eventos. Se concluye que, los sistemas que incluyen percepción háptica dotan a los usuarios de más tiempo en las etapas cognitivas para rellenar información de forma creativa y formar una experiencia más rica. Una aplicación interesante de los dispositivos hápticos es el diseño de nuevos simuladores que permitan entrenar habilidades manuales en el sector médico. En colaboración con fisioterapeutas de Griffith University en Australia, se desarrolló un simulador que permite realizar ejercicios de rehabilitación de la mano. Las propiedades de rigidez no lineales de la articulación metacarpofalange del dedo índice se estimaron mediante la utilización del efector final diseñado. Estos parámetros, se han implementado en un escenario que simula el comportamiento de la mano humana y que permite la interacción háptica a través de esta interfaz. Las aplicaciones potenciales de este simulador están relacionadas con entrenamiento y educación de estudiantes de fisioterapia. En esta tesis, se han desarrollado nuevos métodos que permiten el control simultáneo de robots y manos robóticas en la interacción con entornos reales. El espacio de trabajo alcanzable por el dispositivo háptico, se extiende mediante el cambio de modo de control automático entre posición y velocidad. Además, estos métodos permiten reconocer el gesto del usuario durante las primeras etapas de aproximación al objeto para su agarre. Mediante experimentos de manipulación avanzada de objetos con un manipulador y diferentes manos robóticas, se muestra que el tiempo en realizar una tarea se reduce y que el sistema permite la realización de la tarea con precisión. Este trabajo, es el resultado de una colaboración con investigadores de Harvard BioRobotics Laboratory. ABSTRACT When we interact with the environment in our daily life (using a toothbrush, opening doors, using cell-phones, etc.), or in professional situations (medical interventions, manufacturing processes, etc.) we typically perform dexterous manipulations that involve multiple fingers and palm for both hands. Therefore, multi-Finger haptic methods can provide a realistic and natural human-machine interface to enhance immersion when interacting with simulated or remote environments. Most commercial devices allow haptic interaction with only one contact point, which may be sufficient for some exploration or palpation tasks but are not enough to perform advanced object manipulations such as grasping. In this thesis, I investigate the mechanical design, control and applications of a modular haptic device that can provide force feedback to the index, thumb and middle fingers of the user. The designed mechanical device is optimized with a multi-objective design function to achieve a low inertia, a large workspace, manipulability, and force-feedback of up to 3 N within the workspace; the bandwidth and rigidity for the device is assessed through simulation and real experimentation. One of the most important areas when designing haptic devices is the end-effector, since it is in contact with the user. In this thesis the design and evaluation of a thimble-like, lightweight, user-adaptable, and cost-effective device that incorporates four contact force sensors is described. This design allows estimation of the forces applied by a user during manipulation of virtual and real objects. The design of a real-time, modular control architecture for multi-finger haptic interaction is described. Requirements for control of multi-finger haptic devices are explored. Moreover, a large number of signals have to be acquired, processed, sent over the network and mathematical computations such as device direct and inverse kinematics, jacobian, grasp detection algorithms, etc. have to be calculated in Real Time to assure the required high fidelity for the haptic interaction. The Hardware control architecture has different modules and consists of an FPGA for the low-level controller and a RT controller for managing all the complex calculations (jacobian, kinematics, etc.); this provides a compact and scalable solution for the required high computation capabilities assuring a correct frequency rate for the control loop of 1 kHz. A set-up for dexterous virtual and real manipulation is described. Moreover, a new algorithm named the iterative kinematic decoupling method was implemented to solve the inverse kinematics of a robotic manipulator. In order to understand the importance of multi-modal interaction including haptics, a subject study was carried out to look for sensory stimuli that correlate with fast response time and enhanced accuracy. This experiment was carried out in collaboration with neuro-scientists from Technion Israel Institute of Technology. By comparing the grasping response times in unimodal (auditory, visual, and haptic) events with the response times in events with bimodal and trimodal combinations. It is concluded that in grasping tasks the synchronized motion of the fingers to generate the grasping response relies on haptic cues. This processing-speed advantage of haptic cues suggests that multimodalhaptic virtual environments are superior in generating motor contingencies, enhancing the plausibility of events. Applications that include haptics provide users with more time at the cognitive stages to fill in missing information creatively and form a richer experience. A major application of haptic devices is the design of new simulators to train manual skills for the medical sector. In collaboration with physical therapists from Griffith University in Australia, we developed a simulator to allow hand rehabilitation manipulations. First, the non-linear stiffness properties of the metacarpophalangeal joint of the index finger were estimated by using the designed end-effector; these parameters are implemented in a scenario that simulates the behavior of the human hand and that allows haptic interaction through the designed haptic device. The potential application of this work is related to educational and medical training purposes. In this thesis, new methods to simultaneously control the position and orientation of a robotic manipulator and the grasp of a robotic hand when interacting with large real environments are studied. The reachable workspace is extended by automatically switching between rate and position control modes. Moreover, the human hand gesture is recognized by reading the relative movements of the index, thumb and middle fingers of the user during the early stages of the approximation-to-the-object phase and then mapped to the robotic hand actuators. These methods are validated to perform dexterous manipulation of objects with a robotic manipulator, and different robotic hands. This work is the result of a research collaboration with researchers from the Harvard BioRobotics Laboratory. The developed experiments show that the overall task time is reduced and that the developed methods allow for full dexterity and correct completion of dexterous manipulations.

Human-computer interaction based on visual hand-gesture recognition using volumetric spatiograms of local binary patterns

A more natural, intuitive, user-friendly, and less intrusive Human–Computer interface for controlling an application by executing hand gestures is presented. For this purpose, a robust vision-based hand-gesture recognition system has been developed, and a new database has been created to test it. The system is divided into three stages: detection, tracking, and recognition. The detection stage searches in every frame of a video sequence potential hand poses using a binary Support Vector Machine classifier and Local Binary Patterns as feature vectors. These detections are employed as input of a tracker to generate a spatio-temporal trajectory of hand poses. Finally, the recognition stage segments a spatio-temporal volume of data using the obtained trajectories, and compute a video descriptor called Volumetric Spatiograms of Local Binary Patterns (VS-LBP), which is delivered to a bank of SVM classifiers to perform the gesture recognition. The VS-LBP is a novel video descriptor that constitutes one of the most important contributions of the paper, which is able to provide much richer spatio-temporal information than other existing approaches in the state of the art with a manageable computational cost. Excellent results have been obtained outperforming other approaches of the state of the art.

MEDVIR: 3D visual interface applied to gene profile analisys.

The origins for this work arise in response to the increasing need for biologists and doctors to obtain tools for visual analysis of data. When dealing with multidimensional data, such as medical data, the traditional data mining techniques can be a tedious and complex task, even to some medical experts. Therefore, it is necessary to develop useful visualization techniques that can complement the expert’s criterion, and at the same time visually stimulate and make easier the process of obtaining knowledge from a dataset. Thus, the process of interpretation and understanding of the data can be greatly enriched. Multidimensionality is inherent to any medical data, requiring a time-consuming effort to get a clinical useful outcome. Unfortunately, both clinicians and biologists are not trained in managing more than four dimensions. Specifically, we were aimed to design a 3D visual interface for gene profile analysis easy in order to be used both by medical and biologist experts. In this way, a new analysis method is proposed: MedVir. This is a simple and intuitive analysis mechanism based on the visualization of any multidimensional medical data in a three dimensional space that allows interaction with experts in order to collaborate and enrich this representation. In other words, MedVir makes a powerful reduction in data dimensionality in order to represent the original information into a three dimensional environment. The experts can interact with the data and draw conclusions in a visual and quickly way.

VR BioViewer - A new interactive-visual model to represent medical information

Virtual reality (VR) techniques to understand and obtain conclusions of data in an easy way are being used by the scientific community. However, these techniques are not used frequently for analyzing large amounts of data in life sciences, particularly in genomics, due to the high complexity of data (curse of dimensionality). Nevertheless, new approaches that allow to bring out the real important data characteristics, arise the possibility of constructing VR spaces to visually understand the intrinsic nature of data. It is well known the benefits of representing high dimensional data in tridimensional spaces by means of dimensionality reduction and transformation techniques, complemented with a strong component of interaction methods. Thus, a novel framework, designed for helping to visualize and interact with data about diseases, is presented. In this paper, the framework is applied to the Van't Veer breast cancer dataset is used, while oncologists from La Paz Hospital (Madrid) are interacting with the obtained results. That is to say a first attempt to generate a visually tangible model of breast cancer disease in order to support the experience of oncologists is presented.

On-road visual vehicle tracking using Markov chain Monte Carlo with metropolis sampling

In this study, a method for vehicle tracking through video analysis based on Markov chain Monte Carlo (MCMC) particle filtering with metropolis sampling is proposed. The method handles multiple targets with low computational requirements and is, therefore, ideally suited for advanced-driver assistance systems that involve real-time operation. The method exploits the removed perspective domain given by inverse perspective mapping (IPM) to define a fast and efficient likelihood model. Additionally, the method encompasses an interaction model using Markov Random Fields (MRF) that allows treatment of dependencies between the motions of targets. The proposed method is tested in highway sequences and compared to state-of-the-art methods for vehicle tracking, i.e., independent target tracking with Kalman filtering (KF) and joint tracking with particle filtering. The results showed fewer tracking failures using the proposed method.

Desarrollo de un proceso de razonamiento visual para la valoración del patrimonio

El tema de la presente tesis es la valoración del patrimonio y en ella se considera que el patrimonio es un proceso cultural interesado en negociar, crear y recrear recuerdos, valores y significados culturales. Actualmente el patrimonio como proceso se está consolidando en la literatura científica, aunque la idea de que es una ‘cosa’ es dominante en el debate internacional y está respaldada tanto por políticas como prácticas de la UNESCO. El considerar el patrimonio como un proceso permite una mirada crítica, que subraya la significación. Es decir, supone el correlato que conlleva definir algo como ‘patrimonio’, o hacer que lo vaya siendo. Esta visión del concepto permite la posibilidad de comprender no sólo lo que se ha valorado, sino también lo que se ha olvidado y el porqué. El principal objetivo de esta investigación es explorar las características de un proceso de razonamiento visual para aplicarlo en el de valoración del patrimonio. Éste que se presenta, implica la creación de representaciones visuales y sus relaciones, además su meta no está centrada en producir un ambiente que sea indiferenciado de la realidad física. Con él se pretende ofrecer la posibilidad de comunicar la dimensión ‘poliédrica’ del patrimonio. Para que este nuevo proceso que propongo sea viable y sostenible, existe la necesidad de tener en cuenta el fin que se quiere lograr: la valoración. Es importante considerar que es un proceso en el cual las dinámicas de aprendizaje, comportamientos y exploración del patrimonio están directamente relacionadas con su valoración. Por lo tanto, hay que saber cómo se genera la valoración del patrimonio, con el fin de ser capaces de desarrollar el proceso adaptado a estas dinámicas. La hipótesis de esta tesis defiende que un proceso de razonamiento visual para la valoración del patrimonio permite que las personas involucradas en el proceso inicien un proceso de interacción con un elemento patrimonial y su imagen mental para llegar a ciertas conclusiones con respecto a su valor y significado. El trabajo describe la metodología que da lugar al proceso de razonamiento visual para el patrimonio, que ha sido concebido sobre un modelado descriptivo de procesos, donde se han caracterizado tres niveles: meta-nivel, de análisis y operacional. En el modelado del proceso los agentes, junto con el patrimonio, son los protagonistas. El enfoque propuesto no es sólo sobre el patrimonio, sino sobre la compleja relación entre las personas y el patrimonio. Los agentes humanos dan valor a los testimonios de la vida pasada y les imbuyen de significado. Por lo tanto, este enfoque de un proceso de razonamiento visual sirve para detectar los cambios en el valor del patrimonio, además de su dimensión poliédrica en términos espaciales y temporales. Además se ha propuesto una nueva tipología de patrimonio necesaria para sustentar un proceso de razonamiento visual para su valoración. Esta tipología está apoyada en la usabilidad del patrimonio y dentro de ella se encuentran los siguientes tipos de patrimonio: accesible, cautivo, contextualizado, descontextualizado, original y vicarial. El desarrollo de un proceso de razonamiento visual para el patrimonio es una propuesta innovadora porque integra el proceso para su valoración, contemplando la dimensión poliédrica del patrimonio y explotando la potencialidad del razonamiento visual. Además, los posibles usuarios del proceso propuesto van a tener interacción de manera directa con el patrimonio e indirecta con la información relativa a él, como por ejemplo, con los metadatos. Por tanto, el proceso propuesto posibilita que los posibles usuarios se impliquen activamente en la propia valoración del patrimonio. ABSTRACT The subject of this thesis is heritage valuation and it argues that heritage is a cultural process that is inherited, transmitted, and transformed by individuals who are interested in negotiating, creating and recreating memories and cultural meanings. Recently heritage as a process has seen a consolidation in the research, although the idea that heritage is a ‘thing’ is dominant in the international debate and is supported by policies and practice of UNESCO. Seeing heritage as a process enables a critical view, underscoring the significance. That is, it is the correlate involved in defining something as ‘heritage’, or converting it into heritage. This view of the concept allows the possibility to understand not only what has been valued, but also what has been forgotten and why. The main objective of this research is to explore the characteristics of a visual reasoning process in order to apply it to a heritage valuation. The goal of the process is not centered on producing an environment that is undifferentiated from physical reality. Thus, the objective of the process is to provide the ability to communicate the ‘polyhedral’ dimension of heritage. For this new process to be viable and sustainable, it is necessary to consider what is to be achieved: heritage valuation. It is important to note that it is a process in which the dynamics of learning, behavior and exploration heritage are directly related to its valuation. Therefore, we need to know how this valuation takes place in order to be able to develop a process that is adapted to these dynamic. The hypothesis of this thesis argues that a visual reasoning process for heritage valuation allows people involved in the process to initiate an interaction with a heritage and to build its mental image to reach certain conclusions regarding its value and meaning. The thesis describes the methodology that results in a visual reasoning process for heritage valuation, which has been based on a descriptive modeling process and have characterized three levels: meta, analysis and operational -level. The agents are the protagonists in the process, along with heritage. The proposed approach is not only about heritage but the complex relationship between people and heritage. Human operators give value to the testimonies of past life and imbue them with meaning. Therefore, this approach of a visual reasoning process is used to detect changes in the value of heritage and its multifaceted dimension in spatial and temporal terms. A new type of heritage required to support a visual reasoning process for heritage valuation has also been proposed. This type is supported by its usability and it covers the following types of heritage: available, captive, contextualized, decontextualized, original and vicarious. The development of a visual reasoning process for heritage valuation is innovative because it integrates the process for valuation of heritage, considering the multifaceted dimension of heritage and exploiting the potential of visual reasoning. In addition, potential users of the proposed process will have direct interaction with heritage and indirectly with the information about it, such as the metadata. Therefore, the proposed process enables potential users to be actively involved in their own heritage valuation.

Uso de Leap Motion en juegos didácticos para niños con necesidades educativas especiales

Este Trabajo de Fin de Grado (TFG) tiene el objetivo incorporar el dispositivo Leap Motion [1] en un juego educativo para niños con necesidades educativas especiales para permitirles aprender de una forma divertida mientras disfrutan con los mini juegos que ofrece nuestra aplicación. Está destinado al apoyo del sistema educativo para los niños con necesidades educativas especiales. Debido al público que tenemos como objetivo debemos de tener en cuenta que hay distintos tipos de usuarios según el tipo de discapacidad que tienen. Entre ellas tenemos discapacidad visual, auditiva, cognitiva y motriz. Tenemos distintos mini juegos para facilitar el aprendizaje de las letras y nuevas palabras, los nombres de colores y diferenciarlos y la asociación de conceptos mediante ejemplos sencillos como son ropa, juguetes y comida. Para hacer que la interacción sea más divertida tenemos distintos tipos de dispositivos de interacción: unos comunes como son el teclado y la pantalla táctil y otros más novedosos como son Kinect [2] y Leap Motion que es el que se introducirá en el desarrollo de este Trabajo de Fin de Grado. El otro objetivo de este proyecto es el estudio de los distintos dispositivos de interacción. Se quiere descubrir qué tipo de sistemas de interacción son más sencillos de aprender, cuáles son más intuitivos para los niños, los que les resultan más interesantes permitiendo captar mejor su atención y sus opuestos, es decir, los que son más difíciles de entender, los más monótonos y los más aburridos para ellos.---ABSTRACT---This Final Degree Project (TFG) aims to incorporate the Leap Motion device [1] in an educational game for children with special educational needs to enable them to learn in a funny way while enjoying the mini games that our application offered. It is intended to support the education system for children with special educational needs. Because the public that we have as objective we must take into account that there are different types of users depending on the type of disability they have. Among them we have visual, auditory, cognitive and motor disabilities. We have different mini games to make easier learning of letters and new words, names and distinguish colors and the association of concepts through simple examples such as clothing, toys and food. To make the interaction more fun we have different interaction devices: common such as the keyboard and the touch screen and other more innovative such as Kinect [2] and Leap Motion which is to be introduced in the development of this Final Degree Work. The other objective of this project is to study the various interaction devices. You want to find out what type of interaction systems are easier to learn, which are more intuitive for children, who are more interesting allowing better capture their attention and their opposites, that is, those that are more difficult to understand, the most monotonous and most boring for them.

Desarrollo de tecnologías de telemanipulación con alto grado de escalado orientadas a la interacción hombre-robot en entornos nucleares

Esta tesis se centra en desarrollo de tecnologías para la interacción hombre-robot en entornos nucleares de fusión. La problemática principal del sector de fusión nuclear radica en las condiciones ambientales tan extremas que hay en el interior del reactor, y la necesidad de que los equipos cumplan requisitos muy restrictivos para poder aguantar esos niveles de radiación, magnetismo, ultravacío, temperatura... Como no es viable la ejecución de tareas directamente por parte de humanos, habrá que utilizar dispositivos de manipulación remota para llevar a cabo los procesos de operación y mantenimiento. En las instalaciones de ITER es obligatorio tener un entorno controlado de extrema seguridad, que necesita de estándares validados. La definición y uso de protocolos es indispensable para regir su buen funcionamiento. Si nos centramos en la telemanipulación con algo grado de escalado, surge la necesidad de definir protocolos para sistemas abiertos que permitan la interacción entre equipos y dispositivos de diversa índole. En este contexto se plantea la definición del Protocolo de Teleoperación que permita la interconexión entre dispositivos maestros y esclavos de distinta tipología, pudiéndose comunicar bilateralmente entre sí y utilizar distintos algoritmos de control según la tarea a desempeñar. Este protocolo y su interconectividad se han puesto a prueba en la Plataforma Abierta de Teleoperación (P.A.T.) que se ha desarrollado e integrado en la ETSII UPM como una herramienta que permita probar, validar y realizar experimentos de telerrobótica. Actualmente, este Protocolo de Teleoperación se ha propuesto a través de AENOR al grupo ISO de Telerobotics como una solución válida al problema existente y se encuentra bajo revisión. Con el diseño de dicho protocolo se ha conseguido enlazar maestro y esclavo, sin embargo con los niveles de radiación tan altos que hay en ITER la electrónica del controlador no puede entrar dentro del tokamak. Por ello se propone que a través de una mínima electrónica convenientemente protegida se puedan multiplexar las señales de control que van a través del cableado umbilical desde el controlador hasta la base del robot. En este ejercicio teórico se demuestra la utilidad y viabilidad de utilizar este tipo de solución para reducir el volumen y peso del cableado umbilical en cifras aproximadas de un 90%, para ello hay que desarrollar una electrónica específica y con certificación RadHard para soportar los enormes niveles de radiación de ITER. Para este manipulador de tipo genérico y con ayuda de la Plataforma Abierta de Teleoperación, se ha desarrollado un algoritmo que mediante un sensor de fuerza/par y una IMU colocados en la muñeca del robot, y convenientemente protegidos ante la radiación, permiten calcular las fuerzas e inercias que produce la carga, esto es necesario para poder transmitirle al operador unas fuerzas escaladas, y que pueda sentir la carga que manipula, y no otras fuerzas que puedan influir en el esclavo remoto, como ocurre con otras técnicas de estimación de fuerzas. Como el blindaje de los sensores no debe ser grande ni pesado, habrá que destinar este tipo de tecnología a las tareas de mantenimiento de las paradas programadas de ITER, que es cuando los niveles de radiación están en sus valores mínimos. Por otro lado para que el operador sienta lo más fielmente posible la fuerza de carga se ha desarrollado una electrónica que mediante el control en corriente de los motores permita realizar un control en fuerza a partir de la caracterización de los motores del maestro. Además para aumentar la percepción del operador se han realizado unos experimentos que demuestran que al aplicar estímulos multimodales (visuales, auditivos y hápticos) aumenta su inmersión y el rendimiento en la consecución de la tarea puesto que influyen directamente en su capacidad de respuesta. Finalmente, y en referencia a la realimentación visual del operador, en ITER se trabaja con cámaras situadas en localizaciones estratégicas, si bien el humano cuando manipula objetos hace uso de su visión binocular cambiando constantemente el punto de vista adecuándose a las necesidades visuales de cada momento durante el desarrollo de la tarea. Por ello, se ha realizado una reconstrucción tridimensional del espacio de la tarea a partir de una cámara-sensor RGB-D, lo cual nos permite obtener un punto de vista binocular virtual móvil a partir de una cámara situada en un punto fijo que se puede proyectar en un dispositivo de visualización 3D para que el operador pueda variar el punto de vista estereoscópico según sus preferencias. La correcta integración de estas tecnologías para la interacción hombre-robot en la P.A.T. ha permitido validar mediante pruebas y experimentos para verificar su utilidad en la aplicación práctica de la telemanipulación con alto grado de escalado en entornos nucleares de fusión. Abstract This thesis focuses on developing technologies for human-robot interaction in nuclear fusion environments. The main problem of nuclear fusion sector resides in such extreme environmental conditions existing in the hot-cell, leading to very restrictive requirements for equipment in order to deal with these high levels of radiation, magnetism, ultravacuum, temperature... Since it is not feasible to carry out tasks directly by humans, we must use remote handling devices for accomplishing operation and maintenance processes. In ITER facilities it is mandatory to have a controlled environment of extreme safety and security with validated standards. The definition and use of protocols is essential to govern its operation. Focusing on Remote Handling with some degree of escalation, protocols must be defined for open systems to allow interaction among different kind of equipment and several multifunctional devices. In this context, a Teleoperation Protocol definition enables interconnection between master and slave devices from different typologies, being able to communicate bilaterally one each other and using different control algorithms depending on the task to perform. This protocol and its interconnectivity have been tested in the Teleoperation Open Platform (T.O.P.) that has been developed and integrated in the ETSII UPM as a tool to test, validate and conduct experiments in Telerobotics. Currently, this protocol has been proposed for Teleoperation through AENOR to the ISO Telerobotics group as a valid solution to the existing problem, and it is under review. Master and slave connection has been achieved with this protocol design, however with such high radiation levels in ITER, the controller electronics cannot enter inside the tokamak. Therefore it is proposed a multiplexed electronic board, that through suitable and RadHard protection processes, to transmit control signals through an umbilical cable from the controller to the robot base. In this theoretical exercise the utility and feasibility of using this type of solution reduce the volume and weight of the umbilical wiring approximate 90% less, although it is necessary to develop specific electronic hardware and validate in RadHard qualifications in order to handle huge levels of ITER radiation. Using generic manipulators does not allow to implement regular sensors for force feedback in ITER conditions. In this line of research, an algorithm to calculate the forces and inertia produced by the load has been developed using a force/torque sensor and IMU, both conveniently protected against radiation and placed on the robot wrist. Scaled forces should be transmitted to the operator, feeling load forces but not other undesirable forces in slave system as those resulting from other force estimation techniques. Since shielding of the sensors should not be large and heavy, it will be necessary to allocate this type of technology for programmed maintenance periods of ITER, when radiation levels are at their lowest levels. Moreover, the operator perception needs to feel load forces as accurate as possible, so some current control electronics were developed to perform a force control of master joint motors going through a correct motor characterization. In addition to increase the perception of the operator, some experiments were conducted to demonstrate applying multimodal stimuli (visual, auditory and haptic) increases immersion and performance in achieving the task since it is directly correlated with response time. Finally, referring to the visual feedback to the operator in ITER, it is usual to work with 2D cameras in strategic locations, while humans use binocular vision in direct object manipulation, constantly changing the point of view adapting it to the visual needs for performing manipulation during task procedures. In this line a three-dimensional reconstruction of non-structured scenarios has been developed using RGB-D sensor instead of cameras in the remote environment. Thus a mobile virtual binocular point of view could be generated from a camera at a fixed point, projecting stereoscopic images in 3D display device according to operator preferences. The successful integration of these technologies for human-robot interaction in the T.O.P., and validating them through tests and experiments, verify its usefulness in practical application of high scaling remote handling at nuclear fusion environments.

Evaluación del tiempo de reacción en velocistas con y sin discapacidad auditiva: aplicaciones para la inclusión

Este trabajo de investigación trata de aportar luz al estudio del tiempo de reacción (TR) en velocistas con y sin discapacidad auditiva desde las Ciencias del Deporte. El planteamiento del presente estudio surgió al cuestionarnos la existencia de las diferencias en cuanto al TR visual y auditivo aplicado a velocistas con y sin discapacidad auditiva, pensando en el desarrollo futuro de competiciones inclusivas entre ambos colectivos. Por ello, este estudio trata de resolver las dificultades que los velocistas con discapacidad se encuentran habitualmente en las competiciones. A priori, los atletas con discapacidad auditiva compiten en inferioridad de condiciones como consecuencia de una salida que no parece la más adecuada para ellos (desde los tacos, han de mirar hacia la pistola del juez o el movimiento de un rival). El documento se divide en tres partes. En la primera parte se realiza la pertinente revisión del marco teórico y justificación del estudio. La segunda parte se centra en los objetivos de la investigación, el material y el método, donde se muestran los resultados, discusión y conclusiones del estudio realizado, así como las limitaciones del presente trabajo y sus futuras líneas de investigación. La tercera parte corresponde a la bibliografía y la cuarta parte a los anexos. En la primera parte, presentamos el marco teórico compuesto por cinco capítulos organizan la fundamentación que hemos realizado como revisión sobre los aspectos más destacados del TR, determinado por las características de la tarea y otros factores que influyen en el TR como objeto de nuestro estudio. Después exponemos los principales aspectos estructurales y funcionales del sistema nervioso (SN) relacionados con el TR visual y auditivo. Tras ello se expone la realidad del deporte para personas con discapacidad auditiva, indagando en sus peculiaridades y criterios de elegibilidad que tiene ese colectivo dentro del ámbito deportivo. A continuación abordamos el estudio de la salida de velocidad en el atletismo, como aspecto clave que va a guiar nuestra investigación, especialmente los parámetros determinantes en la colocación de los tacos de salida para atletas con y sin discapacidad auditiva, la posición de salida y la propia colocación de los estímulos en dicha situación. Es la segunda parte se desarrolla el trabajo de investigación que tiene como objetivos estudiar los valores de TR visual simple manual, TR en salida de tacos y los tiempos de desplazamiento a los 10m y 20m de velocistas con y sin discapacidad auditiva, así como analizar las posibles diferencias en TR según posición y tipo de estímulo luminoso, respecto a ambos grupos de atletas. Como tercer objetivo de estudio se evalúa cualitativamente, por parte de los propios atletas, el dispositivo luminoso utilizado. La toma de datos de este estudio se llevó a cabo entre los meses de febrero y mayo del 2014, en el módulo de atletismo del Centro de Alto Rendimiento Joaquín Blume (Madrid), con dos grupos de estudio, uno de 9 velocistas con discapacidad auditiva (VDA), conformando éstos el 60% de toda la población en España, según el número de las licencias de la FEDS en la modalidad de atletismo (velocistas, pruebas de 100 y 200 m.l.), en el momento del estudio, y otro de 13 velocistas sin discapacidad (VsDA) que se presentaron de manera voluntaria con unos mismos criterios de inclusión para ambos grupos. Para la medición y el registro de los datos se utilizaron materiales como hoja de registro, Medidor de Tiempo de Reacción (MTR), tacos de salida, ReacTime®, dispositivo luminoso conectado a los tacos de salida, células fotoeléctricas, ordenador y software del ReacTime, y cámara de video. La metodología utilizada en este estudio fue de tipo correlacional, analizando los resultados del TR simple manual según vía sensitiva (visual y auditiva) entre los dos grupos de VDA y VsDA. También se estudiaron los TR desde la salida de tacos en función de la colocación del dispositivo luminoso (en el suelo y a 5 metros, vía visual) y pistola de salida atlética (vía auditiva) así como el tiempo de desplazamiento a los 10m (t10m) y 20m (t20m) de ambos grupos de velocistas. Finalmente, se desarrolló y llevó a cabo un cuestionario de evaluación por parte de los atletas VDA con el objetivo de conocer el grado de satisfacción después de haber realizado la serie de experimentos con el dispositivo luminoso y adaptado para sistemas de salida en la velocidad atlética. Con el objetivo de comprobar la viabilidad de la metodología descrita y probar en el contexto de análisis real el protocolo experimental, se realizó un estudio piloto con el fin de conocer las posibles diferencias del TR visual desde los tacos de salida en velocistas con discapacidad auditiva, usando para dicha salida un estímulo visual mediante un dispositivo luminoso coordinado con la señal sonora de salida (Soto-Rey, Pérez-Tejero, Rojo-González y Álvarez-Ortiz, 2015). En cuanto a los procedimientos estadísticos utilizados, con el fin de analizar la distribución de los datos y su normalidad, se aplicó la prueba de Kolmogorov-Smirnof, dicha prueba arrojó resultados de normalidad para todas las variables analizadas de las situaciones experimentales EA, EVsuelo y EV5m. Es por ello que en el presente trabajo de investigación se utilizó estadística paramétrica. Como medidas descriptivas, se calcularon el máximo, mínimo, media y la desviación estándar. En relación a las situaciones experimentales, para estudiar las posibles diferencias en las variables estudiadas dentro de cada grupo de velocistas (intragrupo) en la situación experimental 1 (MTR), se empleó una prueba T de Student para muestras independientes. En las situaciones experimentales 2, 3 y 4, para conocer las diferencias entre ambos grupos de velocistas en cada situación, se utilizó igualmente la prueba T para muestras independientes, mientras que un ANOVA simple (con post hoc Bonferroni) se utilizó para analizar las diferencias para cada grupo (VDA y VsDA) por situación experimental. Así mismo, se utilizó un ANOVA de medidas repetidas, donde el tipo de estímulo (situación experimental) fue la variable intra-grupo y el grupo de velocistas participantes (VDA y VsDA) la entre-grupo, realizándose esta prueba para evaluar en cada situación el TR, t1m0 y t20m y las interacciones entre las variables. Para el tratamiento estadístico fue utilizado el paquete estadístico SPSS 18.0 (Chicago, IL, EEUU). Los niveles de significación fueron establecidos para un ≤0.05, indicando el valor de p en cada caso. Uno de los aspectos más relevantes de este trabajo es la medición en diferentes situaciones, con instrumentación distinta y con situaciones experimentales distintas, del TR en velocistas con y sin discapacidad auditiva. Ello supuso el desarrollo de un diseño de investigación que respondió a las necesidades planteadas por los objetivos del estudio, así como el desarrollo de instrumentación específica (Rojo-Lacal, Soto-Rey, Pérez-Tejero y Rojo-González, 2014; Soto-Rey et al., 2015) y distintas situaciones experimentales que reprodujeran las condiciones de práctica y competición real de VsDA y VDA en las pruebas atléticas de velocidad, y más concretamente, en las salidas. El análisis estadístico mostró diferencias significativas entre los estímulos visuales y sonoros medidos con el MTR, siendo menor el TR ante el estímulo visual que ante el sonoro, tanto para los atletas con discapacidad auditiva como para los que no la presentaron (TR visual, 0.195 s ± 0.018 vs 0.197 s ± 0.022, p≤0.05; TR sonoro 0.230 s ± 0.016 vs 0.237 s ± 0.045, p≤0.05). Teniendo en cuenta los resultados según población objeto de estudio y situación experimental, se registraron diferencias significativas entre ambas poblaciones, VDA y VsDA, siendo más rápidos los VDA que VsDA en la situación experimental con el estímulo visual en el suelo (EVsuelo, 0.191 ±0.025 vs 0.210 ±0.025, p≤0.05, respectivamente) y los VsDA en la situación experimental con el estímulo auditivo (EA, 0.396 ±0.045 vs 0.174 ±0.021, p≤0.05), aunque sin diferencias entre ambos grupos en la situación experimental con el estímulo visual a 5m de los tacos de salida. Es de destacar que en el TR no hubo diferencias significativas entre EA para VsDA y EVsuelo para VDA. El ANOVA simple registró diferencias significativas en todas las situaciones experimentales dentro de cada grupo y para todas las variables, por lo que estadísticamente, las situaciones experimentales fueron diferentes entre sí. En relación al de ANOVA medidas repetidas, la prueba de esfericidad se mostró adecuada, existiendo diferencias significativas en las varianzas de los pares de medias: el valor de F indicó que existieron diferencias entre las diferentes situaciones experimentales en cuanto a TR, incluso cuando éstas se relacionaban con el factor discapacidad (factor interacción, p≤0,05). Por ello, queda patente que las situaciones son distintas entre sí, también teniendo en cuenta la discapacidad. El η2 (eta al cuadrado, tamaño del efecto, para la interacción) indica que el 91.7% de la variación se deben a las condiciones del estudio, y no al error (indicador de la generalización de los resultados del estudio). Por otro lado, la evaluación del dispositivo luminoso fue positiva en relación a la iluminación, comodidad de uso, ubicación, color, tamaño, adecuación del dispositivo y del equipamiento necesario para adaptar al sistema de salida. La totalidad de los atletas afirman rotundamente que el dispositivo luminoso favorecería la adaptación al sistema de salida atlética para permitir una competición inclusiva. Asimismo concluyen que el dispositivo luminoso favorecería el rendimiento o mejora de marca en la competición. La discusión de este estudio presenta justificación de las diferencias demostradas que el tipo de estímulo y su colocación son clave en el TR de esta prueba, por lo que podríamos argumentar la necesidad de contar con dispositivos luminosos para VDA a la hora de competir con VsDA en una misma prueba, inclusiva. El presente trabajo de investigación ha demostrado, aplicando el método científico, que el uso de estos dispositivos, en las condiciones técnicas y experimentales indicadas, permite el uso por parte del VDA, usando su mejor TR visual posible, que se muestra similar (ns) al TR auditivo de VsDA, lo que indica que, para competiciones inclusivas, la salida usando el semáforo (para VDA) y la salida habitual (estímulo sonoro) para VsDA, puede ser una solución equitativa en base a la evidencia demostrada en este estudio. De esta manera, y como referencia, indicar que la media de los TR de los velocistas en la final de los 100 m.l. en los Juegos Olímpicos de Londres 2012 fue de 0.162 ±0.015. De esta manera, creemos que estos parámetros sirven de referencia a técnicos deportivos, atletas y futuros trabajos de investigación. Las aplicaciones de este trabajo permitirán modificaciones y reflexiones en forma de apoyo al entrenamiento y la competición para el entrenador, o juez de salida en la competición que, creemos, es necesaria para proporcionar a este colectivo una atención adecuada en las salidas, especialmente en situaciones inclusivas de práctica. ABSTRACT This research aims to study of reaction time (RT) in sprinters with and without hearing impairment from the Sports Science perspective. The approach of this study came asking whether there were differences in the visual and auditory RT applied to sprinters with and without hearing impairment, thinking about the future development of inclusive competition between the two groups. Therefore, this study attempts to resolve the difficulties commonly founded by sprinters with hearing impairments during competitions. A priori, sprinters with hearing impairment would compete in a disadvantage situation as a result of the use of a staring signal not suitable for them (from the blocks, they have to look to the judge´s pistol or the movement of an opponent). The document is divided into three parts. In the first part of the review of relevant theoretical framework and justification of the study is presented. The second part focuses on the research objectives, material and method, where results, discussion and conclusions of the study, as well as the limitations of this study and future research are presented. The third part contains references and the fourth, annexes. In the first part, we present the theoretical framework consisting of five chapters, organizing the state of the art of RT, determined by the characteristics of the task and other factors that influence the RT as object of our study. Then we present the main structural and functional aspects of the nervous system associated with visual and auditory RT. After that, sport for people with hearing disabilities is presented, investigating its peculiarities and eligibility criteria is that group within the deaf sport. Finally, we discuss the theoretical foundation of the study of start speed in athletics as a key aspect that will guide our research, especially the determining parameters in placing the starting blocks for athletes with and without hearing impairment, the starting position and the actual placement of stimuli in such a situation. The second part of the research aims to study the values of simple manual visual RT, RT start from blocks and travel times up to 10m and 20m of sprinters with and without hearing impairment, and to analyze possible differences in RT as position and type of light stimulus with respect to both groups of athletes. The third objective of the study is to assess the pertinence of the lighting device developed and used in the study, in a qualitatively way by athletes themselves. Data collection for this study was carried out between February and May 2014, in the Athletics module at the High Performance Centre Joaquin Blume (Madrid) with the two study groups: 9 sprinters with hearing impairments(VDA, reaching 60% of the population in Spain, according to the number of licenses for athletics at FEDS: sprint, 100 and 200 m.l., at the time of the study), and another 13 sprinters without disability (VsDA) who voluntarily presented themselves, with same inclusion criteria for both groups. For measuring and data collection materials such as recording sheet, gauge reaction time (MTR), starting blocks, ReacTime®, luminous device connected to the starting blocks, photocells, computer and software ReacTime, and video camera were used. The methodology used in this study was correlational, analyzing the results of simple manual RT according sensory pathway (visual and auditory) between the two groups (VsDA and VDA). Also auditory and visual RT was studied depending the placement of the start light signal (on the ground and 5 meters, visual pathway) and athletic start gun signal (auditory pathway, conventional situation) and travel time up to 10m (t10m) and 20m (t20m) for both groups of sprinters. Finally, we developed and carried out an evaluation questionnaire for VDA athletes in order to determine the degree of satisfaction after completing the series of experiments with lighting device and adapted to start systems in athletic speed. In order to test the feasibility of the methodology described and tested in the context of real analysis of the experimental protocol, a pilot study in order to know the possible differences visual RT from the starting blocks in sprinters with hearing impairments was performed, to said output using a visual stimulus coordinated by a lighting device with sound output signal (Soto-Rey Perez-Tejero, Rojo-González y Álvarez-Ortiz, 2015). For the statistical procedures, in order to analyze the distribution of the data and their normality, Kolmogorov-Smirnov test was applied, this test yielded normal results for all variables analyzed during EA, EVsuelo and EV5m experimental situations. Parametric statistics were used in this research. As descriptive measures, the maximum, minimum, mean and standard deviation were calculated. In relation to experimental situations, to study possible differences in the variables studied in each group sprinters (intragroup) in the experimental situation 1 (MTR), a Student t test was used for independent samples. Under the experimental situations 2, 3 and 4, to know the differences between the two groups of sprinters in every situation, the T test for independent samples was used, while a simple ANOVA (with post hoc Bonferroni) was used to analyze differences for each group (VDA and VsDA) by experimental situation. Likewise, a repeated measures ANOVA, where the type of stimulus (experimental situation) was variable intra-group and participants sprinters group (VDA and VsDA) the variable between-group, was performed to assess each situation for RT, t10m and t20m, and also interactions between variables. For the statistical treatment SPSS 18.0 (Chicago, IL, USA) was used. Significance levels were set for  ≤0.05, indicating the value of p in each case. One of the most important aspects of this work is the measurement of RT in sprinters with and without hearing impairment in different situations, with different instrumentation and different experimental situations. This involved the development of a research design that responded to the needs raised by the study aims and the development of specific instrumentation (Rojo-Lacal, Soto-Rey Perez-Tejero and Rojo-Gonzalez, 2014; Soto-Rey et al., 2015) and different experimental situations to reproduce the conditions of practical and real competition VsDA and VDA in athletic sprints, and more specifically, at the start. Statistical analysis showed significant differences between the visual and sound stimuli measured by the MTR, with lower RT to the visual stimulus that for sound, both for athletes with hearing disabilities and for those without (visual RT, 0.195 s ± 0.018 s vs 0.197 ± 0.022, p≤0.05; sound RT 0.230 s ± 0.016 vs 0.237 s ± 0.045, p≤0.05). Considering the results according to study population and experimental situation, significant differences between the two populations, VDA and VsDA were found, being faster the VDA than VsDA in the experimental situation with the visual stimulus on the floor (EVsuelo, recorded 0.191 s ± 0.025 vs 0.210 s ± 0.025, p≤0.05, respectively) and VsDA in the experimental situation with the auditory stimulus (EA, 0.396 s ± 0.045 vs 0.174 s ± 0.021, p≤0.05), but no difference between groups in the experimental situation with the 5m visual stimulus to the starting blocks. It is noteworthy that no significant differences in EA and EVsuelo between VsDA to VDA, respectively, for RT. Simple ANOVA showed significant differences in all experimental situations within each group and for all variables, so statistically, the experimental situations were different. Regarding the repeated measures ANOVA, the sphericity test showed adequate, and there were significant differences in the variances of the pairs of means: the value of F indicated that there were differences between the different experimental situations regarding RT, even when they were related to the disability factor (factor interaction, p≤0.05). Therefore, it is clear that the situations were different from each other, also taking into account impairment. The η2 (eta squared, effect size, for interaction) indicates that 91.7% of the variation is due to the conditions of the study, not by error (as indicator of the generalization potential of the study results). On the other hand, evaluation of the light signal was positively related to lighting, ease of use, location, color, size, alignment device and equipment necessary to adapt the start system. All the athletes claim strongly in favor of the lighting device adaptation system to enable athletic competition inclusive. Also they concluded that light device would enhance performance or would decrease their RT during the competition. The discussion of this study justify the type of stimulus and the start light positioning as key to the RT performance, so that we could argue the need for lighting devices for VDA when competing against VsDA the same competition, inclusive. This research has demonstrated, applying the scientific method, that the use of these devices, techniques and given experimental conditions, allows the use of the VDA, using his best visual RT, shown similar (ns) auditory RT of VsDA, indicating that for inclusive competitions, the start signal using the light (for VDA) and the usual start (sound stimulus) to VsDA can be an equitable solution based on the evidence shown in this study. Thus, and as a reference, indicate that the average of the RT sprinters in the 100 m. final at the 2012 Summer Olympic Games was 0.162 s ± 0.015. Thus, we believe that these parameters become a reference to sports coaches, athletes and future research. Applications of this work will allow modifications and reflections in the form of support for training and competition for the coach, or judge, as we believe is necessary to provide adequate attention to VDA in speed starts, especially in inclusive practice situations.

Development of a hand-gesture recognition system for human-computer interaction

The aim of this Master Thesis is the analysis, design and development of a robust and reliable Human-Computer Interaction interface, based on visual hand-gesture recognition. The implementation of the required functions is oriented to the simulation of a classical hardware interaction device: the mouse, by recognizing a specific hand-gesture vocabulary in color video sequences. For this purpose, a prototype of a hand-gesture recognition system has been designed and implemented, which is composed of three stages: detection, tracking and recognition. This system is based on machine learning methods and pattern recognition techniques, which have been integrated together with other image processing approaches to get a high recognition accuracy and a low computational cost. Regarding pattern recongition techniques, several algorithms and strategies have been designed and implemented, which are applicable to color images and video sequences. The design of these algorithms has the purpose of extracting spatial and spatio-temporal features from static and dynamic hand gestures, in order to identify them in a robust and reliable way. Finally, a visual database containing the necessary vocabulary of gestures for interacting with the computer has been created.