Volume Haptics and Dendritic Spine Editing

Esta tesis se ha desarrollado en el contexto del proyecto Cajal Blue Brain, una iniciativa europea dedicada al estudio del cerebro. Uno de los objetivos de esta iniciativa es desarrollar nuevos métodos y nuevas tecnologías que simplifiquen el análisis de datos en el campo neurocientífico. El presente trabajo se ha centrado en diseñar herramientas que combinen información proveniente de distintos canales sensoriales con el fin de acelerar la interacción y análisis de imágenes neurocientíficas. En concreto se estudiará la posibilidad de combinar información visual con información háptica. Las espinas dendríticas son pequeñas protuberancias que recubren la superficie dendrítica de muchas neuronas del cerebro. A día de hoy, se cree que tienen un papel clave en la transmisión de señales neuronales. Motivo por el cual, el interés por parte de la comunidad científica por estas estructuras ha ido en aumento a medida que las técnicas de adquisición de imágenes mejoraban hasta alcanzar una calidad suficiente para analizar dichas estructuras. A menudo, los neurocientíficos utilizan técnicas de microscopía con luz para obtener los datos que les permitan analizar estructuras neuronales tales como neuronas, dendritas y espinas dendríticas. A pesar de que estas técnicas ofrezcan ciertas ventajas frente a su equivalente electrónico, las técnicas basadas en luz permiten una menor resolución. En particular, estructuras pequeñas como las espinas dendríticas pueden capturarse de forma incorrecta en las imágenes obtenidas, impidiendo su análisis. En este trabajo, se presenta una nueva técnica, que permite editar imágenes volumétricas, mediante un dispositivo háptico, con el fin de reconstruir de los cuellos de las espinas dendríticas. Con este objetivo, en un primer momento se desarrolló un algoritmo que proporciona retroalimentación háptica en datos volumétricos, completando la información que provine del canal visual. Dicho algoritmo de renderizado háptico permite a los usuarios tocar y percibir una isosuperficie en el volumen de datos. El algoritmo asegura un renderizado robusto y eficiente. Se utiliza un método basado en las técnicas de “marching tetrahedra” para la extracción local de una isosuperficie continua, lineal y definida por intervalos. La robustez deriva tanto de una etapa de detección de colisiones continua de la isosuperficie extraída, como del uso de técnicas eficientes de renderizado basadas en un proxy puntual. El método de “marching tetrahedra” propuesto garantiza que la topología de la isosuperficie extraída coincida con la topología de una isosuperficie equivalente determinada utilizando una interpolación trilineal. Además, con el objetivo de mejorar la coherencia entre la información háptica y la información visual, el algoritmo de renderizado háptico calcula un segundo proxy en la isosuperficie pintada en la pantalla. En este trabajo se demuestra experimentalmente las mejoras en, primero, la etapa de extracción de isosuperficie, segundo, la robustez a la hora de mantener el proxy en la isosuperficie deseada y finalmente la eficiencia del algoritmo. En segundo lugar, a partir del algoritmo de renderizado háptico propuesto, se desarrolló un procedimiento, en cuatro etapas, para la reconstrucción de espinas dendríticas. Este procedimiento, se puede integrar en los cauces de segmentación automática y semiautomática existentes como una etapa de pre-proceso previa. El procedimiento está diseñando para que tanto la navegación como el proceso de edición en sí mismo estén controlados utilizando un dispositivo háptico. Se han diseñado dos experimentos para evaluar esta técnica. El primero evalúa la aportación de la retroalimentación háptica y el segundo se centra en evaluar la idoneidad del uso de un háptico como dispositivo de entrada. En ambos casos, los resultados demuestran que nuestro procedimiento mejora la precisión de la reconstrucción. En este trabajo se describen también dos casos de uso de nuestro procedimiento en el ámbito de la neurociencia: el primero aplicado a neuronas situadas en la corteza cerebral humana y el segundo aplicado a espinas dendríticas situadas a lo largo de neuronas piramidales de la corteza del cerebro de una rata. Por último, presentamos el programa, Neuro Haptic Editor, desarrollado a lo largo de esta tesis junto con los diferentes algoritmos ya mencionados. ABSTRACT This thesis took place within the Cajal Blue Brain project, a European initiative dedicated to the study of the brain. One of the main goals of this project is the development of new methods and technologies simplifying data analysis in neuroscience. This thesis focused on the development of tools combining information originating from distinct sensory channels with the aim of accelerating both the interaction with neuroscience images and their analysis. In concrete terms, the objective is to study the possibility of combining visual information with haptic information. Dendritic spines are thin protrusions that cover the dendritic surface of numerous neurons in the brain and whose function seems to play a key role in neural circuits. The interest of the neuroscience community toward those structures kept increasing as and when acquisition methods improved, eventually to the point that the produced datasets enabled their analysis. Quite often, neuroscientists use light microscopy techniques to produce the dataset that will allow them to analyse neuronal structures such as neurons, dendrites and dendritic spines. While offering some advantages compared to their electronic counterpart, light microscopy techniques achieve lower resolutions. Particularly, small structures such as dendritic spines might suffer from a very low level of fluorescence in the final dataset, preventing further analysis. This thesis introduces a new technique enabling the edition of volumetric datasets in order to recreate dendritic spine necks using a haptic device. In order to fulfil this objective, we first presented an algorithm to provide haptic feedback directly from volumetric datasets, as an aid to regular visualization. The haptic rendering algorithm lets users perceive isosurfaces in volumetric datasets, and it relies on several design features that ensure a robust and efficient rendering. A marching tetrahedra approach enables the dynamic extraction of a piecewise linear continuous isosurface. Robustness is derived using a Continuous Collision Detection step coupled with acknowledged proxy-based rendering methods over the extracted isosurface. The introduced marching tetrahedra approach guarantees that the extracted isosurface will match the topology of an equivalent isosurface computed using trilinear interpolation. The proposed haptic rendering algorithm improves the coherence between haptic and visual cues computing a second proxy on the isosurface displayed on screen. Three experiments demonstrate the improvements on the isosurface extraction stage as well as the robustness and the efficiency of the complete algorithm. We then introduce our four-steps procedure for the complete reconstruction of dendritic spines. Based on our haptic rendering algorithm, this procedure is intended to work as an image processing stage before the automatic segmentation step giving the final representation of the dendritic spines. The procedure is designed to allow both the navigation and the volume image editing to be carried out using a haptic device. We evaluated our procedure through two experiments. The first experiment concerns the benefits of the force feedback and the second checks the suitability of the use of a haptic device as input. In both cases, the results shows that the procedure improves the editing accuracy. We also report two concrete cases where our procedure was employed in the neuroscience field, the first one concerning dendritic spines in the human cortex, the second one referring to an ongoing experiment studying dendritic spines along dendrites of mouse cortical pyramidal neurons. Finally, we present the software program, Neuro Haptic Editor, that was built along the development of the different algorithms implemented during this thesis, and used by neuroscientists to use our procedure.

Metodología de Diseño y Análisis de Sistemas Teleoperados Considerando Dinámica No Lineal

Cuando la separación física entre el sistema local y remoto es relativamente corta, el retardo no es perceptible; sin embargo, cuando el manipulador local y el manipulador remoto se encuentran a una distancia lejana uno del otro, el retardo de tiempo ya no es insignificante e influye negativamente en la realización de la tarea. El retardo de tiempo en un sistema de control introduce un atraso de fase que a su vez degrada el rendimiento del sistema y puede causar inestabilidad. Los sistemas de teleoperación pueden sacar provecho de la posibilidad de estar presente en dos lugares simultáneamente, sin embargo, el uso de Internet y otras redes de conmutación de paquetes, tales como Internet2, impone retardos de tiempo variables, haciendo que los esquemas de control ya establecidos elaboren soluciones para hacer frente a inestabilidades causadas por estos retardos de tiempo variables. En este trabajo de tesis se presenta el modelado y análisis de un sistema de teloperación bilateral no lineal de n grados de libertad controlado por convergencia de estado. La comunicación entre el sitio local y remoto se realiza mediante un canal de comunicación con retardo de tiempo. El análisis presentado en este trabajo considera que el retardo puede ser constante o variable. Los principales objetivos de este trabajo son; 1) Desarrollar una arquitectura de control no lineal garantizando la estabilidad del sistema teleoperado, 2) Evaluar la estabilidad del sistema considerando el retardo en la comunicación, y 3) Implementación de los algoritmos desarrollados para probar el desempeño de los mismos en un sistema experimental de 3 grados de libertad. A través de la teoría de Estabilidad de Lyapunov y el funcional Lyapunov-Krasovskii, se demuestra que el sistema de lazo cerrado es asintóticamente estable. Estas conclusiones de estabilidad se han obtenido mediante la integración de la función de Lyapunov y aplicando el Lema de Barbalat. Se demuestra también que se logra sincronizar las posiciones del manipulador local y remoto cuando el operador humano no mueve el manipulador local y el manipulador remoto se mueve libremente. El esquema de control propuesto se ha validado mediante simulación y en forma experimental empleando un sistema de teleoperación real desarrollado en esta tesis doctoral y que consta de un un manipulador serie planar de tres grados de libertad, un manipulador local, PHANTOM Omni, el cual es un dispositivo haptico fabricado que consta de 3 grados de libertad (en fuerza) y que proporciona realimentación de fuerza en los ejes x,y,z. El control en tiempo real se ha diseñado usando el Sistema Operativo en Tiempo Real QuaRC de QUARC en el lado local y el Simulink Real-Time Windows TargetTM en el lado remoto. Para finalizar el resumen se destaca el impacto de esta tesis en el mundo científico a través de los resultados publicados: 2 artículos en revistas con índice de impacto , 1 artículo en una revista indexada en Sistemas, Cibernética e Informática, 7 artículos en congresos y ha obtenido un premio en la 9a. Conferencia Iberoamericana en Sistemas, Cibernética e Informática, 2010. ABSTRACT When the physical separation between the local and remote system is relatively short, the delay is not noticeable; however, when the local manipulator and the remote manipulator are at a far distance from each other, the time delay is no longer negligible and negatively influences the performance of the task. The time delay in a control system introduces a phase delay which in turn degrades the system performance and cause instability. Teleoperation systems can benefit from the ability to be in two places simultaneously, however, the use of Internet and other packet switched networks, such as Internet2, imposes varying time delays, making established control schemes to develop solutions to address these instabilities caused by different time delays. In this thesis work we present a modeling and analysis of a nonlinear bilateral teloperation system of n degrees of freedom controlled by state convergence strategy. Communication between the local and remote site is via a communication channel with time delay. The analysis presented in this work considers that the time-delay can be constant or variable. The main objectives of this work are; 1) Develop a nonlinear control schemes to ensure the stability of the teleoperated system, 2) Evaluate the system stability considering the delay in communication, and 3) Implementation of algorithms developed to test the performance of the teleoperation system in an experimental system of 3 degrees of freedom. Through the Theory of Stability of Lyapunov and the functional Lyapunov-Krasovskii, one demonstrates that the closed loop system is asymptotically stable.. The conclusions about stability were obtained by integration of the Lyapunov function and applying Barbalat Lemma. It further shows that the positions of the local and remote manipulator are synchronize when the human operator stops applying a constant force and the remote manipulator does not interact with the environment. The proposed control scheme has been validated by means of simulation and in experimental form using a developed system of real teleoperation in this doctoral thesis, which consists of a series planar manipulator of three degrees of freedom, a local manipulator, PHANTOM Omni, which is an haptic device that consists of 3 degrees of freedom (in force) and that provide feeback force in x-axis, and, z. The control in real time has been designed using the Operating system in Real time QuaRC of Quanser in the local side and the Simulink Real-Time Windows Target in the remote side. In order to finalize the summary, the highlights impact of this thesis in the scientific world are shows through the published results: 2 articles in Journals with impact factor, one article in a indexed Journal on Systemics, Cybernetics and Informatics, 7 articles in Conferences and has won an award in 9a. Conferencia Iberoamericana en Sistemas, Cibernética e Informática, 2010.

Non-invasive user monitoring in daily tasks for cognitive rehabilitation

El uso de técnicas para la monitorización del movimiento humano generalmente permite a los investigadores analizar la cinemática y especialmente las capacidades motoras en aquellas actividades de la vida cotidiana que persiguen un objetivo concreto como pueden ser la preparación de bebidas y comida, e incluso en tareas de aseo. Adicionalmente, la evaluación del movimiento y el comportamiento humanos en el campo de la rehabilitación cognitiva es esencial para profundizar en las dificultades que algunas personas encuentran en la ejecución de actividades diarias después de accidentes cerebro-vasculares. Estas dificultades están principalmente asociadas a la realización de pasos secuenciales y al reconocimiento del uso de herramientas y objetos. La interpretación de los datos sobre la actitud de este tipo de pacientes para reconocer y determinar el nivel de éxito en la ejecución de las acciones, y para ampliar el conocimiento en las enfermedades cerebrales, sus consecuencias y severidad, depende totalmente de los dispositivos usados para la captura de esos datos y de la calidad de los mismos. Más aún, existe una necesidad real de mejorar las técnicas actuales de rehabilitación cognitiva contribuyendo al diseño de sistemas automáticos para crear una especie de terapeuta virtual que asegure una vida más independiente de estos pacientes y reduzca la carga de trabajo de los terapeutas. Con este objetivo, el uso de sensores y dispositivos para obtener datos en tiempo real de la ejecución y estado de la tarea de rehabilitación es esencial para también contribuir al diseño y entrenamiento de futuros algoritmos que pudieran reconocer errores automáticamente para informar al paciente acerca de ellos mediante distintos tipos de pistas como pueden ser imágenes, mensajes auditivos o incluso videos. La tecnología y soluciones existentes en este campo no ofrecen una manera totalmente robusta y efectiva para obtener datos en tiempo real, por un lado, porque pueden influir en el movimiento del propio paciente en caso de las plataformas basadas en el uso de marcadores que necesitan sensores pegados en la piel; y por otro lado, debido a la complejidad o alto coste de implantación lo que hace difícil pensar en la idea de instalar un sistema en el hospital o incluso en la casa del paciente. Esta tesis presenta la investigación realizada en el campo de la monitorización del movimiento de pacientes para proporcionar un paso adelante en términos de detección, seguimiento y reconocimiento del comportamiento de manos, gestos y cara mediante una manera no invasiva la cual puede mejorar la técnicas actuales de rehabilitación cognitiva para la adquisición en tiempo real de datos sobre el comportamiento del paciente y la ejecución de la tarea. Para entender la importancia del marco de esta tesis, inicialmente se presenta un resumen de las principales enfermedades cognitivas y se introducen las consecuencias que tienen en la ejecución de tareas de la vida diaria. Más aún, se investiga sobre las metodologías actuales de rehabilitación cognitiva. Teniendo en cuenta que las manos son la principal parte del cuerpo para la ejecución de tareas manuales de la vida cotidiana, también se resumen las tecnologías existentes para la captura de movimiento de manos. Una de las principales contribuciones de esta tesis está relacionada con el diseño y evaluación de una solución no invasiva para detectar y seguir las manos durante la ejecución de tareas manuales de la vida cotidiana que a su vez involucran la manipulación de objetos. Esta solución la cual no necesita marcadores adicionales y está basada en una cámara de profundidad de bajo coste, es robusta, precisa y fácil de instalar. Otra contribución presentada se centra en el reconocimiento de gestos para detectar el agarre de objetos basado en un sensor infrarrojo de última generación, y también complementado con una cámara de profundidad. Esta nueva técnica, y también no invasiva, sincroniza ambos sensores para seguir objetos específicos además de reconocer eventos concretos relacionados con tareas de aseo. Más aún, se realiza una evaluación preliminar del reconocimiento de expresiones faciales para analizar si es adecuado para el reconocimiento del estado de ánimo durante la tarea. Por su parte, todos los componentes y algoritmos desarrollados son integrados en un prototipo simple para ser usado como plataforma de monitorización. Se realiza una evaluación técnica del funcionamiento de cada dispositivo para analizar si es adecuada para adquirir datos en tiempo real durante la ejecución de tareas cotidianas reales. Finalmente, se estudia la interacción con pacientes reales para obtener información del nivel de usabilidad del prototipo. Dicha información es esencial y útil para considerar una rehabilitación cognitiva basada en la idea de instalación del sistema en la propia casa del paciente al igual que en el hospital correspondiente. ABSTRACT The use of human motion monitoring techniques usually let researchers to analyse kinematics, especially in motor strategies for goal-oriented activities of daily living, such as the preparation of drinks and food, and even grooming tasks. Additionally, the evaluation of human movements and behaviour in the field of cognitive rehabilitation is essential to deep into the difficulties some people find in common activities after stroke. This difficulties are mainly associated with sequence actions and the recognition of tools usage. The interpretation of attitude data of this kind of patients in order to recognize and determine the level of success of the execution of actions, and to broaden the knowledge in brain diseases, consequences and severity, depends totally on the devices used for the capture of that data and the quality of it. Moreover, there is a real need of improving the current cognitive rehabilitation techniques by contributing to the design of automatic systems to create a kind of virtual therapist for the improvement of the independent life of these stroke patients and to reduce the workload of the occupational therapists currently in charge of them. For this purpose, the use of sensors and devices to obtain real time data of the execution and state of the rehabilitation task is essential to also contribute to the design and training of future smart algorithms which may recognise errors to automatically provide multimodal feedback through different types of cues such as still images, auditory messages or even videos. The technology and solutions currently adopted in the field don't offer a totally robust and effective way for obtaining real time data, on the one hand, because they may influence the patient's movement in case of marker-based platforms which need sensors attached to the skin; and on the other hand, because of the complexity or high cost of implementation, which make difficult the idea of installing a system at the hospital or even patient's home. This thesis presents the research done in the field of user monitoring to provide a step forward in terms of detection, tracking and recognition of hand movements, gestures and face via a non-invasive way which could improve current techniques for cognitive rehabilitation for real time data acquisition of patient's behaviour and execution of the task. In order to understand the importance of the scope of the thesis, initially, a summary of the main cognitive diseases that require for rehabilitation and an introduction of the consequences on the execution of daily tasks are presented. Moreover, research is done about the actual methodology to provide cognitive rehabilitation. Considering that the main body members involved in the completion of a handmade daily task are the hands, the current technologies for human hands movements capture are also highlighted. One of the main contributions of this thesis is related to the design and evaluation of a non-invasive approach to detect and track user's hands during the execution of handmade activities of daily living which involve the manipulation of objects. This approach does not need the inclusion of any additional markers. In addition, it is only based on a low-cost depth camera, it is robust, accurate and easy to install. Another contribution presented is focused on the hand gesture recognition for detecting object grasping based on a brand new infrared sensor, and also complemented with a depth camera. This new, and also non-invasive, solution which synchronizes both sensors to track specific tools as well as recognize specific events related to grooming is evaluated. Moreover, a preliminary assessment of the recognition of facial expressions is carried out to analyse if it is adequate for recognizing mood during the execution of task. Meanwhile, all the corresponding hardware and software developed are integrated in a simple prototype with the purpose of being used as a platform for monitoring the execution of the rehabilitation task. Technical evaluation of the performance of each device is carried out in order to analyze its suitability to acquire real time data during the execution of real daily tasks. Finally, a kind of healthcare evaluation is also presented to obtain feedback about the usability of the system proposed paying special attention to the interaction with real users and stroke patients. This feedback is quite useful to consider the idea of a home-based cognitive rehabilitation as well as a possible hospital installation of the prototype.

Haptically assisted connection procedure for the reconstruction of dendritic spines

Dendritic spines are thin protrusions that cover the dendritic surface of numerous neurons in the brain and whose function seems to play a key role in neural circuits. The correct segmentation of those structures is difficult due to their small size and the resulting spines can appear incomplete. This paper presents a four-step procedure for the complete reconstruction of dendritic spines. The haptically driven procedure is intended to work as an image processing stage before the automatic segmentation step giving the final representation of the dendritic spines. The procedure is designed to allow both the navigation and the volume image editing to be carried out using a haptic device. A use case employing our procedure together with a commercial software package for the segmentation stage is illustrated. Finally, the haptic editing is evaluated in two experiments; the first experiment concerns the benefits of the force feedback and the second checks the suitability of the use of a haptic device as input. In both cases, the results shows that the procedure improves the editing accuracy.

Desarrollo de tecnologías de telemanipulación con alto grado de escalado orientadas a la interacción hombre-robot en entornos nucleares

Esta tesis se centra en desarrollo de tecnologías para la interacción hombre-robot en entornos nucleares de fusión. La problemática principal del sector de fusión nuclear radica en las condiciones ambientales tan extremas que hay en el interior del reactor, y la necesidad de que los equipos cumplan requisitos muy restrictivos para poder aguantar esos niveles de radiación, magnetismo, ultravacío, temperatura... Como no es viable la ejecución de tareas directamente por parte de humanos, habrá que utilizar dispositivos de manipulación remota para llevar a cabo los procesos de operación y mantenimiento. En las instalaciones de ITER es obligatorio tener un entorno controlado de extrema seguridad, que necesita de estándares validados. La definición y uso de protocolos es indispensable para regir su buen funcionamiento. Si nos centramos en la telemanipulación con algo grado de escalado, surge la necesidad de definir protocolos para sistemas abiertos que permitan la interacción entre equipos y dispositivos de diversa índole. En este contexto se plantea la definición del Protocolo de Teleoperación que permita la interconexión entre dispositivos maestros y esclavos de distinta tipología, pudiéndose comunicar bilateralmente entre sí y utilizar distintos algoritmos de control según la tarea a desempeñar. Este protocolo y su interconectividad se han puesto a prueba en la Plataforma Abierta de Teleoperación (P.A.T.) que se ha desarrollado e integrado en la ETSII UPM como una herramienta que permita probar, validar y realizar experimentos de telerrobótica. Actualmente, este Protocolo de Teleoperación se ha propuesto a través de AENOR al grupo ISO de Telerobotics como una solución válida al problema existente y se encuentra bajo revisión. Con el diseño de dicho protocolo se ha conseguido enlazar maestro y esclavo, sin embargo con los niveles de radiación tan altos que hay en ITER la electrónica del controlador no puede entrar dentro del tokamak. Por ello se propone que a través de una mínima electrónica convenientemente protegida se puedan multiplexar las señales de control que van a través del cableado umbilical desde el controlador hasta la base del robot. En este ejercicio teórico se demuestra la utilidad y viabilidad de utilizar este tipo de solución para reducir el volumen y peso del cableado umbilical en cifras aproximadas de un 90%, para ello hay que desarrollar una electrónica específica y con certificación RadHard para soportar los enormes niveles de radiación de ITER. Para este manipulador de tipo genérico y con ayuda de la Plataforma Abierta de Teleoperación, se ha desarrollado un algoritmo que mediante un sensor de fuerza/par y una IMU colocados en la muñeca del robot, y convenientemente protegidos ante la radiación, permiten calcular las fuerzas e inercias que produce la carga, esto es necesario para poder transmitirle al operador unas fuerzas escaladas, y que pueda sentir la carga que manipula, y no otras fuerzas que puedan influir en el esclavo remoto, como ocurre con otras técnicas de estimación de fuerzas. Como el blindaje de los sensores no debe ser grande ni pesado, habrá que destinar este tipo de tecnología a las tareas de mantenimiento de las paradas programadas de ITER, que es cuando los niveles de radiación están en sus valores mínimos. Por otro lado para que el operador sienta lo más fielmente posible la fuerza de carga se ha desarrollado una electrónica que mediante el control en corriente de los motores permita realizar un control en fuerza a partir de la caracterización de los motores del maestro. Además para aumentar la percepción del operador se han realizado unos experimentos que demuestran que al aplicar estímulos multimodales (visuales, auditivos y hápticos) aumenta su inmersión y el rendimiento en la consecución de la tarea puesto que influyen directamente en su capacidad de respuesta. Finalmente, y en referencia a la realimentación visual del operador, en ITER se trabaja con cámaras situadas en localizaciones estratégicas, si bien el humano cuando manipula objetos hace uso de su visión binocular cambiando constantemente el punto de vista adecuándose a las necesidades visuales de cada momento durante el desarrollo de la tarea. Por ello, se ha realizado una reconstrucción tridimensional del espacio de la tarea a partir de una cámara-sensor RGB-D, lo cual nos permite obtener un punto de vista binocular virtual móvil a partir de una cámara situada en un punto fijo que se puede proyectar en un dispositivo de visualización 3D para que el operador pueda variar el punto de vista estereoscópico según sus preferencias. La correcta integración de estas tecnologías para la interacción hombre-robot en la P.A.T. ha permitido validar mediante pruebas y experimentos para verificar su utilidad en la aplicación práctica de la telemanipulación con alto grado de escalado en entornos nucleares de fusión. Abstract This thesis focuses on developing technologies for human-robot interaction in nuclear fusion environments. The main problem of nuclear fusion sector resides in such extreme environmental conditions existing in the hot-cell, leading to very restrictive requirements for equipment in order to deal with these high levels of radiation, magnetism, ultravacuum, temperature... Since it is not feasible to carry out tasks directly by humans, we must use remote handling devices for accomplishing operation and maintenance processes. In ITER facilities it is mandatory to have a controlled environment of extreme safety and security with validated standards. The definition and use of protocols is essential to govern its operation. Focusing on Remote Handling with some degree of escalation, protocols must be defined for open systems to allow interaction among different kind of equipment and several multifunctional devices. In this context, a Teleoperation Protocol definition enables interconnection between master and slave devices from different typologies, being able to communicate bilaterally one each other and using different control algorithms depending on the task to perform. This protocol and its interconnectivity have been tested in the Teleoperation Open Platform (T.O.P.) that has been developed and integrated in the ETSII UPM as a tool to test, validate and conduct experiments in Telerobotics. Currently, this protocol has been proposed for Teleoperation through AENOR to the ISO Telerobotics group as a valid solution to the existing problem, and it is under review. Master and slave connection has been achieved with this protocol design, however with such high radiation levels in ITER, the controller electronics cannot enter inside the tokamak. Therefore it is proposed a multiplexed electronic board, that through suitable and RadHard protection processes, to transmit control signals through an umbilical cable from the controller to the robot base. In this theoretical exercise the utility and feasibility of using this type of solution reduce the volume and weight of the umbilical wiring approximate 90% less, although it is necessary to develop specific electronic hardware and validate in RadHard qualifications in order to handle huge levels of ITER radiation. Using generic manipulators does not allow to implement regular sensors for force feedback in ITER conditions. In this line of research, an algorithm to calculate the forces and inertia produced by the load has been developed using a force/torque sensor and IMU, both conveniently protected against radiation and placed on the robot wrist. Scaled forces should be transmitted to the operator, feeling load forces but not other undesirable forces in slave system as those resulting from other force estimation techniques. Since shielding of the sensors should not be large and heavy, it will be necessary to allocate this type of technology for programmed maintenance periods of ITER, when radiation levels are at their lowest levels. Moreover, the operator perception needs to feel load forces as accurate as possible, so some current control electronics were developed to perform a force control of master joint motors going through a correct motor characterization. In addition to increase the perception of the operator, some experiments were conducted to demonstrate applying multimodal stimuli (visual, auditory and haptic) increases immersion and performance in achieving the task since it is directly correlated with response time. Finally, referring to the visual feedback to the operator in ITER, it is usual to work with 2D cameras in strategic locations, while humans use binocular vision in direct object manipulation, constantly changing the point of view adapting it to the visual needs for performing manipulation during task procedures. In this line a three-dimensional reconstruction of non-structured scenarios has been developed using RGB-D sensor instead of cameras in the remote environment. Thus a mobile virtual binocular point of view could be generated from a camera at a fixed point, projecting stereoscopic images in 3D display device according to operator preferences. The successful integration of these technologies for human-robot interaction in the T.O.P., and validating them through tests and experiments, verify its usefulness in practical application of high scaling remote handling at nuclear fusion environments.

Lo intermedio como lugar : lo intersticial, lo fronterizo y lo impreciso en la arquitectura contemporánea

1. Nuestra investigación se centra en el estudio de los “ámbitos o espacios intermedios” en momentos de la arquitectura contemporánea, en un período de transición entre finales de los años 80 y nuestros días. Pretendemos analizar cómo se presenta el ámbito intermedio en el objeto o lugar arquitectónico y su función o relación con el entorno cercano, desde el proyecto hasta su repercusión en la experiencia vivida. 2. El concepto de intermedio entendido como ámbito o espacio intersticial, fronterizo y ambivalente (o multivalente), atraviesa en la presente investigación el campo de la etimología, de la ciencia, del pensamiento y del arte, para detenerse en la arquitectura actual, llevándose a cabo una indagación concreta en el proceso de concepción, en la propuesta formal, espacial y funcional, así como en la percepción y demás experiencias o vivencias en el lugar arquitectónico. 3. En primer lugar nos proponemos estudiar y explorar el concepto de “intermedio” en sus características, funciones y ubicaciones dentro de la cultura contemporánea, detectando sus antecedentes culturales más importantes, para a continuación aplicarlo reflexivamente a obras significativas de arquitectura. La investigación se enfoca en la modalidad figural (imprecisa) de lo intermedio (en alusión al “figural” deleuziano), cuyas metáforas base son lo translúcido, la penumbra y la espuma, vinculadas al actual paradigma cultural de la complejidad (C. Jencks). A continuación se analizan las relaciones o implicaciones de dicha modalidad figural en obras de arquitectos como Eisenman, Holl, Tschumi, Ito, Fujimoto, Van Berkel y Bos, y Siza, comprobando su valor operativo y poniendo de manifiesto su sentido e importancia en la actualidad y en la disciplina. El estudio tiene como trasfondo el concepto de in-between de la obra de Eisenman, y utiliza conceptos de la filosofía del límite de Trías como algunos de sus principales fundamentos. 4. En cada una de las obras de arquitectura presentadas esta modalidad imprecisa se traduce en un ámbito o espacio intermedio figural específico. Son obras en las que real y virtual, matricial y objetual, arquitectura y territorio, existente y nuevo, colectivo e individual, social e íntimo, interior y exterior, y demás usos y funciones se entrelazan o funden. Son arquitecturas cuya geometría ya no se encuentra tan determinada por aspectos bi o tridimensionales del dibujo o de la construcción. A través de la manipulación de estas geometrías más o menos complejas, dinámicas e intersticiales, estas obras reflejan (o intuyen) las premisas del actual Zeitgeist: un cambio de esquemas de objetos a relaciones basado en un pensamiento más holístico, transdisciplinar, sistémico o complejo (E. Morin), y una nueva conciencia colectiva sobre la realidad que anuncia la crisis de la percepción, el cambio de paradigma y nuevos valores (F. Capra). Emerge otra forma de sentir y percibir el mundo, los lugares y los espacios, que poco a poco está cambiando el modo de pensar y dibujar la arquitectura, y consecuentemente de interaccionar con ella. 5. El sentido del espacio intermedio figural, emerge en las cada vez más complejas cualidades morfológico-espaciales y funcionales de una parte importante de la arquitectura actual. Arquitectura, geometría y tecnología informática están más entrelazadas que nunca, y de un modo más libre, para así poder indagar en nuevas formas de pensar y crear lugares en que los “espacios intermedios” que investigamos son un testimonio. El espacio arquitectónico se vuelve afectivo e interactivo, un lugar intermedio figural, formalizado por espacialidades intersticiales que parecen aludir a lo líquido, donde la forma es más matriz que configuración, el espacio más espacialidad que compartimiento, la función más versátil y multivalente que específica o autónoma, y la perplejidad, la imaginación y la evocación se entrecruzan y vuelven patentes. 6. La arquitectura de los lugares intermedios valora no solamente el “plano”, la “configuración” y la “transparencia”, sino sobre todo el “espacio” y la “relación” en sus interrelaciones con los usuarios y demás contextos. De la identidad a la relacionalidad, de la representación a la presentación, es una arquitectura que propone “otros espacios” que más que espacios son topografías y espacialidades intersticiales, de tensión, transición, transformación, relación, intercambio e interacción. Son lugares intermedios reales y virtuales, que se sirven tanto de la morfología como de la topología para conquistar nuevas espacialidades, pretendiendo salir de la estricta operación de “forming”/”morphing”/formación/”conformación” para explorar la de “spacing”/espaciamiento. Son lugares que se basan en conceptos como la zona de indiscernibilidad de Deleuze, la imagen- flujo de Buci-Glucksmann, la suspensión-entre de Sloterdijk, o el espacio no-objetivo al que se refiere José Gil, plasmándose en la arquitectura contemporánea como tropos de lo intersticial. 7. Son los lugares intermedios de la arquitectura actual, de espacialidad háptica, más “afectiva”, generativa e interactiva, donde ese ámbito intermedio transforma y es transformado, “afecta”, “con-mueve” (nos hace mover/accionar) y evoca otros lugares, otras posibilidades de espacio habitable u ocupable. Emerge lo intermedio como lugar, algo que anuncia y exhibe, de manera paradigmática y manifiesta, el monumento de Eisenman en Berlín. ABSTRACT 1. Our research focuses on the study of “in-between spaces or environments” at particular times in contemporary architecture, in a transition period from the end of the 1980’s through to today. We aim to analyse how in-between environments are presented in the architectural object or place and their function or their relationship with the nearby surroundings, from the project through to the experience had. 2. In this research, the in-between concept, understood as an interstitial, border and ambivalent (or multi-purpose) environment or space, is assessed from the viewpoint of etymology, science, thought and art, to conclude in current architecture, with specific exploration of the conception process, of the formal, spatial and functional proposal, together with the perception and other experiences in the architectural place. 3. Firstly, we aim to study and explore the “in-between” concept as regards its features, functions and locations within contemporary culture, revealing its most important cultural background, to then apply it reflexively to important works of architecture. The research focuses on the figural (imprecise) mode of in-between (in allusion to Deleuze’s “figural” approach) whose base metaphors are the translucent, semi-darkness and foam, linked to the current cultural paradigm of complexity (C. Jenks). We then go on to assess the relationships or implications of said figural mode in architectural works by Eisenman, Holl, Tschumi, Ito, Fujimoto, Van Berkel and Bos, and Siza, verifying their operational worth and revealing their meaning and importance today and in this discipline. The backdrop of the study is the in-between concept of Eisenman’s work and it also uses concepts from the philosophy of the limit of Trías as its main underpinnings. 4. In each of the architectural works presented, this imprecise mode is translated into a specific in-between environment or space. They are works in which real and virtual, matricial and objectual, architecture and territory, existing and new, collective and individual, social and intimate, interior and exterior and other uses and functions all intertwine or blend together. They are architectures the geometry of which is not so much determined by bi- or tri-dimensional aspects of the drawing or construction. Through the manipulation of these more or less complex, dynamic and interstitial geometries, these works reflect (or insinuate) the premises of the current Zeitgeist: A change in the scheme of objects to relationships towards a more holistic, transdisciplinary, systemic or complex thought (E. Morin), and a new collective conscience about the reality which announces the crisis of perception, the change in paradigm and new values (F. Capra). Another way of feeling and perceiving the world, places and spaces, which little by little is changing the way of thinking and drawing architecture and hence of interacting with it. 5. The meaning of figural in-between space emerges in the increasingly complex, morphological-spatial and functional qualities of a large part of architecture today. Architecture, geometry and computer technology are more than ever intertwined in a freer way to inquire into other ways of thinking and making places, where the “in-between” spaces we research are a testimony. Architectural space becomes affective and interactive, a figural in-between place, formed by interstitial spatiality which seems to allude to something liquid, where shape is more matrix than configuration, space more spatiality than compartment, its function more versatile and multi-purpose than specific or autonomous, and perplexity, imagination and evocation criss-cross each other, becoming obvious. 6. The architecture of in-between places values not only “flat”, “configuration” and “transparency”, but above all “space” and the “relationship” in its interrelations with users and other contexts. From identity to relationality, from representation to presentation, it is an architecture that proposes “other spaces”, which more than spaces are topographies and interstitial spatialities, of tension, transition, transformation, relation, exchange and interaction. They are real and virtual in-between places, that take in both morphology and topology to conquer new spatialities, aiming to depart from the strict “forming”/”morphing” operation in order to explore “spacing”. They are places that derive both from Deleuze’s indiscernibility zone concept, from Buci-Glucksmann´s image-flow concept, from Sloterdijk’s suspension-between, and from the non-objective space referred to by José Gil, and they are embodied in contemporary architecture as tropes of the interstitial. 7. They are the in-between places in architecture today, of haptic spatiality, more “affective”, generative and interactive, where that in-between environment transforms and is transformed, “affects”, “moves” (it makes us move/act) and evokes other places, other possibilities of habitable or occupiable space. The in-between emerges as a place, which paradigmatically and declaredly, Eisenman´s monument in Berlin announces and exhibits. RESUMO 1. A investigação centra-se no estudo dos “âmbitos ou espaços intermédios” em momentos da arquitectura contemporânea, no período de transição entre os finais dos anos 80 e os nossos dias. Pretende-se analisar como se apresenta o âmbito intermédio no objecto ou lugar arquitectónico e sua função ou relação com o meio envolvente, desde o projecto até à sua repercussão na experiencia vivenciada. 2. O conceito de intermédio entendido como âmbito ou espaço intersticial, fronteiriço e ambivalente (ou multivalente), atravessa na presente investigação o campo da etimologia, da ciência, do pensamento e da arte, para deter-se na arquitectura actual, realizando-se uma indagação concreta no processo de concepção, na proposta formal, espacial e funcional, assim como na percepção e demais experiencias ou vivencias no lugar arquitectónico. 3. Em primeiro lugar, explora-se o conceito de “intermédio” nas suas características, funções e concretizações na cultura contemporânea, detectando os seus antecedentes culturais mais importantes, para em seguida aplicá-lo reflexivamente a obras significativas de arquitectura. A investigação centra-se na modalidade figural (imprecisa) do intermédio (alusão ao figural deleuziano) cujas metáforas base são o translúcido, a penumbra e a espuma, relacionadas com o actual paradigma da complexidade (C. Jencks). Em seguida analisam-se as relações ou implicações da referida modalidade figural em obras de arquitectos como Eisenman, Holl, Tschumi, Ito, Fujimoto, Van Berkel e Bos, e Siza, como modo de comprovar o seu valor operativo e revelar o seu sentido e importância na actualidade e na disciplina. O estudo tem como referencia o conceito de in-between da obra de Eisenman, e utiliza conceitos da filosofia do limite de Trias como alguns dos seus principais fundamentos. 4. Em cada uma das obras de arquitectura apresentadas esta modalidade imprecisa traduz-se num âmbito ou espaço intermédia figural especifico. São obras nas quais real e virtual, matricial e objectual, arquitectura e território, existente e novo, colectivo e individual, social e intimo, interior e exterior, e outros usos e funções se entrelaçam ou fundem. São arquitecturas cuja geometria já não está tão determinada por aspectos bi ou tridimensionais do desenho ou da construção. Através do uso destas geometrias mais ou menos complexas, dinâmicas e intersticiais, estas obras reflectem (ou intuem) as premissas do actual zeitgeist: uma mudança de esquemas de objectos a relações para um pensamento mais holístico, transdisciplinar, sistémico ou complexo (E. Morin) e uma nova consciência colectiva sobre a realidade, que anuncia a crise da percepção, a mudança de paradigma e novos valores (F. Capra). Emerge uma outra forma de sentir e perceber o mundo, os lugares e os espaços, que gradualmente vai alterando o modo de pensar e desenhar a arquitectura, e consequentemente de interagir com ela. 5. O sentido do espaço intermédio figural, emerge nas cada vez mais complexas qualidades morfológico-espaciais e funcionais de uma parte importante da arquitectura actual. Cada vez mais, arquitectura, geometria e tecnologia informática, relacionam-se de um modo mais livre para indagar outras formas de pensar e fazer lugares, onde os espaços intermédios que investigamos são um testemunho. O espaço arquitectónico torna-se afectivo e interactivo, um lugar intermédio figural, formalizado por espacialidades intersticiais que parecem aludir ao estado liquido, onde a forma é mais matriz que configuração, o espaço mais espacialidade que compartimento, a função mais versátil e multivalente que especifica ou autónoma, e a perplexidade, a imaginação e a evocação entrecruzam-se e tornam-se patentes. 6. A arquitectura dos lugares intermédios valoriza não só o “plano”, a “configuração” e a “transparência”, mas sobretudo o” espaço” e a ”relação” nas suas inter-relações com os utentes e restante contextos. Da identidade à relacionalidade, da representação à apresentação, é uma arquitectura que propõe “outros espaços”, que além de espaços são topografias e espacialidades intersticiais, de tensão, transição, transformação, relação, intercambio e interacção. São lugares intermédios reais e virtuais que utilizam tanto a morfologia como a topologia para conquistar novas espacialidades, pretendendo ultrapassar a estrita operação de “forming”/“morphing”/formação para explorar a de “spacing”/espaçamento. São lugares que se apoiam tanto no conceito de zona de indescernibilidade de Deleuze, como na de imagem-fluxo de Buci-Glucksmann como no de suspensão–entre de Sloterdijk ou de espaço-não objectivo que refere José Gil, e se plasmam na arquitectura contemporânea como tropos do intersticial. 7. São os lugares intermédios da arquitectura actual, de espacialidade háptica, mais “afectiva”, generativa e interactiva, onde esse âmbito intermédio transforma e é transformado, “afecta”, ”co-move “(nos faz mover/agir) e evoca outros lugares, outras possibilidades de espaço habitável ou ocupável. Emerge o intermédio como lugar que, paradigmática e manifestamente, o monumento de Eisenmann em Berlim, anuncia e exibe.

Active materiality : the agency of matter from the phenomenological perspective = Materialidad activa : la operatividad de la materia desde el punto de vista fenomenológico

The role of matter has remained central to the making and the thinking of architecture, yet many attempts to capture its essence have been trapped in a dialectic tension between form and materiality, between material consistency and immaterial modes of perception, between static states and dynamic processes, between the real and the virtual, thus advancing an increasing awareness of the perplexing complexity of the material world. Within that complexity, the notion of agency – emerging from and within ecological, politico-economic and socio-cultural processes – calls for a reconceptualization of matter, and consequently processes of materialisation, offering a new understanding of context and space, approached as a field of dynamic relationships. In this context, cutting across boundaries between architectural discourse and practice as well as across the vast trans-disciplinary territory, this dissertation aims to illustrate a variety of design methodologies that have derived from the relational approach. More specifically, the intention is to offer new insights into spatial epistemologies embedded within the notion of atmosphere – commonly associated with the so-called New Phenomenology – and to reflect upon its implications for architectural production. In what follows, the intended argumentation has a twofold dimension. First, through a scrutiny of the notion of atmosphere, the aim is to explore ways of thinking and shaping reality through relations, thus acknowledging the aforementioned complexity of the material universe disclosed through human and non-human as well as material and immaterial forces. Secondly, despite the fact that concerns for atmospherics have flourished over the last few decades, the objective is to reveal that the conceptual foundations and procedures for the production of atmosphere might be found beneath the surface of contemporary debates. Hence, in order to unfold and illustrate previously advocated assumptions, an archaeological approach is adopted, tracing a particular projective genealogy, one that builds upon an atmospheric awareness. Accordingly, in tracing such an atmospheric awareness the study explores the notoriously ambiguous nature and the twofold dimension of atmosphere – meteorological and aesthetic – and the heterogeneity of meanings embedded in them. In this context, the notion of atmosphere is presented as parallactic. It transgresses the formal and material boundaries of bodies. It calls for a reevaluation of perceptual experience, opening a new gap that exposes the orthodox space-bodyenvironment relationships to questioning. It offers to architecture an expanded domain in which to manifest itself, defining architectural space as a contingent construction and field of engagement, and presenting matter as a locus of production/performance/action. Consequently, it is such an expanded or relational dimension that constitutes the foundation of what in the context of this study is to be referred to as affective tectonics. Namely, a tectonics that represents processual and experiential multiplicity of convergent time and space, body and environment, the material and the immaterial; a tectonics in which matter neither appears as an inert and passive substance, nor is limited to the traditionally regarded tectonic significance or expressive values, but is presented as an active element charged with inherent potential and vitality. By defining such a relational materialism, the intention is to expand the spectrum of material attributes revealing the intrinsic relationships between the physical properties of materials and their performative, transformative and affective capacities, including effects of interference and haptic dynamics – i.e. protocols of transmission and interaction. The expression that encapsulates its essence is: ACTIVE MATERIALITY RESUMEN El significado de la materia ha estado desde siempre ligado al pensamiento y el quehacer arquitectónico. Sin embargo, muchos intentos de capturar su esencia se han visto sumergidos en una tensión dialéctica entre la forma y la materialidad, entre la consistencia material y los modos inmateriales de la percepción, entre los estados estáticos y los procesos dinámicos, entre lo real y lo virtual, revelando una creciente conciencia de la desconcertante complejidad del mundo material. En esta complejidad, la noción de la operatividad o capacidad agencial– que emerge desde y dentro de los procesos ecológicos, políticos y socio-culturales– requiere de una reconceptualización de la materia y los procesos inherentes a la materialización, ofreciendo una nueva visión del contexto y el espacio, entendidos como un campo relacional dinámico. Oscilando entre el discurso arquitectónico y la práctica arquitectónica, y atravesando un extenso territorio trans-disciplinar, el objetivo de la presente tesis es ilustrar la variedad de metodologías proyectuales que emergieron desde este enfoque relacional. Concretamente, la intención es indagar en las epistemologías espaciales vinculadas a la noción de la atmósfera– generalmente asociada a la llamada Nueva Fenomenología–, reflexionando sobre su impacto en la producción arquitectónica. A continuación, el estudio ofrece una doble línea argumental. Primero, a través del análisis crítico de la noción de atmósfera, el objetivo es explorar maneras de pensar y dar forma a la realidad a través de las relaciones, reconociendo la mencionada complejidad del universo material revelado a través de fuerzas humanas y no-humanas, materiales e inmateriales. Segundo, a pesar de que el interés por las atmósferas ha florecido en las últimas décadas, la intención es demostrar que las bases conceptuales y los protocolos proyectuales de la creación de atmósferas se pueden encontrar bajo la superficie de los debates contemporáneos. Para corroborar e ilustrar estas hipótesis se propone una metodología de carácter arqueológico, trazando una particular genealogía de proyectos– la que se basa en una conciencia atmosférica. Asimismo, al definir esta conciencia atmosférica, el estudio explora tanto la naturaleza notoriamente ambigua y la dimensión dual de la atmósfera– meteorológica y estética–, como la heterogeneidad de significados derivados de ellas. En este contexto, la atmósfera se entiende como un concepto detonante, ya que sobrepasa los limites formales y materiales de los cuerpos, llevando a la re-evaluación de la experiencia perceptiva y abriendo a preguntas la ortodoxa relación espacio- cuerpo-ambiente. En consecuencia, la noción de la atmósfera ofrece a la arquitectura una dimensión expandida donde manifestarse, definiendo el espacio como una construcción contingente, performativa y afectiva, y presentando la materia como locus de producción/ actuación/ acción. Es precisamente esta dimensión expandida relacional la que constituye una base para lo que en el contexto del presente estudio se define como una tectónica afectiva. Es decir, una tectónica que representa una multiplicidad procesual y experiencial derivada de la convergencia entre el tiempo y el espacio, el cuerpo y el entorno, lo material y lo inmaterial; una tectónica en la que la materia no aparece como una substancia pasiva e inerte, ni es limitada al significado considerado tradicionalmente constructivo o a sus valores expresivos, sino que se presenta como elemento activo cargado de un potencial y vitalidad inherentes. A través de la definición de este tipo de materialismo afectivo, la intención es expandir el espectro de los atributos materiales, revelando las relaciones intrínsecas entre las propiedades físicas de los materiales y sus capacidades performativas, transformativas y afectivas, incluyendo efectos de interferencias y dinámicas hápticas– o dicho de otro modo, protocolos de transmisión e interacción. Una expresión que encapsula su esencia vendría a ser: MATERIALIDAD ACTIVA