Non-invasive user monitoring in daily tasks for cognitive rehabilitation

El uso de técnicas para la monitorización del movimiento humano generalmente permite a los investigadores analizar la cinemática y especialmente las capacidades motoras en aquellas actividades de la vida cotidiana que persiguen un objetivo concreto como pueden ser la preparación de bebidas y comida, e incluso en tareas de aseo. Adicionalmente, la evaluación del movimiento y el comportamiento humanos en el campo de la rehabilitación cognitiva es esencial para profundizar en las dificultades que algunas personas encuentran en la ejecución de actividades diarias después de accidentes cerebro-vasculares. Estas dificultades están principalmente asociadas a la realización de pasos secuenciales y al reconocimiento del uso de herramientas y objetos. La interpretación de los datos sobre la actitud de este tipo de pacientes para reconocer y determinar el nivel de éxito en la ejecución de las acciones, y para ampliar el conocimiento en las enfermedades cerebrales, sus consecuencias y severidad, depende totalmente de los dispositivos usados para la captura de esos datos y de la calidad de los mismos. Más aún, existe una necesidad real de mejorar las técnicas actuales de rehabilitación cognitiva contribuyendo al diseño de sistemas automáticos para crear una especie de terapeuta virtual que asegure una vida más independiente de estos pacientes y reduzca la carga de trabajo de los terapeutas. Con este objetivo, el uso de sensores y dispositivos para obtener datos en tiempo real de la ejecución y estado de la tarea de rehabilitación es esencial para también contribuir al diseño y entrenamiento de futuros algoritmos que pudieran reconocer errores automáticamente para informar al paciente acerca de ellos mediante distintos tipos de pistas como pueden ser imágenes, mensajes auditivos o incluso videos. La tecnología y soluciones existentes en este campo no ofrecen una manera totalmente robusta y efectiva para obtener datos en tiempo real, por un lado, porque pueden influir en el movimiento del propio paciente en caso de las plataformas basadas en el uso de marcadores que necesitan sensores pegados en la piel; y por otro lado, debido a la complejidad o alto coste de implantación lo que hace difícil pensar en la idea de instalar un sistema en el hospital o incluso en la casa del paciente. Esta tesis presenta la investigación realizada en el campo de la monitorización del movimiento de pacientes para proporcionar un paso adelante en términos de detección, seguimiento y reconocimiento del comportamiento de manos, gestos y cara mediante una manera no invasiva la cual puede mejorar la técnicas actuales de rehabilitación cognitiva para la adquisición en tiempo real de datos sobre el comportamiento del paciente y la ejecución de la tarea. Para entender la importancia del marco de esta tesis, inicialmente se presenta un resumen de las principales enfermedades cognitivas y se introducen las consecuencias que tienen en la ejecución de tareas de la vida diaria. Más aún, se investiga sobre las metodologías actuales de rehabilitación cognitiva. Teniendo en cuenta que las manos son la principal parte del cuerpo para la ejecución de tareas manuales de la vida cotidiana, también se resumen las tecnologías existentes para la captura de movimiento de manos. Una de las principales contribuciones de esta tesis está relacionada con el diseño y evaluación de una solución no invasiva para detectar y seguir las manos durante la ejecución de tareas manuales de la vida cotidiana que a su vez involucran la manipulación de objetos. Esta solución la cual no necesita marcadores adicionales y está basada en una cámara de profundidad de bajo coste, es robusta, precisa y fácil de instalar. Otra contribución presentada se centra en el reconocimiento de gestos para detectar el agarre de objetos basado en un sensor infrarrojo de última generación, y también complementado con una cámara de profundidad. Esta nueva técnica, y también no invasiva, sincroniza ambos sensores para seguir objetos específicos además de reconocer eventos concretos relacionados con tareas de aseo. Más aún, se realiza una evaluación preliminar del reconocimiento de expresiones faciales para analizar si es adecuado para el reconocimiento del estado de ánimo durante la tarea. Por su parte, todos los componentes y algoritmos desarrollados son integrados en un prototipo simple para ser usado como plataforma de monitorización. Se realiza una evaluación técnica del funcionamiento de cada dispositivo para analizar si es adecuada para adquirir datos en tiempo real durante la ejecución de tareas cotidianas reales. Finalmente, se estudia la interacción con pacientes reales para obtener información del nivel de usabilidad del prototipo. Dicha información es esencial y útil para considerar una rehabilitación cognitiva basada en la idea de instalación del sistema en la propia casa del paciente al igual que en el hospital correspondiente. ABSTRACT The use of human motion monitoring techniques usually let researchers to analyse kinematics, especially in motor strategies for goal-oriented activities of daily living, such as the preparation of drinks and food, and even grooming tasks. Additionally, the evaluation of human movements and behaviour in the field of cognitive rehabilitation is essential to deep into the difficulties some people find in common activities after stroke. This difficulties are mainly associated with sequence actions and the recognition of tools usage. The interpretation of attitude data of this kind of patients in order to recognize and determine the level of success of the execution of actions, and to broaden the knowledge in brain diseases, consequences and severity, depends totally on the devices used for the capture of that data and the quality of it. Moreover, there is a real need of improving the current cognitive rehabilitation techniques by contributing to the design of automatic systems to create a kind of virtual therapist for the improvement of the independent life of these stroke patients and to reduce the workload of the occupational therapists currently in charge of them. For this purpose, the use of sensors and devices to obtain real time data of the execution and state of the rehabilitation task is essential to also contribute to the design and training of future smart algorithms which may recognise errors to automatically provide multimodal feedback through different types of cues such as still images, auditory messages or even videos. The technology and solutions currently adopted in the field don't offer a totally robust and effective way for obtaining real time data, on the one hand, because they may influence the patient's movement in case of marker-based platforms which need sensors attached to the skin; and on the other hand, because of the complexity or high cost of implementation, which make difficult the idea of installing a system at the hospital or even patient's home. This thesis presents the research done in the field of user monitoring to provide a step forward in terms of detection, tracking and recognition of hand movements, gestures and face via a non-invasive way which could improve current techniques for cognitive rehabilitation for real time data acquisition of patient's behaviour and execution of the task. In order to understand the importance of the scope of the thesis, initially, a summary of the main cognitive diseases that require for rehabilitation and an introduction of the consequences on the execution of daily tasks are presented. Moreover, research is done about the actual methodology to provide cognitive rehabilitation. Considering that the main body members involved in the completion of a handmade daily task are the hands, the current technologies for human hands movements capture are also highlighted. One of the main contributions of this thesis is related to the design and evaluation of a non-invasive approach to detect and track user's hands during the execution of handmade activities of daily living which involve the manipulation of objects. This approach does not need the inclusion of any additional markers. In addition, it is only based on a low-cost depth camera, it is robust, accurate and easy to install. Another contribution presented is focused on the hand gesture recognition for detecting object grasping based on a brand new infrared sensor, and also complemented with a depth camera. This new, and also non-invasive, solution which synchronizes both sensors to track specific tools as well as recognize specific events related to grooming is evaluated. Moreover, a preliminary assessment of the recognition of facial expressions is carried out to analyse if it is adequate for recognizing mood during the execution of task. Meanwhile, all the corresponding hardware and software developed are integrated in a simple prototype with the purpose of being used as a platform for monitoring the execution of the rehabilitation task. Technical evaluation of the performance of each device is carried out in order to analyze its suitability to acquire real time data during the execution of real daily tasks. Finally, a kind of healthcare evaluation is also presented to obtain feedback about the usability of the system proposed paying special attention to the interaction with real users and stroke patients. This feedback is quite useful to consider the idea of a home-based cognitive rehabilitation as well as a possible hospital installation of the prototype.

Modelling ecological cognitive rehabilitation therapies for building virtual environments in brain injury

Brain Injury (BI) has become one of the most common causes of neurological disability in developed countries. Cognitive disorders result in a loss of independence and patients? quality of life. Cognitive rehabilitation aims to promote patients? skills to achieve their highest degree of personal autonomy. New technologies such as virtual reality or interactive video allow developing rehabilitation therapies based on reproducible Activities of Daily Living (ADLs), increasing the ecological validity of the therapy. However, the lack of frameworks to formalize and represent the definition of this kind of therapies can be a barrier for widespread use of interactive virtual environments in clinical routine.

Negative responses of highland pines to anthropogenic activities in inland Spain: a palaeoecological perspective

Palaeoecological evidence indicates that highland pines were dominant in extensive areas of the mountains of Central and Northern Iberia during the first half of the Holocene. However, following several millennia of anthropogenic pressure, their natural ranges are now severely reduced. Although pines have been frequently viewed as first-stage successional species responding positively to human disturbance, some recent palaeobotanical work has proposed fire disturbance and human deforestation as the main drivers of this vegetation turnover. To assess the strength of the evidence for this hypothesis and to identify other possible explanations for this scenario, we review the available information on past vegetation change in the mountains of northern inland Iberia. We have chosen data from several sites that offer good chronological control, including palynological records with microscopic charcoal data and sites with plant macro- and megafossil occurrence. We conclude that although the available long-term data are still fragmentary and that new methods are needed for a better understanding of the ecological history of Iberia, fire events and human activities (probably modulated by climate) have triggered the pine demise at different locations and different temporal scales. In addition, all palaeoxylological, palynological and charcoal results obtained so far are fully compatible with a rapid human-induced ecological change that could have caused a range contraction of highland pines in western Iberia.

Handmade Task Tracking Applied to Cognitive Rehabilitation

This article presents research focused on tracking manual tasks that are applied in cognitive rehabilitation so as to analyze the movements of patients who suffer from Apraxia and Action Disorganization Syndrome (AADS). This kind of patients find executing Activities of Daily Living (ADL) too difficult due to the loss of memory and capacity to carry out sequential tasks or the impossibility of associating different objects with their functions. This contribution is developed from the work of Universidad Politécnica de Madrid and Technical University of Munich in collaboration with The University of Birmingham. The KinectTM for Windows© device is used for this purpose. The data collected is compared to an ultrasonic motion capture system. The results indicate a moderate to strong correlation between signals. They also verify that KinectTM is very suitable and inexpensive. Moreover, it turns out to be a motion-capture system quite easy to implement for kinematics analysis in ADL.

Cognitive neurorehabilitation based on interactive video technology

Cognitive impairment is the main cause of disability in developed societies. New interactive technologies help therapists in neurorehabilitation in order to increase patients’ autonomy and quality of life. This work proposes Interactive Video (IV) as a technology to develop cognitive rehabilitation tasks based on Activities of Daily Living (ADL). ADL cognitive task has been developed and integrated with eye-tracking technology for task interaction and patients’ performance monitoring.

A graphical tool for designing interactive video cognitive rehabilitation therapies

Acquired Brain Injury (ABI) has become one of the most common causes of neurological disability in developed countries. Cognitive disorders result in a loss of independence and therefore patients? quality of life. Cognitive rehabilitation aims to promote patients? skills to achieve their highest degree of personal autonomy. New technologies such as interactive video, whereby real situations of daily living are reproduced within a controlled virtual environment, enable the design of personalized therapies with a high level of generalization and a great ecological validity. This paper presents a graphical tool that allows neuropsychologists to design, modify, and configure interactive video therapeutic activities, through the combination of graphic and natural language. The tool has been validated creating several Activities of Daily Living and a preliminary usability evaluation has been performed showing a good clinical acceptance in the definition of complex interactive video therapies for cognitive rehabilitation.

A novel motion tracking system for evaluation of functional rehabilitation of the upper limbs

Upper limb function impairment is one of the most common sequelae of central nervous system injury, especially in stroke patients and when spinal cord injury produces tetraplegia. Conventional assessment methods cannot provide objective evaluation of patient performance and the tiveness of therapies. The most common assessment tools are based on rating scales, which are inefficient when measuring small changes and can yield subjective bias. In this study, we designed an inertial sensor-based monitoring system composed of five sensors to measure and analyze the complex movements of the upper limbs, which are common in activities of daily living. We developed a kinematic model with nine degrees of freedom to analyze upper limb and head movements in three dimensions. This system was then validated using a commercial optoelectronic system. These findings suggest that an inertial sensor-based motion tracking system can be used in patients who have upper limb impairment through data integration with a virtual reality-based neuroretation system.

Definición e implementación de métricas objetivas para la evaluación funcional del miembro superior: aplicación a población con lesión medular cervical

En personas que padecen una Lesión Medular cervical, la función de los miembros superiores se ve afectada en mayor o menor medida, dependiendo fundamentalmente del nivel de la lesión y de la severidad de la misma. El déficit en la función del miembro superior hace que la autonomía e independencia de las personas se vea reducida en la ejecución de Actividades de la Vida Diaria. En el entorno clínico, la valoración de la función del miembro superior se realiza principalmente con escalas clínicas. Algunas de ellas valoran el nivel de dependencia o independencia en la ejecución de Actividades de la Vida Diaria, como, por ejemplo, el índice de Barthel y la escala FIM (Medida de la Independencia Funcional). Otras escalas, como Jebsen-Taylor Hand Function, miden la función del miembro superior valorando la destreza y la habilidad en la ejecución de determinadas tareas funcionales. Estas escalas son generales, es decir, se pueden aplicar a distintas poblaciones de sujetos y a la presencia de distintas patologías. Sin embargo, existen otras escalas desarrolladas específicamente para valorar una patología concreta, con el objetivo de hacer las evaluaciones funcionales más sensibles a cambios. Un ejemplo es la escala Spinal Cord Independence Measure (SCIM), desarrollada para valorar Lesión Medular. Las escalas clínicas son instrumentos de medida estandarizados, válidos para su uso en el entorno clínico porque se han validado en muestras grandes de pacientes. No obstante, suelen poseer una elevada componente de subjetividad que depende principalmente de la persona que puntúa el test. Otro aspecto a tener en cuenta, es que la sensibilidad de las escalas es alta, fundamentalmente, a cambios groseros en el estado de salud o en la función del miembro superior, de forma que cambios sutiles en el sujeto pueden no ser detectados. Además, en ocasiones, poseen saturaciones en el sistema de puntuación, de forma que mejorías que se puedan producir por encima de un determinado umbral no son detectadas. En definitiva, estas limitaciones hacen que las escalas clínicas no sean suficientes, por sí mismas, para evaluar estrategias motoras del miembro superior durante la ejecución de movimientos funcionales, siendo necesaria la búsqueda de instrumentos de medida que aporten objetividad, complementen las valoraciones y, al mismo tiempo, intenten solventar las limitaciones que poseen las escalas. Los estudios biomecánicos son ejemplos de métodos objetivos, en los que diversas tecnologías se pueden utilizar para recoger información de los sujetos. Una concreción de estos estudios son los estudios cinemáticos. Mediante tecnología optoelectrónica, inercial o electromagnética, estos estudios proporcionan información objetiva acerca del movimiento realizado por los sujetos, durante la ejecución de tareas concretas. Estos sistemas de medida proporcionan grandes cantidades de datos que carecen de una interpretación inmediata. Estos datos necesariamente deben ser tratados y reducidos a un conjunto de variables que, a priori, posean una interpretación más sencilla para ser utilizados en la práctica clínica. Estas han sido las principales motivaciones de esta investigación. El objetivo principal fue proponer un conjunto de índices cinemáticos que, de forma objetiva, valoren la función del miembro superior; y validar los índices propuestos en poblaciones con Lesión Medular, para su uso como instrumentos de valoración en el entorno clínico. Esta tesis se enmarca dentro de un proyecto de investigación: HYPER (Hybrid Neuroprosthetic and Neurorobotic Devices for Functional Compensation and Rehabilitation of Motor Disorders, referencia CSD2009-00067 CONSOLIDER INGENIO 2010). Dentro de este proyecto se lleva a cabo investigación en el desarrollo de modelos, para determinar los requisitos biomecánicos y los patrones de movimiento de los miembros superiores en sujetos sanos y personas con lesión medular. Además, se realiza investigación en la propuesta de nuevos instrumentos de evaluación funcional en el campo de la rehabilitación de los miembros superiores. ABSTRACT In people who have suffered a cervical Spinal Cord Injury, upper limbs function is affected to a greater or lesser extent, depending primarily on the level of the injury and the severity of it. The deficit in the upper limb function reduces the autonomy and independence of persons in the execution of Activities of Daily Living. In the clinical setting, assessment of upper limb function is mainly performed based on clinical scales. Some value the level of dependence or independence in performing activities of daily living, such as the Barthel Index and the FIM scale (Functional Independence Measure). Other scales, such as the Jebsen-Taylor Hand Function, measure upper limb function in terms of the skill and ability to perform specific functional tasks. These scales are general, so can be applied to different populations of subjects and the presence of different pathologies. However, there are other scales developed for a specific injury, in order to make the functional assessments more sensitive to changes. An example is the Spinal Cord Independence Measure (SCIM), developed for people with Spinal Cord Injury. The clinical scales are standardized instruments measure, valid for use in the clinical setting because they have been validated in large patient samples. However, they usually have a high level of subjectivity which mainly depends on the person who scores the test. Another aspect to take into account is the high sensitivity of the scales mainly to gross changes in the health status or upper limb function, so that subtle changes in the subject may not be detected. Moreover, sometimes, have saturations in the scoring system, so that improvements which may occur above a certain threshold are not detected. For these reasons, clinical scales are not enough, by themselves, to assess motor strategies used during movements. So, it’s necessary to find measure instruments that provide objectivity, supplement the assessments and, at the same time, solving the limitations that scales have. Biomechanical studies are examples of objective methods, in which several technologies can be used to collect information from the subjects. One kind of these studies is the kinematic movement analysis. By means of optoelectronics, inertial and electromagnetic technology, these studies provide objective information about the movement performed by the subjects during the execution of specific tasks. These systems provide large quantities of data without easy and intuitive interpretation. These data must necessarily be treated and reduced to a set of variables that, a priori, having a simpler interpretation for their use in the clinical practice. These were the main motivations of this research. The main objective was to propose a set of kinematic indices, or metrics that, objectively, assess the upper limb function and validate the proposed rates in populations with Spinal Cord Injury, for use as assessment tools in the clinical setting. This dissertation is framed within a research project: HYPER (Neurorobotic Devices for Functional Compensation and Rehabilitation of Motor Disorders, grant CSD2009- 00067 CONSOLIDER INGENIO 2010). Within this research project, research is conducted in relation to the biomechanical models development for determining the biomechanical requirements and movement patterns of the upper limb in healthy and people with Spinal Cord Injury. Moreover, research is conducted with respect to the proposed of new functional assessment instruments in the field of upper limb rehabilitation.

Cognitive Surveillance Architecture for Scenario Understanding

Uno de los mayores retos para la comunidad científica es conseguir que las máquinas posean en un futuro la capacidad del sistema visual y cognitivo humanos, de forma que, por ejemplo, en entornos de video vigilancia, puedan llegar a proporcionar de manera automática una descripción fiable de lo que está ocurriendo en la escena. En la presente tesis, mediante la propuesta de un marco de trabajo de referencia, se discuten y plantean los pasos necesarios para el desarrollo de sistemas más inteligentes capaces de extraer y analizar, a diferentes niveles de abstracción y mediante distintos módulos de procesamiento independientes, la información necesaria para comprender qué está sucediendo en un conjunto amplio de escenarios de distinta naturaleza. Se parte de un análisis de requisitos y se identifican los retos para este tipo de sistemas en la actualidad, lo que constituye en sí mismo los objetivos de esta tesis, contribuyendo así a un modelo de datos basado en el conocimiento que permitirá analizar distintas situaciones en las que personas y vehículos son los actores principales, dejando no obstante la puerta abierta a la adaptación a otros dominios. Así mismo, se estudian los distintos procesos que se pueden lanzar a nivel interno así como la necesidad de integrar mecanismos de realimentación a distintos niveles que permitan al sistema adaptarse mejor a cambios en el entorno. Como resultado, se propone un marco de referencia jerárquico que integra las capacidades de percepción, interpretación y aprendizaje para superar los retos identificados en este ámbito; y así poder desarrollar sistemas de vigilancia más robustos, flexibles e inteligentes, capaces de operar en una variedad de entornos. Resultados experimentales ejecutados sobre distintas muestras de datos (secuencias de vídeo principalmente) demuestran la efectividad del marco de trabajo propuesto respecto a otros propuestos en el pasado. Un primer caso de estudio, permite demostrar la creación de un sistema de monitorización de entornos de parking en exteriores para la detección de vehículos y el análisis de plazas libres de aparcamiento. Un segundo caso de estudio, permite demostrar la flexibilidad del marco de referencia propuesto para adaptarse a los requisitos de un entorno de vigilancia completamente distinto, como es un hogar inteligente donde el análisis automático de actividades de la vida cotidiana centra la atención del estudio. ABSTRACT One of the most ambitious objectives for the Computer Vision and Pattern Recognition research community is that machines can achieve similar capacities to the human's visual and cognitive system, and thus provide a trustworthy description of what is happening in the scene under surveillance. Thus, a number of well-established scenario understanding architectural frameworks to develop applications working on a variety of environments can be found in the literature. In this Thesis, a highly descriptive methodology for the development of scene understanding applications is presented. It consists of a set of formal guidelines to let machines extract and analyse, at different levels of abstraction and by means of independent processing modules that interact with each other, the necessary information to understand a broad set of different real World surveillance scenarios. Taking into account the challenges that working at both low and high levels offer, we contribute with a highly descriptive knowledge-based data model for the analysis of different situations in which people and vehicles are the main actors, leaving the door open for the development of interesting applications in diverse smart domains. Recommendations to let systems achieve high-level behaviour understanding will be also provided. Furthermore, feedback mechanisms are proposed to be integrated in order to let any system to understand better the environment and the logical context around, reducing thus the uncertainty and noise, and increasing its robustness and precision in front of low-level or high-level errors. As a result, a hierarchical cognitive architecture of reference which integrates the necessary perception, interpretation, attention and learning capabilities to overcome main challenges identified in this area of research is proposed; thus allowing to develop more robust, flexible and smart surveillance systems to cope with the different requirements of a variety of environments. Once crucial issues that should be treated explicitly in the design of this kind of systems have been formulated and discussed, experimental results shows the effectiveness of the proposed framework compared with other proposed in the past. Two case studies were implemented to test the capabilities of the framework. The first case study presents how the proposed framework can be used to create intelligent parking monitoring systems. The second case study demonstrates the flexibility of the system to cope with the requirements of a completely different environment, a smart home where activities of daily living are performed. Finally, general conclusions and future work lines to further enhancing the capabilities of the proposed framework are presented.

Modelado y Evaluación de Entornos Virtuales Interactivos para Rehabilitación Cognitiva en Daño Cerebral

El Daño Cerebral (DC) se refiere a cualquier lesión producida en el cerebro y que afecta a su funcionalidad. Se ha convertido en una de las principales causas de discapacidad neurológica de las sociedades desarrolladas. Hasta la más sencilla de las actividades y acciones que realizamos en nuestro día a día involucran a los procesos cognitivos. Por ello, la alteración de las funciones cognitivas como consecuencia del DC, limita no sólo la calidad de vida del paciente sino también la de las persona de su entorno. La rehabilitación cognitiva trata de aumentar la autonomía y calidad de vida del paciente minimizando o compensando los desórdenes funciones causados por el episodio de DC. La plasticidad cerebral es una propiedad intrínseca al sistema nervioso humano por la que en función a la experiencia se crean nuevos patrones de conectividad. El propósito de la neurorrehabilitación es precisamente modular esta propiedad intrínseca a partir de ejercicios específicos, los cuales podrían derivar en la recuperación parcial o total de las funciones afectadas. La incorporación de la tecnología a las terapias de rehabilitación ha permitido desarrollar nuevas metodologías de trabajo. Esto ha ayudado a hacer frente a las dificultades de la rehabilitación que los procesos tradicionales no logran abarcar. A pesar del gran avance realizado en los Ãoltimos años, todavía existen debilidades en el proceso de rehabilitación; por ejemplo, la trasferencia a la vida real de las habilidades logradas durante la terapia de rehabilitación, así como su generalización a otras actividades cotidianas. Los entornos virtuales pueden reproducir situaciones cotidianas. Permiten simular, de forma controlada, los requisitos conductuales que encontramos en la vida real. En un contexto terapéutico, puede ser utilizado por el neuropsicólogo para corregir en el paciente comportamientos patológicos no deseados, realizar intervenciones terapéuticas sobre Actividades de Vida Diaria que estimulen conductas adaptativas. A pesar de que las tecnologías actuales tienen potencial suficiente para aportar nuevos beneficios al proceso de rehabilitación, existe cierta reticencia a su incorporación a la clínica diaria. A día de hoy, no se ha podido demostrar que su uso aporte una mejorar significativa con respecto a otro tipo de intervención; en otras palabras, no existe evidencia científica de la eficacia del uso de entornos virtuales interactivos en rehabilitación. En este contexto, la presente Tesis Doctoral trata de abordar los aspectos que mantienen a los entornos virtuales interactivos al margen de la rutina clínica diaria. Se estudian las diferentes etapas del proceso de rehabilitación cognitiva relacionado con la integración y uso de estos entornos: diseño de las actividades, su implementación en el entorno virtual, y finalmente la ejecución por el paciente y análisis de los respectivos datos. Por tanto, los bloques en los que queda dividido el trabajo de investigación expuesto en esta memoria son: 1. Diseño de las AVD. La definición y configuración de los elementos que componen la AVD permite al terapeuta diseñar estrategias de intervención terapéutica para actuar sobre el comportamiento del paciente durante la ejecución de la actividad. En esta parte de la tesis se pretende formalizar el diseño de las AVD de tal forma que el terapeuta pueda explotar el potencial tecnológico de los entornos virtuales interactivos abstrayéndose de la complejidad implícita a la tecnología. Para hacer viable este planteamiento se propone una metodología que permita modelar la definición de las AVD, representar el conocimiento implícito en ellas, y asistir al neuropsicólogo durante el proceso de diseño de la intervención clínica. 2. Entorno virtual interactivo. El gran avance tecnológico producido durante los Ãoltimos años permite reproducir AVD interactivas en un contexto de uso clínico. El objetivo perseguido en esta parte de la Tesis es el de extraer las características potenciales de esta solución tecnológica y aplicarla a las necesidades y requisitos de la rehabilitación cognitiva. Se propone el uso de la tecnología de Vídeo Interactivo para el desarrollo de estos entornos virtuales. Para la evaluación de la misma se realiza un estudio experimental dividido en dos fases con la participación de sujetos sanos y pacientes, donde se valora su idoneidad para ser utilizado en terapias de rehabilitación cognitiva. 3. Monitorización de las AVD. El uso de estos entornos virtuales interactivos expone al paciente ante una gran cantidad de estímulos e interacciones. Este hecho requiere de instrumentos de monitorización avanzado que aporten al terapeuta información objetiva sobre el comportamiento del paciente, lo que le podría permitir por ejemplo evaluar la eficacia del tratamiento. En este apartado se propone el uso de métricas basadas en la atención visual y la interacción con el entorno para conocer datos sobre el comportamiento del paciente durante la AVD. Se desarrolla un sistema de monitorización integrado con el entorno virtual que ofrece los instrumentos necesarios para la evaluación de estas métricas para su uso clínico. La metodología propuesta ha permitido diseñar una AVD basada en la definición de intervenciones terapéuticas. Posteriormente esta AVD has sido implementada mediante la tecnología de vídeo interactivo, creando así el prototipo de un entorno virtual para ser utilizado por pacientes con déficit cognitivo. Los resultados del estudio experimental mediante el cual ha sido evaluado demuestran la robustez y usabilidad del sistema, así como su capacidad para intervenir sobre el comportamiento del paciente. El sistema monitorización que ha sido integrado con el entorno virtual aporta datos objetivos sobre el comportamiento del paciente durante la ejecución de la actividad. Los resultados obtenidos permiten contrastar las hipótesis de investigación planteadas en la Tesis Doctoral, aportando soluciones que pueden ayudar a la integración de los entornos virtuales interactivos en la rutina clínica. Esto abre una nueva vía de investigación y desarrollo que podría suponer un gran progreso y mejora en los procesos de neurorrehabilitación cognitiva en daño cerebral. ABSTRACT Brain injury (BI) refers to medical conditions that occur in the brain, altering its function. It becomes one of the main neurological disabilities in the developed society. Cognitive processes determine individual performance in Activities of Daily Living (ADL), thus, the cognitive disorders after BI result in a loss of autonomy and independence, affecting the patient’s quality of life. Cognitive rehabilitation seeks to increase patients’ autonomy and quality of life minimizing or compensating functional disorders showed by BI patients. Brain plasticity is an intrinsic property of the human nervous system whereby its structure is changed depending on experience. Neurorehabilitation pursuits a precise modulation of this intrinsic property, based on specific exercises to induce functional changes, which could result in partial or total recovery of the affected functions. The new methodologies that can be approached by applying technologies to the rehabilitation process, permit to deal with the difficulties which are out of the scope of the traditional rehabilitation. Despite this huge breakthrough, there are still weaknesses in the rehabilitation process, such as the transferring to the real life those skills reached along the therapy, and its generalization to others daily activities. Virtual environments reproduce daily situations. Behavioural requirements which are similar to those we perceive in real life, are simulated in a controlled way. In these virtual environments the therapist is allowed to interact with patients without even being present, inhibiting unsuitable behaviour patterns, stimulating correct answers throughout the simulation and enhancing stimuli with supplementary information when necessary. Despite the benefits which could be brought to the cognitive rehabilitation by applying the potential of the current technologies, there are barriers for widespread use of interactive virtual environments in clinical routine. At present, the evidence that these technologies bring a significant improvement to the cognitive therapies is limited. In other words, there is no evidence about the efficacy of using virtual environments in rehabilitation. In this context, this work aims to address those issues which keep the virtual environments out of the clinical routine. The stages of the cognitive rehabilitation process, which are related with the use and integration of these environments, are analysed: activities design, its implementation in the virtual environment, and the patient’s performance and the data analysis. Hence, the thesis is comprised of the main chapters that are listed below: 1. ADL Design.Definition and configuration of the elements which comprise the ADL allow the therapist to design intervention strategies to influence over the patient behaviour along the activity performance. This chapter aims to formalise the AVD design in order to help neuropsychologists to make use of the interactive virtual environments’ potential but isolating them from the complexity of the technology. With this purpose a new methodology is proposed as an instrument to model the ADL definition, to manage its implied knowledge and to assist the clinician along the design process of the therapeutic intervention. 2. Interactive virtual environment. Continuous advancements make the technology feasible for re-creating rehabilitation therapies based on ADL. The goal of this stage is to analyse the main features of virtual environments in order to apply them according to the cognitive rehabilitation’s requirements. The interactive video is proposed as the technology to develop virtual environments. Experimental study is carried out to assess the suitability of the interactive video to be used by cognitive rehabilitation. 3. ADL monitoring system. This kind of virtual environments bring patients in front lots of stimuli and interactions. Thus, advanced monitoring instruments are needed to provide therapist with objective information about patient’s behaviour. This thesis chapter propose the use of metrics rely on visual patients’ visual attention and their interactions with the environment. A monitoring system has been developed and integrated with the interactive video-based virtual environment, providing neuropsychologist with the instruments to evaluate the clinical force of this metrics. Therapeutic interventions-based ADL has been designed by using the proposed methodology. Interactive video technology has been used to develop the ADL, resulting in a virtual environment prototype to be use by patients who suffer a cognitive deficits. An experimental study has been performed to evaluate the virtual environment, whose overcomes show the usability and solidity of the system, and also its capacity to have influence over patient’s behaviour. The monitoring system, which has been embedded in the virtual environment, provides objective information about patients’ behaviour along their activity performance. Research hypothesis of the Thesis are proven by the obtained results. They could help to incorporate the interactive virtual environments in the clinical routine. This may be a significant step forward to enhance the cognitive neurorehabilitation processes in brain injury.