Cognitive neurorehabilitation based on interactive video technology

Cognitive impairment is the main cause of disability in developed societies. New interactive technologies help therapists in neurorehabilitation in order to increase patients’ autonomy and quality of life. This work proposes Interactive Video (IV) as a technology to develop cognitive rehabilitation tasks based on Activities of Daily Living (ADL). ADL cognitive task has been developed and integrated with eye-tracking technology for task interaction and patients’ performance monitoring.

A graphical tool for designing interactive video cognitive rehabilitation therapies

Acquired Brain Injury (ABI) has become one of the most common causes of neurological disability in developed countries. Cognitive disorders result in a loss of independence and therefore patients? quality of life. Cognitive rehabilitation aims to promote patients? skills to achieve their highest degree of personal autonomy. New technologies such as interactive video, whereby real situations of daily living are reproduced within a controlled virtual environment, enable the design of personalized therapies with a high level of generalization and a great ecological validity. This paper presents a graphical tool that allows neuropsychologists to design, modify, and configure interactive video therapeutic activities, through the combination of graphic and natural language. The tool has been validated creating several Activities of Daily Living and a preliminary usability evaluation has been performed showing a good clinical acceptance in the definition of complex interactive video therapies for cognitive rehabilitation.

Monitoring visual attention on a neurorehabilitation environment based on interactive video

The use of new technologies in neurorehabilitation has led to higher intensity rehabilitation processes, extending therapies in an economically sustainable way. Interactive Video (IV) technology allows therapists to work with virtual environments that reproduce real situations. In this way, patients deal with Activities of the Daily Living (ADL) immersed within enhanced environments [1]. These rehabilitation exercises, which focus in re-learning lost functions, will try to modulate the neural plasticity processes [2]. This research presents a system where a neurorehabilitation IV-based environment has been integrated with an eye-tracker device in order to monitor and to interact using visual attention. While patients are interacting with the neurorehabilitation environment, their visual behavior is closely related with their cognitive state, which in turn mirrors the brain damage condition suffered by them [3] [4]. Patients’ gaze data can provide knowledge on their attention focus and their cognitive state, as well as on the validity of the rehabilitation tasks proposed [5].

Modelado y Evaluación de Entornos Virtuales Interactivos para Rehabilitación Cognitiva en Daño Cerebral

El Daño Cerebral (DC) se refiere a cualquier lesión producida en el cerebro y que afecta a su funcionalidad. Se ha convertido en una de las principales causas de discapacidad neurológica de las sociedades desarrolladas. Hasta la más sencilla de las actividades y acciones que realizamos en nuestro día a día involucran a los procesos cognitivos. Por ello, la alteración de las funciones cognitivas como consecuencia del DC, limita no sólo la calidad de vida del paciente sino también la de las persona de su entorno. La rehabilitación cognitiva trata de aumentar la autonomía y calidad de vida del paciente minimizando o compensando los desórdenes funciones causados por el episodio de DC. La plasticidad cerebral es una propiedad intrínseca al sistema nervioso humano por la que en función a la experiencia se crean nuevos patrones de conectividad. El propósito de la neurorrehabilitación es precisamente modular esta propiedad intrínseca a partir de ejercicios específicos, los cuales podrían derivar en la recuperación parcial o total de las funciones afectadas. La incorporación de la tecnología a las terapias de rehabilitación ha permitido desarrollar nuevas metodologías de trabajo. Esto ha ayudado a hacer frente a las dificultades de la rehabilitación que los procesos tradicionales no logran abarcar. A pesar del gran avance realizado en los Ãoltimos años, todavía existen debilidades en el proceso de rehabilitación; por ejemplo, la trasferencia a la vida real de las habilidades logradas durante la terapia de rehabilitación, así como su generalización a otras actividades cotidianas. Los entornos virtuales pueden reproducir situaciones cotidianas. Permiten simular, de forma controlada, los requisitos conductuales que encontramos en la vida real. En un contexto terapéutico, puede ser utilizado por el neuropsicólogo para corregir en el paciente comportamientos patológicos no deseados, realizar intervenciones terapéuticas sobre Actividades de Vida Diaria que estimulen conductas adaptativas. A pesar de que las tecnologías actuales tienen potencial suficiente para aportar nuevos beneficios al proceso de rehabilitación, existe cierta reticencia a su incorporación a la clínica diaria. A día de hoy, no se ha podido demostrar que su uso aporte una mejorar significativa con respecto a otro tipo de intervención; en otras palabras, no existe evidencia científica de la eficacia del uso de entornos virtuales interactivos en rehabilitación. En este contexto, la presente Tesis Doctoral trata de abordar los aspectos que mantienen a los entornos virtuales interactivos al margen de la rutina clínica diaria. Se estudian las diferentes etapas del proceso de rehabilitación cognitiva relacionado con la integración y uso de estos entornos: diseño de las actividades, su implementación en el entorno virtual, y finalmente la ejecución por el paciente y análisis de los respectivos datos. Por tanto, los bloques en los que queda dividido el trabajo de investigación expuesto en esta memoria son: 1. Diseño de las AVD. La definición y configuración de los elementos que componen la AVD permite al terapeuta diseñar estrategias de intervención terapéutica para actuar sobre el comportamiento del paciente durante la ejecución de la actividad. En esta parte de la tesis se pretende formalizar el diseño de las AVD de tal forma que el terapeuta pueda explotar el potencial tecnológico de los entornos virtuales interactivos abstrayéndose de la complejidad implícita a la tecnología. Para hacer viable este planteamiento se propone una metodología que permita modelar la definición de las AVD, representar el conocimiento implícito en ellas, y asistir al neuropsicólogo durante el proceso de diseño de la intervención clínica. 2. Entorno virtual interactivo. El gran avance tecnológico producido durante los Ãoltimos años permite reproducir AVD interactivas en un contexto de uso clínico. El objetivo perseguido en esta parte de la Tesis es el de extraer las características potenciales de esta solución tecnológica y aplicarla a las necesidades y requisitos de la rehabilitación cognitiva. Se propone el uso de la tecnología de Vídeo Interactivo para el desarrollo de estos entornos virtuales. Para la evaluación de la misma se realiza un estudio experimental dividido en dos fases con la participación de sujetos sanos y pacientes, donde se valora su idoneidad para ser utilizado en terapias de rehabilitación cognitiva. 3. Monitorización de las AVD. El uso de estos entornos virtuales interactivos expone al paciente ante una gran cantidad de estímulos e interacciones. Este hecho requiere de instrumentos de monitorización avanzado que aporten al terapeuta información objetiva sobre el comportamiento del paciente, lo que le podría permitir por ejemplo evaluar la eficacia del tratamiento. En este apartado se propone el uso de métricas basadas en la atención visual y la interacción con el entorno para conocer datos sobre el comportamiento del paciente durante la AVD. Se desarrolla un sistema de monitorización integrado con el entorno virtual que ofrece los instrumentos necesarios para la evaluación de estas métricas para su uso clínico. La metodología propuesta ha permitido diseñar una AVD basada en la definición de intervenciones terapéuticas. Posteriormente esta AVD has sido implementada mediante la tecnología de vídeo interactivo, creando así el prototipo de un entorno virtual para ser utilizado por pacientes con déficit cognitivo. Los resultados del estudio experimental mediante el cual ha sido evaluado demuestran la robustez y usabilidad del sistema, así como su capacidad para intervenir sobre el comportamiento del paciente. El sistema monitorización que ha sido integrado con el entorno virtual aporta datos objetivos sobre el comportamiento del paciente durante la ejecución de la actividad. Los resultados obtenidos permiten contrastar las hipótesis de investigación planteadas en la Tesis Doctoral, aportando soluciones que pueden ayudar a la integración de los entornos virtuales interactivos en la rutina clínica. Esto abre una nueva vía de investigación y desarrollo que podría suponer un gran progreso y mejora en los procesos de neurorrehabilitación cognitiva en daño cerebral. ABSTRACT Brain injury (BI) refers to medical conditions that occur in the brain, altering its function. It becomes one of the main neurological disabilities in the developed society. Cognitive processes determine individual performance in Activities of Daily Living (ADL), thus, the cognitive disorders after BI result in a loss of autonomy and independence, affecting the patient’s quality of life. Cognitive rehabilitation seeks to increase patients’ autonomy and quality of life minimizing or compensating functional disorders showed by BI patients. Brain plasticity is an intrinsic property of the human nervous system whereby its structure is changed depending on experience. Neurorehabilitation pursuits a precise modulation of this intrinsic property, based on specific exercises to induce functional changes, which could result in partial or total recovery of the affected functions. The new methodologies that can be approached by applying technologies to the rehabilitation process, permit to deal with the difficulties which are out of the scope of the traditional rehabilitation. Despite this huge breakthrough, there are still weaknesses in the rehabilitation process, such as the transferring to the real life those skills reached along the therapy, and its generalization to others daily activities. Virtual environments reproduce daily situations. Behavioural requirements which are similar to those we perceive in real life, are simulated in a controlled way. In these virtual environments the therapist is allowed to interact with patients without even being present, inhibiting unsuitable behaviour patterns, stimulating correct answers throughout the simulation and enhancing stimuli with supplementary information when necessary. Despite the benefits which could be brought to the cognitive rehabilitation by applying the potential of the current technologies, there are barriers for widespread use of interactive virtual environments in clinical routine. At present, the evidence that these technologies bring a significant improvement to the cognitive therapies is limited. In other words, there is no evidence about the efficacy of using virtual environments in rehabilitation. In this context, this work aims to address those issues which keep the virtual environments out of the clinical routine. The stages of the cognitive rehabilitation process, which are related with the use and integration of these environments, are analysed: activities design, its implementation in the virtual environment, and the patient’s performance and the data analysis. Hence, the thesis is comprised of the main chapters that are listed below: 1. ADL Design.Definition and configuration of the elements which comprise the ADL allow the therapist to design intervention strategies to influence over the patient behaviour along the activity performance. This chapter aims to formalise the AVD design in order to help neuropsychologists to make use of the interactive virtual environments’ potential but isolating them from the complexity of the technology. With this purpose a new methodology is proposed as an instrument to model the ADL definition, to manage its implied knowledge and to assist the clinician along the design process of the therapeutic intervention. 2. Interactive virtual environment. Continuous advancements make the technology feasible for re-creating rehabilitation therapies based on ADL. The goal of this stage is to analyse the main features of virtual environments in order to apply them according to the cognitive rehabilitation’s requirements. The interactive video is proposed as the technology to develop virtual environments. Experimental study is carried out to assess the suitability of the interactive video to be used by cognitive rehabilitation. 3. ADL monitoring system. This kind of virtual environments bring patients in front lots of stimuli and interactions. Thus, advanced monitoring instruments are needed to provide therapist with objective information about patient’s behaviour. This thesis chapter propose the use of metrics rely on visual patients’ visual attention and their interactions with the environment. A monitoring system has been developed and integrated with the interactive video-based virtual environment, providing neuropsychologist with the instruments to evaluate the clinical force of this metrics. Therapeutic interventions-based ADL has been designed by using the proposed methodology. Interactive video technology has been used to develop the ADL, resulting in a virtual environment prototype to be use by patients who suffer a cognitive deficits. An experimental study has been performed to evaluate the virtual environment, whose overcomes show the usability and solidity of the system, and also its capacity to have influence over patient’s behaviour. The monitoring system, which has been embedded in the virtual environment, provides objective information about patients’ behaviour along their activity performance. Research hypothesis of the Thesis are proven by the obtained results. They could help to incorporate the interactive virtual environments in the clinical routine. This may be a significant step forward to enhance the cognitive neurorehabilitation processes in brain injury.

Modelling ecological cognitive rehabilitation therapies for building virtual environments in brain injury

Brain Injury (BI) has become one of the most common causes of neurological disability in developed countries. Cognitive disorders result in a loss of independence and patients? quality of life. Cognitive rehabilitation aims to promote patients? skills to achieve their highest degree of personal autonomy. New technologies such as virtual reality or interactive video allow developing rehabilitation therapies based on reproducible Activities of Daily Living (ADLs), increasing the ecological validity of the therapy. However, the lack of frameworks to formalize and represent the definition of this kind of therapies can be a barrier for widespread use of interactive virtual environments in clinical routine.

Experimental Prototype Merging Stereo Panoramic Video and Interactive 3D Content in a 5-sided CAVETM

Immersion and interaction have been identified as key factors influencing the quality of experience in stereoscopic video systems. An experimental prototype designed to explore the influence of these factors in 3D video applications is described here1. The focus is on the real-time insertion algorithm of new 3D models into the original video streams. Using this algorithm, our prototype is aimed to explore a new interaction paradigm ? similar to the augmented reality approach ? with 3D video applications.

AMELIE: Authoring Multimedia-Enhanced Learning Interactive Environment for medical contents

This paper presents the AMELIE Authoring Tool for medical e-learning applications. The tool allows for the creation of enhanced-video based didactic contents, and can be adjusted to any number of platforms and applications. Validation provides preliminary good results on its acceptance and usefulness.

AMELIE: Authoring Multimedia-Enhanced Learning Interactive Environment for e-Health Contents

This paper presents the AMELIE Authoring Tool for e-health applications. AMELIE provides the means for creating video-based contents with a focus on e-learning and telerehabilitation processes. The main core of AMELIE lies in the efficient exploitation of raw multimedia resources, which may be already available at clinical centers or recorded ad hoc for learning purposes by health professionals. Three real use cases scenarios involving different target users are presented: (1) cognitive skills? training of surgeons in minimally invasive surgery (medical professionals), (2) training of informal carers for elderly home assistance and (3) cognitive rehabilitation of patients with acquired brain injury. Preliminary validation in the field of surgery hints at the potential of AMELIE; and its versatility in different medical applications is patent from the use cases described. Regardless, new validation studies are planned in the three main application areas identified in this work.

Low-cost efficient interactive whiteboard

In this paper we present a low-cost efficient Interactive Whiteboard that, by fusing depth and video information provided by a low-cost depth camera, is able to detect and track user movements.

AMELIE: Authoring Multimedia-Enhanced Learning Interactive Environment for medical contents

This paper presents the AMELIE Authoring Tool for medical e-learning applications. The tool allows for the creation of enhanced-video based didactic contents, and can be adjusted to any number of platforms and applications. Validation provides preliminary good results on its acceptance and usefulness.

User experience with immersive and interactive media = Experiencia de usuario en entornos 3D inmersivos e interactivos

Estudios recientes promueven la integración de estímulos multisensoriales en activos multimedia con el fin de mejorar la experiencia de usuario mediante la estimulación de nuevos sentidos, más allá de la tradicional experiencia audiovisual. Del mismo modo, varios trabajos proponen la introducción de componentes de interacción capaces de complementar con nuevas características, funcionalidades y/o información la experiencia multimedia. Efectos sensoriales basados en el uso de nuevas técnicas de audio, olores, viento, vibraciones y control de la iluminación, han demostrado tener un impacto favorable en la sensación de Presencia, en el disfrute de la experiencia multimedia y en la calidad, relevancia y realismo de la misma percibidos por el usuario. Asimismo, los servicios basados en dos pantallas y la manipulación directa de (elementos en) la escena de video tienen el potencial de mejorar la comprensión, la concentración y la implicación proactiva del usuario en la experiencia multimedia. El deporte se encuentra entre los géneros con mayor potencial para integrar y explotar éstas soluciones tecnológicas. Trabajos previos han demostrado asimismo la viabilidad técnica de integrar éstas tecnologías con los estándares actualmente adoptados a lo largo de toda la cadena de transmisión de televisión. De este modo, los sistemas multimedia enriquecidos con efectos sensoriales, los servicios interactivos multiplataforma y un mayor control del usuario sobre la escena de vídeo emergen como nuevas formas de llevar la multimedia immersiva e interactiva al mercado de consumo de forma no disruptiva. Sin embargo, existen numerosas interrogantes relativas a los efectos sensoriales y/o soluciones interactivas más adecuadas para complementar un contenido audiovisual determinado o a la mejor manera de de integrar y combinar dichos componentes para mejorar la experiencia de usuario de un segmento de audiencia objetivo. Además, la evidencia científica sobre el impacto de factores humanos en la experiencia de usuario con estas nuevas formas de immersión e interacción en el contexto multimedia es aún insuficiente y en ocasiones, contradictoria. Así, el papel de éstos factores en el potencial de adopción de éstas tecnologías ha sido amplia-mente ignorado. La presente tesis analiza el impacto del audio binaural, efectos sensoriales (de iluminación y olfativos), interacción con objetos 3D integrados en la escena de vídeo e interacción con contenido adicional utilizando una segunda pantalla en la experiencia de usuario con contenidos de deporte. La posible influencia de dichos componentes en las variables dependientes se explora tanto a nivel global (efecto promedio) como en función de las características de los usuarios (efectos heterogéneos). Para ello, se ha llevado a cabo un experimento con usuarios orientado a explorar la influencia de éstos componentes immersivos e interactivos en dos grandes dimensiones de la experiencia multimedia: calidad y Presencia. La calidad de la experiencia multimedia se analiza en términos de las posibles variaciones asociadas a la calidad global y a la calidad del contenido, la imagen, el audio, los efectos sensoriales, la interacción con objetos 3D y la interacción con la segunda pantalla. El posible impacto en la Presencia considera dos de las dimensiones definidas por el cuestionario ITC-SOPI: Presencia Espacial (Spatial Presence) e Implicación (Engagement). Por último, los individuos son caracterizados teniendo en cuenta los siguientes atributos afectivos, cognitivos y conductuales: preferencias y hábitos en relación con el contenido, grado de conocimiento de las tecnologías integradas en el sistema, tendencia a involucrarse emocionalmente, tendencia a concentrarse en una actividad bloqueando estímulos externos y los cinco grandes rasgos de la personalidad: extroversión, amabilidad, responsabilidad, inestabilidad emocional y apertura a nuevas experiencias. A nivel global, nuestro estudio revela que los participantes prefieren el audio binaural frente al sistema estéreo y que los efectos sensoriales generan un aumento significativo del nivel de Presencia Espacial percibido por los usuarios. Además, las manipulaciones experimentales realizadas permitieron identificar una gran variedad de efectos heterogéneos. Un resultado interesante es que dichos efectos no se encuentran distribuidos de forma equitativa entre las medidas de calidad y Presencia. Nuestros datos revelan un impacto generalizado del audio binaural en la mayoría de las medidas de calidad y Presencia analizadas. En cambio, la influencia de los efectos sensoriales y de la interacción con la segunda pantalla se concentran en las medidas de Presencia y calidad, respectivamente. La magnitud de los efectos heterogéneos identificados está modulada por las siguientes características personales: preferencias en relación con el contenido, frecuencia con la que el usuario suele ver contenido similar, conocimiento de las tecnologías integradas en el demostrador, sexo, tendencia a involucrarse emocionalmente, tendencia a a concentrarse en una actividad bloqueando estímulos externos y niveles de amabilidad, responsabilidad y apertura a nuevas experiencias. Las características personales consideradas en nuestro experimento explicaron la mayor parte de la variación en las variables dependientes, confirmando así el importante (y frecuentemente ignorado) papel de las diferencias individuales en la experiencia multimedia. Entre las características de los usuarios con un impacto más generalizado se encuentran las preferencias en relación con el contenido, el grado de conocimiento de las tecnologías integradas en el sistema y la tendencia a involucrarse emocionalmente. En particular, los primeros dos factores parecen generar un conflicto de atención hacia el contenido versus las características/elementos técnicos del sistema, respectivamente. Asimismo, la experiencia multimedia de los fans del fútbol parece estar modulada por procesos emociona-les, mientras que para los no-fans predominan los procesos cognitivos, en particular aquellos directamente relacionados con la percepción de calidad. Abstract Recent studies encourage the integration of multi-sensorial stimuli into multimedia assets to enhance the user experience by stimulating other senses beyond sight and hearing. Similarly, the introduction of multi-modal interaction components complementing with new features, functionalities and/or information the multimedia experience is promoted. Sensory effects as odor, wind, vibration and light effects, as well as an enhanced audio quality, have been found to favour media enjoyment and to have a positive influence on the sense of Presence and on the perceived quality, relevance and reality of a multimedia experience. Two-screen services and a direct manipulation of (elements in) the video scene have the potential to enhance user comprehension, engagement and proactive involvement of/in the media experience. Sports is among the genres that could benefit the most from these solutions. Previous works have demonstrated the technical feasibility of implementing and deploying end-to-end solutions integrating these technologies into legacy systems. Thus, sensorially-enhanced media, two-screen services and an increased user control over the displayed scene emerge as means to deliver a new form of immersive and interactive media experiences to the mass market in a non-disruptive manner. However, many questions remain concerning issues as the specific interactive solutions or sensory effects that can better complement a given audiovisual content or the best way in which to integrate and combine them to enhance the user experience of a target audience segment. Furthermore, scientific evidence on the impact of human factors on the user experience with these new forms of immersive and interactive media is still insufficient and sometimes, contradictory. Thus, the role of these factors on the potential adoption of these technologies has been widely ignored. This thesis analyzes the impact of binaural audio, sensory (light and olfactory) effects, interaction with 3D objects integrated into the video scene and interaction with additional content using a second screen on the sports media experience. The potential influence of these components on the dependent variables is explored both at the overall level (average effect) and as a function of users’ characteristics (heterogeneous effects). To these aims, we conducted an experimental study exploring the influence of these immersive and interactive elements on the quality and Presence dimensions of the media experience. Along the quality dimension, we look for possible variations on the quality scores as-signed to the overall media experience and to the media components content, image, audio, sensory effects, interaction with 3D objects and interaction using the tablet device. The potential impact on Presence is analyzed by looking at two of the four dimensions defined by the ITC-SOPI questionnaire, namely Spatial Presence and Engagement. The users’ characteristics considered encompass the following personal affective, cognitive and behavioral attributes: preferences and habits in relation to the content, knowledge of the involved technologies, tendency to get emotionally involved and tendency to get absorbed in an activity and block out external distractors and the big five personality traits extraversion, agreeableness, conscientiousness, neuroticism and openness to experience. At the overall level, we found that participants preferred binaural audio than standard stereo audio and that sensory effects increase significantly the level of Spatial Presence. Several heterogeneous effects were also revealed as a result of our experimental manipulations. Interestingly, these effects were not equally distributed across the quality and Presence measures analyzed. Whereas binaural audio was foud to have an influence on the majority of the quality and Presence measures considered, the effects of sensory effects and of interaction with additional content through the tablet device concentrate mainly on the dimensions of Presence and on quality measures, respectively. The magnitude of these effects was modulated by individual’s characteristics, such as: preferences in relation to the content, frequency of viewing similar content, knowledge of involved technologies, gender, tendency to get emotionally involved, tendency to absorption and levels of agreeableness, conscientiousness and openness to experience. The personal characteristics collected in our experiment explained most of the variation in the dependent variables, confirming the frequently neglected role of individual differences on the media experience. Preferences in relation to the content, knowledge of involved technologies and tendency to get emotionally involved were among the user variables with the most generalized influence. In particular, the former two features seem to present a conflict in the allocation of attentional resources towards the media content versus the technical features of the system, respectively. Additionally, football fans’ experience seems to be modulated by emotional processes whereas for not fans, cognitive processes (and in particular those related to quality judgment) prevail.