Assessing user bias in affect detection within context-based spoken dialog systems

This paper presents an empirical evidence of user bias within a laboratory-oriented evaluation of a Spoken Dialog System. Specifically, we addressed user bias in their satisfaction judgements. We question the reliability of this data for modeling user emotion, focusing on contentment and frustration in a spoken dialog system. This bias is detected through machine learning experiments that were conducted on two datasets, users and annotators, which were then compared in order to assess the reliability of these datasets. The target used was the satisfaction rating and the predictors were conversational/dialog features. Our results indicated that standard classifiers were significantly more successful in discriminating frustration and contentment and the intensities of these emotions (reflected by user satisfaction ratings) from annotator data than from user data. Indirectly, the results showed that conversational features are reliable predictors of the two abovementioned emotions.

Authentication in mobile devices through hand gesture recognition

This article proposes an innovative biometric technique based on the idea of authenticating a person on a mobile device by gesture recognition. To accomplish this aim, a user is prompted to be recognized by a gesture he/she performs moving his/her hand while holding a mobile device with an accelerometer embedded. As users are not able to repeat a gesture exactly in the air, an algorithm based on sequence alignment is developed to correct slight differences between repetitions of the same gesture. The robustness of this biometric technique has been studied within 2 different tests analyzing a database of 100 users with real falsifications. Equal Error Rates of 2.01 and 4.82% have been obtained in a zero-effort and an active impostor attack, respectively. A permanence evaluation is also presented from the analysis of the repetition of the gestures of 25 users in 10 sessions over a month. Furthermore, two different gesture databases have been developed: one made up of 100 genuine identifying 3-D hand gestures and 3 impostors trying to falsify each of them and another with 25 volunteers repeating their identifying 3- D hand gesture in 10 sessions over a month. These databases are the most extensive in published studies, to the best of our knowledge.

Improving Hardware Reuse through XML-based Interface Encapsulation

This work proposes an encapsulation scheme aimed at simplifying the reuse process of hardware cores. This hardware encapsulation approach has been conceived with a twofold objective. First, we look for the improvement of the reuse interface associated with the hardware core description. This is carried out in a first encapsulation level by improving the limited types and configuration options available in the conventional HDLs interface, and also providing information related to the implementation itself. Second, we have devised a more generic interface focused on describing the function avoiding details from a particular implementation, what corresponds to a second encapsulation level. This encapsulation allows the designer to define how to configure and use the design to implement a given functionality. The proposed encapsulation schemes help improving the amount of information that can be supplied with the design, and also allow to automate the process of searching, configuring and implementing diverse alternatives.

Gesture recognition using mobile phone's inertial sensors

The availability of inertial sensors embedded in mobile devices has enabled a new type of interaction based on the movements or “gestures” made by the users when holding the device. In this paper we propose a gesture recognition system for mobile devices based on accelerometer and gyroscope measurements. The system is capable of recognizing a set of predefined gestures in a user-independent way, without the need of a training phase. Furthermore, it was designed to be executed in real-time in resource-constrained devices, and therefore has a low computational complexity. The performance of the system is evaluated offline using a dataset of gestures, and also online, through some user tests with the system running in a smart phone.

Controlador MIDI basado en Kinect

Este proyecto tiene como objetivo el desarrollo de una interfaz MIDI, basada en técnicas de procesamiento digital de la imagen, capaz de controlar diversos parámetros de un software de audio mediante información gestual: el movimiento de las manos. La imagen es capturada por una cámara Kinect comercial y los datos obtenidos por ésta son procesados en tiempo real. La finalidad es convertir la posición de varios puntos de control de nuestro cuerpo en información de control musical MIDI. La interfaz ha sido desarrollada en el lenguaje y entorno de programación Processing, el cual está basado en Java, es de libre distribución y de fácil utilización. El software de audio seleccionado es Ableton Live, versión 8.2.2, elegido porque es útil tanto para la composición musical como para la música en directo, y esto último es la principal utilidad que se le pretende dar a la interfaz. El desarrollo del proyecto se divide en dos bloques principales: el primero, diseño gráfico del controlador, y el segundo, la gestión de la información musical. En el primer apartado se justifica el diseño del controlador, formado por botones virtuales: se explica el funcionamiento y, brevemente, la función de cada botón. Este último tema es tratado en profundidad en el Anexo II: Manual de usuario. En el segundo bloque se explica el camino que realiza la información MIDI desde el procesador gestual hasta el sintetizador musical. Este camino empieza en Processing, desde donde se mandan los mensajes que más tarde son interpretados por el secuenciador seleccionado, Ableton Live. Una vez terminada la explicación con detalle del desarrollo del proyecto se exponen las conclusiones del autor acerca del desarrollo del proyecto, donde se encuentran los pros y los contras a tener en cuenta para poder sacar el máximo provecho en el uso del controlador . En este mismo bloque de la memoria se exponen posibles líneas futuras a desarrollar. Se facilita también un presupuesto, desglosado en costes materiales y de personal. ABSTRACT. The aim of this project is the development of a MIDI interface based on image digital processing techniques, able to control several parameters of an audio software using gestural information, the movement of the hands. The image is captured by a commercial Kinect camera and the data obtained by it are processed in real time. The purpose is to convert the position of various points of our body into MIDI musical control information. The interface has been developed in the Processing programming language and environment which is based on Java, freely available and easy to used. The audio software selected is Ableton Live, version 8.2.2, chosen because it is useful for both music composition and live music, and the latter is the interface main intended utility. The project development is divided into two main blocks: the controller graphic design, and the information management. The first section justifies the controller design, consisting of virtual buttons: it is explained the operation and, briefly, the function of each button. This latter topic is covered in detail in Annex II: user manual. In the second section it is explained the way that the MIDI information makes from the gestural processor to the musical synthesizer. It begins in Processing, from where the messages, that are later interpreted by the selected sequencer, Ableton Live, are sent. Once finished the detailed explanation of the project development, the author conclusions are presented, among which are found the pros and cons to take into account in order to take full advantage in the controller use. In this same block are explained the possible future aspects to develop. It is also provided a budget, broken down into material and personal costs.

User Experience in Human-Technology Interaction. Communication, context and evaluation methodology

En esta Tesis se presentan dos líneas de investigación relacionadas y que contribuyen a las áreas de Interacción Hombre-Tecnología (o Máquina; siglas en inglés: HTI o HMI), lingüística computacional y evaluación de la experiencia del usuario. Las dos líneas en cuestión son el diseño y la evaluación centrada en el usuario de sistemas de Interacción Hombre-Máquina avanzados. En la primera parte de la Tesis (Capítulos 2 a 4) se abordan cuestiones fundamentales del diseño de sistemas HMI avanzados. El Capítulo 2 presenta una panorámica del estado del arte de la investigación en el ámbito de los sistemas conversacionales multimodales, con la que se enmarca el trabajo de investigación presentado en el resto de la Tesis. Los Capítulos 3 y 4 se centran en dos grandes aspectos del diseño de sistemas HMI: un gestor del diálogo generalizado para tratar la Interacción Hombre-Máquina multimodal y sensible al contexto, y el uso de agentes animados personificados (ECAs) para mejorar la robustez del diálogo, respectivamente. El Capítulo 3, sobre gestión del diálogo, aborda el tratamiento de la heterogeneidad de la información proveniente de las modalidades comunicativas y de los sensores externos. En este capítulo se propone, en un nivel de abstracción alto, una arquitectura para la gestión del diálogo con influjos heterogéneos de información, apoyándose en el uso de State Chart XML. En el Capítulo 4 se presenta una contribución a la representación interna de intenciones comunicativas, y su traducción a secuencias de gestos a ejecutar por parte de un ECA, diseñados específicamente para mejorar la robustez en situaciones de diálogo críticas que pueden surgir, por ejemplo, cuando se producen errores de entendimiento en la comunicación entre el usuario humano y la máquina. Se propone, en estas páginas, una extensión del Functional Mark-up Language definido en el marco conceptual SAIBA. Esta extensión permite representar actos comunicativos que realizan intenciones del emisor (la máquina) que no se pretende sean captadas conscientemente por el receptor (el usuario humano), pero con las que se pretende influirle a éste e influir el curso del diálogo. Esto se consigue mediante un objeto llamado Base de Intenciones Comunicativas (en inglés, Communication Intention Base, o CIB). La representación en el CIB de intenciones “no claradas” además de las explícitas permite la construcción de actos comunicativos que realizan simultáneamente varias intenciones comunicativas. En el Capítulo 4 también se describe un sistema experimental para el control remoto (simulado) de un asistente domótico, con autenticación de locutor para dar acceso, y con un ECA en el interfaz de cada una de estas tareas. Se incluye una descripción de las secuencias de comportamiento verbal y no verbal de los ECAs, que fueron diseñados específicamente para determinadas situaciones con objeto de mejorar la robustez del diálogo. Los Capítulos 5 a 7 conforman la parte de la Tesis dedicada a la evaluación. El Capítulo 5 repasa antecedentes relevantes en la literatura de tecnologías de la información en general, y de sistemas de interacción hablada en particular. Los principales antecedentes en el ámbito de la evaluación de la interacción sobre los cuales se ha desarrollado el trabajo presentado en esta Tesis son el Technology Acceptance Model (TAM), la herramienta Subjective Assessment of Speech System Interfaces (SASSI), y la Recomendación P.851 de la ITU-T. En el Capítulo 6 se describen un marco y una metodología de evaluación aplicados a la experiencia del usuario con sistemas HMI multimodales. Se desarrolló con este propósito un novedoso marco de evaluación subjetiva de la calidad de la experiencia del usuario y su relación con la aceptación por parte del mismo de la tecnología HMI (el nombre dado en inglés a este marco es Subjective Quality Evaluation Framework). En este marco se articula una estructura de clases de factores subjetivos relacionados con la satisfacción y aceptación por parte del usuario de la tecnología HMI propuesta. Esta estructura, tal y como se propone en la presente tesis, tiene dos dimensiones ortogonales. Primero se identifican tres grandes clases de parámetros relacionados con la aceptación por parte del usuario: “agradabilidad ” (likeability: aquellos que tienen que ver con la experiencia de uso, sin entrar en valoraciones de utilidad), rechazo (los cuales sólo pueden tener una valencia negativa) y percepción de utilidad. En segundo lugar, este conjunto clases se reproduce para distintos “niveles, o focos, percepción del usuario”. Éstos incluyen, como mínimo, un nivel de valoración global del sistema, niveles correspondientes a las tareas a realizar y objetivos a alcanzar, y un nivel de interfaz (en los casos propuestos en esta tesis, el interfaz es un sistema de diálogo con o sin un ECA). En el Capítulo 7 se presenta una evaluación empírica del sistema descrito en el Capítulo 4. El estudio se apoya en los mencionados antecedentes en la literatura, ampliados con parámetros para el estudio específico de los agentes animados (los ECAs), la auto-evaluación de las emociones de los usuarios, así como determinados factores de rechazo (concretamente, la preocupación por la privacidad y la seguridad). También se evalúa el marco de evaluación subjetiva de la calidad propuesto en el capítulo anterior. Los análisis de factores efectuados revelan una estructura de parámetros muy cercana conceptualmente a la división de clases en utilidad-agradabilidad-rechazo propuesta en dicho marco, resultado que da cierta validez empírica al marco. Análisis basados en regresiones lineales revelan estructuras de dependencias e interrelación entre los parámetros subjetivos y objetivos considerados. El efecto central de mediación, descrito en el Technology Acceptance Model, de la utilidad percibida sobre la relación de dependencia entre la intención de uso y la facilidad de uso percibida, se confirma en el estudio presentado en la presente Tesis. Además, se ha encontrado que esta estructura de relaciones se fortalece, en el estudio concreto presentado en estas páginas, si las variables consideradas se generalizan para cubrir más ampliamente las categorías de agradabilidad y utilidad contempladas en el marco de evaluación subjetiva de calidad. Se ha observado, asimismo, que los factores de rechazo aparecen como un componente propio en los análisis de factores, y además se distinguen por su comportamiento: moderan la relación entre la intención de uso (que es el principal indicador de la aceptación del usuario) y su predictor más fuerte, la utilidad percibida. Se presentan también resultados de menor importancia referentes a los efectos de los ECAs sobre los interfaces de los sistemas de diálogo y sobre los parámetros de percepción y las valoraciones de los usuarios que juegan un papel en conformar su aceptación de la tecnología. A pesar de que se observa un rendimiento de la interacción dialogada ligeramente mejor con ECAs, las opiniones subjetivas son muy similares entre los dos grupos experimentales (uno interactuando con un sistema de diálogo con ECA, y el otro sin ECA). Entre las pequeñas diferencias encontradas entre los dos grupos destacan las siguientes: en el grupo experimental sin ECA (es decir, con interfaz sólo de voz) se observó un efecto más directo de los problemas de diálogo (por ejemplo, errores de reconocimiento) sobre la percepción de robustez, mientras que el grupo con ECA tuvo una respuesta emocional más positiva cuando se producían problemas. Los ECAs parecen generar inicialmente expectativas más elevadas en cuanto a las capacidades del sistema, y los usuarios de este grupo se declaran más seguros de sí mismos en su interacción. Por último, se observan algunos indicios de efectos sociales de los ECAs: la “amigabilidad ” percibida los ECAs estaba correlada con un incremento la preocupación por la seguridad. Asimismo, los usuarios del sistema con ECAs tendían más a culparse a sí mismos, en lugar de culpar al sistema, de los problemas de diálogo que pudieran surgir, mientras que se observó una ligera tendencia opuesta en el caso de los usuarios del sistema con interacción sólo de voz. ABSTRACT This Thesis presents two related lines of research work contributing to the general fields of Human-Technology (or Machine) Interaction (HTI, or HMI), computational linguistics, and user experience evaluation. These two lines are the design and user-focused evaluation of advanced Human-Machine (or Technology) Interaction systems. The first part of the Thesis (Chapters 2 to 4) is centred on advanced HMI system design. Chapter 2 provides a background overview of the state of research in multimodal conversational systems. This sets the stage for the research work presented in the rest of the Thesis. Chapers 3 and 4 focus on two major aspects of HMI design in detail: a generalised dialogue manager for context-aware multimodal HMI, and embodied conversational agents (ECAs, or animated agents) to improve dialogue robustness, respectively. Chapter 3, on dialogue management, deals with how to handle information heterogeneity, both from the communication modalities or from external sensors. A highly abstracted architectural contribution based on State Chart XML is proposed. Chapter 4 presents a contribution for the internal representation of communication intentions and their translation into gestural sequences for an ECA, especially designed to improve robustness in critical dialogue situations such as when miscommunication occurs. We propose an extension of the functionality of Functional Mark-up Language, as envisaged in much of the work in the SAIBA framework. Our extension allows the representation of communication acts that carry intentions that are not for the interlocutor to know of, but which are made to influence him or her as well as the flow of the dialogue itself. This is achieved through a design element we have called the Communication Intention Base. Such r pr s ntation of “non- clar ” int ntions allows th construction of communication acts that carry several communication intentions simultaneously. Also in Chapter 4, an experimental system is described which allows (simulated) remote control to a home automation assistant, with biometric (speaker) authentication to grant access, featuring embodied conversation agents for each of the tasks. The discussion includes a description of the behavioural sequences for the ECAs, which were designed for specific dialogue situations with particular attention given to the objective of improving dialogue robustness. Chapters 5 to 7 form the evaluation part of the Thesis. Chapter 5 reviews evaluation approaches in the literature for information technologies, as well as in particular for speech-based interaction systems, that are useful precedents to the contributions of the present Thesis. The main evaluation precedents on which the work in this Thesis has built are the Technology Acceptance Model (TAM), the Subjective Assessment of Speech System Interfaces (SASSI) tool, and ITU-T Recommendation P.851. Chapter 6 presents the author’s work in establishing an valuation framework and methodology applied to the users’ experience with multimodal HMI systems. A novel user-acceptance Subjective Quality Evaluation Framework was developed by the author specifically for this purpose. A class structure arises from two orthogonal sets of dimensions. First we identify three broad classes of parameters related with user acceptance: likeability factors (those that have to do with the experience of using the system), rejection factors (which can only have a negative valence) and perception of usefulness. Secondly, the class structure is further broken down into several “user perception levels”; at the very least: an overall system-assessment level, task and goal-related levels, and an interface level (e.g., a dialogue system with or without an ECA). An empirical evaluation of the system described in Chapter 4 is presented in Chapter 7. The study was based on the abovementioned precedents in the literature, expanded with categories covering the inclusion of an ECA, the users’ s lf-assessed emotions, and particular rejection factors (privacy and security concerns). The Subjective Quality Evaluation Framework proposed in the previous chapter was also scrutinised. Factor analyses revealed an item structure very much related conceptually to the usefulness-likeability-rejection class division introduced above, thus giving it some empirical weight. Regression-based analysis revealed structures of dependencies, paths of interrelations, between the subjective and objective parameters considered. The central mediation effect, in the Technology Acceptance Model, of perceived usefulness on the dependency relationship of intention-to-use with perceived ease of use was confirmed in this study. Furthermore, the pattern of relationships was stronger for variables covering more broadly the likeability and usefulness categories in the Subjective Quality Evaluation Framework. Rejection factors were found to have a distinct presence as components in factor analyses, as well as distinct behaviour: they were found to moderate the relationship between intention-to-use (the main measure of user acceptance) and its strongest predictor, perceived usefulness. Insights of secondary importance are also given regarding the effect of ECAs on the interface of spoken dialogue systems and the dimensions of user perception and judgement attitude that may have a role in determining user acceptance of the technology. Despite observing slightly better performance values in the case of the system with the ECA, subjective opinions regarding both systems were, overall, very similar. Minor differences between two experimental groups (one interacting with an ECA, the other only through speech) include a more direct effect of dialogue problems (e.g., non-understandings) on perceived dialogue robustness for the voice-only interface test group, and a more positive emotional response for the ECA test group. Our findings further suggest that the ECA generates higher initial expectations, and users seem slightly more confident in their interaction with the ECA than do those without it. Finally, mild evidence of social effects of ECAs was also found: the perceived friendliness of the ECA increased security concerns, and ECA users may tend to blame themselves rather than the system when dialogue problems are encountered, while the opposite may be true for voice-only users.

Enhancing Evacuation Plans with a Situation Awareness System Based on End-User Knowledge Provision.

Recent disasters have shown that having clearly defined preventive procedures and decisions is a critical component that minimizes evacuation hazards and ensures a rapid and successful evolution of evacuation plans. In this context, we present our Situation-Aware System for enhancing Evacuation Plans (SASEP) system, which allows creating end-user business rules that technically support the specific events, conditions and actions related to evacuation plans. An experimental validation was carried out where 32 people faced a simulated emergency situation, 16 of them using SASEP and the other 16 using a legacy system based on static signs. From the results obtained, we compare both techniques and discuss in which situations SASEP offers a better evacuation route option, confirming that it is highly valuable when there is a threat in the evacuation route. In addition, a study about user satisfaction using both systems is presented showing in which cases the systems are assessed as satisfactory, relevant and not frustrating.

Automated end user-centred adaptation of web components through automated description logic-based reasoning

Context: This paper addresses one of the major end-user development (EUD) challenges, namely, how to pack today?s EUD support tools with composable elements. This would give end users better access to more components which they can use to build a solution tailored to their own needs. The success of later end-user software engineering (EUSE) activities largely depends on how many components each tool has and how adaptable components are to multiple problem domains. Objective: A system for automatically adapting heterogeneous components to a common development environment would offer a sizeable saving of time and resources within the EUD support tool construction process. This paper presents an automated adaptation system for transforming EUD components to a standard format. Method: This system is based on the use of description logic. Based on a generic UML2 data model, this description logic is able to check whether an end-user component can be transformed to this modeling language through subsumption or as an instance of the UML2 model. Besides it automatically finds a consistent, non-ambiguous and finite set of XSLT mappings to automatically prepare data in order to leverage the component as part of a tool that conforms to the target UML2 component model. Results: The proposed system has been successfully applied to components from four prominent EUD tools. These components were automatically converted to a standard format. In order to validate the proposed system, rich internet applications (RIA) used as an operational support system for operators at a large services company were developed using automatically adapted standard format components. These RIAs would be impossible to develop using each EUD tool separately. Conclusion: The positive results of applying our system for automatically adapting components from current tool catalogues are indicative of the system?s effectiveness. Use of this system could foster the growth of web EUD component catalogues, leveraging a vast ecosystem of user-centred SaaS to further current EUSE trends.

Parameter-based mechanism for unifying user interaction, applications and communication protocols

In the smart building control industry, creating a platform to integrate different communication protocols and ease the interaction between users and devices is becoming increasingly important. BATMP is a platform designed to achieve this goal. In this paper, the authors describe a novel mechanism for information exchange, which introduces a new concept, Parameter, and uses it as the common object among all the BATMP components: Gateway Manager, Technology Manager, Application Manager, Model Manager and Data Warehouse. Parameter is an object which represents a physical magnitude and contains the information about its presentation, available actions, access type, etc. Each component of BATMP has a copy of the parameters. In the Technology Manager, three drivers for different communication protocols, KNX, CoAP and Modbus, are implemented to convert devices into parameters. In the Gateway Manager, users can control the parameters directly or by defining a scenario. In the Application Manager, the applications can subscribe to parameters and decide the values of parameters by negotiating. Finally, a Negotiator is implemented in the Model Manager to notify other components about the changes taking place in any component. By applying this mechanism, BATMP ensures the simultaneous and concurrent communication among users, applications and devices.

Non-invasive user monitoring in daily tasks for cognitive rehabilitation

El uso de técnicas para la monitorización del movimiento humano generalmente permite a los investigadores analizar la cinemática y especialmente las capacidades motoras en aquellas actividades de la vida cotidiana que persiguen un objetivo concreto como pueden ser la preparación de bebidas y comida, e incluso en tareas de aseo. Adicionalmente, la evaluación del movimiento y el comportamiento humanos en el campo de la rehabilitación cognitiva es esencial para profundizar en las dificultades que algunas personas encuentran en la ejecución de actividades diarias después de accidentes cerebro-vasculares. Estas dificultades están principalmente asociadas a la realización de pasos secuenciales y al reconocimiento del uso de herramientas y objetos. La interpretación de los datos sobre la actitud de este tipo de pacientes para reconocer y determinar el nivel de éxito en la ejecución de las acciones, y para ampliar el conocimiento en las enfermedades cerebrales, sus consecuencias y severidad, depende totalmente de los dispositivos usados para la captura de esos datos y de la calidad de los mismos. Más aún, existe una necesidad real de mejorar las técnicas actuales de rehabilitación cognitiva contribuyendo al diseño de sistemas automáticos para crear una especie de terapeuta virtual que asegure una vida más independiente de estos pacientes y reduzca la carga de trabajo de los terapeutas. Con este objetivo, el uso de sensores y dispositivos para obtener datos en tiempo real de la ejecución y estado de la tarea de rehabilitación es esencial para también contribuir al diseño y entrenamiento de futuros algoritmos que pudieran reconocer errores automáticamente para informar al paciente acerca de ellos mediante distintos tipos de pistas como pueden ser imágenes, mensajes auditivos o incluso videos. La tecnología y soluciones existentes en este campo no ofrecen una manera totalmente robusta y efectiva para obtener datos en tiempo real, por un lado, porque pueden influir en el movimiento del propio paciente en caso de las plataformas basadas en el uso de marcadores que necesitan sensores pegados en la piel; y por otro lado, debido a la complejidad o alto coste de implantación lo que hace difícil pensar en la idea de instalar un sistema en el hospital o incluso en la casa del paciente. Esta tesis presenta la investigación realizada en el campo de la monitorización del movimiento de pacientes para proporcionar un paso adelante en términos de detección, seguimiento y reconocimiento del comportamiento de manos, gestos y cara mediante una manera no invasiva la cual puede mejorar la técnicas actuales de rehabilitación cognitiva para la adquisición en tiempo real de datos sobre el comportamiento del paciente y la ejecución de la tarea. Para entender la importancia del marco de esta tesis, inicialmente se presenta un resumen de las principales enfermedades cognitivas y se introducen las consecuencias que tienen en la ejecución de tareas de la vida diaria. Más aún, se investiga sobre las metodologías actuales de rehabilitación cognitiva. Teniendo en cuenta que las manos son la principal parte del cuerpo para la ejecución de tareas manuales de la vida cotidiana, también se resumen las tecnologías existentes para la captura de movimiento de manos. Una de las principales contribuciones de esta tesis está relacionada con el diseño y evaluación de una solución no invasiva para detectar y seguir las manos durante la ejecución de tareas manuales de la vida cotidiana que a su vez involucran la manipulación de objetos. Esta solución la cual no necesita marcadores adicionales y está basada en una cámara de profundidad de bajo coste, es robusta, precisa y fácil de instalar. Otra contribución presentada se centra en el reconocimiento de gestos para detectar el agarre de objetos basado en un sensor infrarrojo de última generación, y también complementado con una cámara de profundidad. Esta nueva técnica, y también no invasiva, sincroniza ambos sensores para seguir objetos específicos además de reconocer eventos concretos relacionados con tareas de aseo. Más aún, se realiza una evaluación preliminar del reconocimiento de expresiones faciales para analizar si es adecuado para el reconocimiento del estado de ánimo durante la tarea. Por su parte, todos los componentes y algoritmos desarrollados son integrados en un prototipo simple para ser usado como plataforma de monitorización. Se realiza una evaluación técnica del funcionamiento de cada dispositivo para analizar si es adecuada para adquirir datos en tiempo real durante la ejecución de tareas cotidianas reales. Finalmente, se estudia la interacción con pacientes reales para obtener información del nivel de usabilidad del prototipo. Dicha información es esencial y útil para considerar una rehabilitación cognitiva basada en la idea de instalación del sistema en la propia casa del paciente al igual que en el hospital correspondiente. ABSTRACT The use of human motion monitoring techniques usually let researchers to analyse kinematics, especially in motor strategies for goal-oriented activities of daily living, such as the preparation of drinks and food, and even grooming tasks. Additionally, the evaluation of human movements and behaviour in the field of cognitive rehabilitation is essential to deep into the difficulties some people find in common activities after stroke. This difficulties are mainly associated with sequence actions and the recognition of tools usage. The interpretation of attitude data of this kind of patients in order to recognize and determine the level of success of the execution of actions, and to broaden the knowledge in brain diseases, consequences and severity, depends totally on the devices used for the capture of that data and the quality of it. Moreover, there is a real need of improving the current cognitive rehabilitation techniques by contributing to the design of automatic systems to create a kind of virtual therapist for the improvement of the independent life of these stroke patients and to reduce the workload of the occupational therapists currently in charge of them. For this purpose, the use of sensors and devices to obtain real time data of the execution and state of the rehabilitation task is essential to also contribute to the design and training of future smart algorithms which may recognise errors to automatically provide multimodal feedback through different types of cues such as still images, auditory messages or even videos. The technology and solutions currently adopted in the field don't offer a totally robust and effective way for obtaining real time data, on the one hand, because they may influence the patient's movement in case of marker-based platforms which need sensors attached to the skin; and on the other hand, because of the complexity or high cost of implementation, which make difficult the idea of installing a system at the hospital or even patient's home. This thesis presents the research done in the field of user monitoring to provide a step forward in terms of detection, tracking and recognition of hand movements, gestures and face via a non-invasive way which could improve current techniques for cognitive rehabilitation for real time data acquisition of patient's behaviour and execution of the task. In order to understand the importance of the scope of the thesis, initially, a summary of the main cognitive diseases that require for rehabilitation and an introduction of the consequences on the execution of daily tasks are presented. Moreover, research is done about the actual methodology to provide cognitive rehabilitation. Considering that the main body members involved in the completion of a handmade daily task are the hands, the current technologies for human hands movements capture are also highlighted. One of the main contributions of this thesis is related to the design and evaluation of a non-invasive approach to detect and track user's hands during the execution of handmade activities of daily living which involve the manipulation of objects. This approach does not need the inclusion of any additional markers. In addition, it is only based on a low-cost depth camera, it is robust, accurate and easy to install. Another contribution presented is focused on the hand gesture recognition for detecting object grasping based on a brand new infrared sensor, and also complemented with a depth camera. This new, and also non-invasive, solution which synchronizes both sensors to track specific tools as well as recognize specific events related to grooming is evaluated. Moreover, a preliminary assessment of the recognition of facial expressions is carried out to analyse if it is adequate for recognizing mood during the execution of task. Meanwhile, all the corresponding hardware and software developed are integrated in a simple prototype with the purpose of being used as a platform for monitoring the execution of the rehabilitation task. Technical evaluation of the performance of each device is carried out in order to analyze its suitability to acquire real time data during the execution of real daily tasks. Finally, a kind of healthcare evaluation is also presented to obtain feedback about the usability of the system proposed paying special attention to the interaction with real users and stroke patients. This feedback is quite useful to consider the idea of a home-based cognitive rehabilitation as well as a possible hospital installation of the prototype.

A technological framework based on automatic messaging for improving adherence of diabetic patients

En todo el mundo se ha observado un crecimiento exponencial en la incidencia de enfermedades crónicas como la hipertensión y enfermedades cardiovasculares y respiratorias, así como la diabetes mellitus, que causa un número de muertes cada vez mayor en todo el mundo (Beaglehole et al., 2008). En concreto, la prevalencia de diabetes mellitus (DM) está aumentando de manera considerable en todas las edades y representa un serio problema de salud mundial. La diabetes fue la responsable directa de 1,5 millones de muertes en 2012 y 89 millones de años de vida ajustados por discapacidad (AVAD) (OMS, 2014). Uno de los principales dilemas que suelen asociarse a la gestión de EC es la adherencia de los pacientes a los tratamientos, que representa un aspecto multifactorial que necesita asistencia en lo relativo a: educación, autogestión, interacción entre los pacientes y cuidadores y compromiso de los pacientes. Medir la adherencia del tratamiento es complicado y, aunque se ha hablado ampliamente de ello, aún no hay soluciones “de oro” (Reviews, 2002). El compromiso de los pacientes, a través de la participación, colaboración, negociación y a veces del compromiso firme, aumentan las oportunidades para una terapia óptima en la que los pacientes se responsabilizan de su parte en la ecuación de adherencia. Comprometer e involucrar a los pacientes diabéticos en las decisiones de su tratamiento, junto con expertos profesionales, puede ayudar a favorecer un enfoque centrado en el paciente hacia la atención a la diabetes (Martin et al., 2005). La motivación y atribución de poder de los pacientes son quizás los dos factores interventores más relevantes que afectan directamente a la autogestión de la atención a la diabetes. Se ha demostrado que estos dos factores desempeñan un papel fundamental en la adherencia a la prescripción, así como en el fomento exitoso de un estilo de vida sana y otros cambios de conducta (Heneghan et al., 2013). Un plan de educación personalizada es indispensable para proporcionarle al paciente las herramientas adecuadas que necesita para la autogestión efectiva de la enfermedad (El-Gayar et al. 2013). La comunicación efectiva es fundamental para proporcionar una atención centrada en el paciente puesto que influye en las conductas y actitudes hacia un problema de salud ((Frampton et al. 2008). En este sentido, la interactividad, la frecuencia, la temporalización y la adaptación de los mensajes de texto pueden promover la adherencia a un régimen de medicación. Como consecuencia, adaptar los mensajes de texto a los pacientes puede resultar ser una manera de hacer que las sugerencias y la información sean más relevantes y efectivas (Nundy et al. 2013). En este contexto, las tecnologías móviles en el ámbito de la salud (mHealth) están desempeñando un papel importante al conectar con pacientes para mejorar la adherencia a medicamentos recetados (Krishna et al., 2009). La adaptación de los mensajes de texto específicos de diabetes sigue siendo un área de oportunidad para mejorar la adherencia a la medicación y ofrecer motivación a adultos con diabetes. Sin embargo, se necesita más investigación para entender totalmente su eficacia. Los consejos de texto personalizados han demostrado causar un impacto positivo en la atribución de poder a los pacientes, su autogestión y su adherencia a la prescripción (Gatwood et al., 2014). mHealth se puede utilizar para ofrecer programas de asistencia de autogestión a los pacientes con diabetes y, al mismo tiempo, superar las dificultades técnicas y financieras que supone el tratamiento de la diabetes (Free at al., 2013). El objetivo principal de este trabajo de investigación es demostrar que un marco tecnológico basado en las teorías de cambios de conducta, aplicado al campo de la mHealth, permite una mejora de la adherencia al tratamiento en pacientes diabéticos. Como método de definición de una solución tecnológica, se han adoptado un conjunto de diferentes técnicas de conducta validadas denominado marco de compromiso de retroacción conductual (EBF, por sus siglas en inglés) para formular los mensajes, guiar el contenido y evaluar los resultados. Los estudios incorporan elementos del modelo transteórico (TTM, por sus siglas en inglés), la teoría de la fijación de objetivos (GST, por sus siglas en inglés) y los principios de comunicación sanitaria persuasiva y eficaz. Como concepto general, el modelo TTM ayuda a los pacientes a progresar a su próxima fase de conducta a través de mensajes de texto motivados específicos y permite que el médico identifique la fase actual y adapte sus estrategias individualmente. Además, se adoptan las directrices del TTM para fijar objetivos personalizados a un nivel apropiado a la fase de cambio del paciente. La GST encierra normas que van a ponerse en práctica para promover la intervención educativa y objetivos de pérdida de peso. Finalmente, los principios de comunicación sanitaria persuasiva y eficaz aplicados a la aparición de los mensajes se han puesto en marcha para aumentar la efectividad. El EBF tiene como objetivo ayudar a los pacientes a mejorar su adherencia a la prescripción y encaminarlos a una mejora general en la autogestión de la diabetes mediante mensajes de texto personalizados denominados mensajes de retroacción automáticos (AFM, por sus siglas en inglés). Después de una primera revisión del perfil, consistente en identificar características significativas del paciente basadas en las necesidades de tratamiento, actitudes y conductas de atención sanitaria, el sistema elige los AFM personalizados, los aprueba el médico y al final se transfieren a la interfaz del paciente. Durante el tratamiento, el usuario recopila los datos en dispositivos de monitorización de pacientes (PMD, por sus siglas en inglés) de una serie de dispositivos médicos y registros manuales. Los registros consisten en la toma de medicación, dieta y actividad física y tareas de aprendizaje y control de la medida del metabolismo. El compromiso general del paciente se comprueba al estimar el uso del sistema y la adherencia del tratamiento y el estado de los objetivos del paciente a corto y largo plazo. El módulo de análisis conductual, que consiste en una serie de reglas y ecuaciones, calcula la conducta del paciente. Tras lograr el análisis conductual, el módulo de gestión de AFM actualiza la lista de AFM y la configuración de los envíos. Las actualizaciones incluyen el número, el tipo y la frecuencia de mensajes. Los AFM los revisa periódicamente el médico que también participa en el perfeccionamiento del tratamiento, adaptado a la fase transteórica actual. Los AFM se segmentan en distintas categorías y niveles y los pacientes pueden ajustar la entrega del mensaje de acuerdo con sus necesidades personales. El EBF se ha puesto en marcha integrado dentro del sistema METABO, diseñado para facilitar al paciente diabético que controle sus condiciones relevantes de una manera menos intrusiva. El dispositivo del paciente se vincula en una plataforma móvil, mientras que una interfaz de panel médico permite que los profesionales controlen la evolución del tratamiento. Herramientas específicas posibilitan que los profesionales comprueben la adherencia del paciente y actualicen la gestión de envíos de AFM. El EBF fue probado en un proyecto piloto controlado de manera aleatoria. El principal objetivo era examinar la viabilidad y aceptación del sistema. Los objetivos secundarios eran también la evaluación de la eficacia del sistema en lo referente a la mejora de la adherencia, el control glucémico y la calidad de vida. Se reclutaron participantes de cuatro centros clínicos distintos en Europa. La evaluación del punto de referencia incluía datos demográficos, estado de la diabetes, información del perfil, conocimiento de la diabetes en general, uso de las plataformas TIC, opinión y experiencia con dispositivos electrónicos y adopción de buenas prácticas con la diabetes. La aceptación y eficacia de los criterios de evaluación se aplicaron para valorar el funcionamiento del marco tecnológico. El principal objetivo era la valoración de la eficacia del sistema en lo referente a la mejora de la adherencia. En las pruebas participaron 54 pacientes. 26 fueron asignados al grupo de intervención y equipados con tecnología móvil donde estaba instalado el EBF: 14 pacientes tenían T1DM y 12 tenían T2DM. El grupo de control estaba compuesto por 25 pa cientes que fueron tratados con atención estándar, sin el empleo del EBF. La intervención profesional tanto de los grupos de control como de intervención corrió a cargo de 24 cuidadores, entre los que incluían diabetólogos, nutricionistas y enfermeras. Para evaluar la aceptabilidad del sistema y analizar la satisfacción de los usuarios, a través de LimeSurvey, se creó una encuesta multilingüe tanto para los pacientes como para los profesionales. Los resultados también se recopilaron de los archivos de registro generados en los PMD, el panel médico profesional y las entradas de la base de datos. Los mensajes enviados hacia y desde el EBF y los archivos de registro del sistema y los servicios de comunicación se grabaron durante las cinco semanas del estudio. Se entregaron un total de 2795 mensajes, lo que supuso una media de 107,50 mensajes por paciente. Como se muestra, los mensajes disminuyen con el tiempo, indicando una mejora global de la adherencia al plan de tratamiento. Como se esperaba, los pacientes con T1DM recibieron más consejos a corto plazo, en relación a su estado. Del mismo modo, al ser el centro de T2DM en cambios de estilo de vida sostenible a largo plazo, los pacientes con T2DM recibieron más consejos de recomendación, en cuanto a dietas y actividad física. También se ha llevado a cabo una comparación de la adherencia e índices de uso para pacientes con T1DM y T2DM, entre la primera y la segunda mitad de la prueba. Se han observado resultados favorables para el uso. En lo relativo a la adherencia, los resultados denotaron una mejora general en cada dimensión del plan de tratamiento, como la nutrición y las mediciones de inserción de glucosa en la sangre. Se han llevado a cabo más estudios acerca del cambio a nivel educativo antes y después de la prueba, medidos tanto para grupos de control como de intervención. Los resultados indicaron que el grupo de intervención había mejorado su nivel de conocimientos mientras que el grupo de control mostró una leve disminución. El análisis de correlación entre el nivel de adherencia y las AFM ha mostrado una mejora en la adherencia de uso para los pacientes que recibieron los mensajes de tipo alertas, y unos resultados no significativos aunque positivos relacionados con la adherencia tanto al tratamiento que al uso correlacionado con los recordatorios. Por otra parte, los AFM parecían ayudar a los pacientes que no tomaban suficientemente en serio su tratamiento en el principio y que sí estaban dispuestos a responder a los mensajes recibidos. Aun así, los pacientes que recibieron demasiadas advertencias, comenzaron a considerar el envío de mensajes un poco estresante. El trabajo de investigación llevado a cabo al desarrollar este proyecto ofrece respuestas a las cuatro hipótesis de investigación que fueron la motivación para el trabajo. • Hipótesis 1 : es posible definir una serie de criterios para medir la adherencia en pacientes diabéticos. • Hipótesis 2: es posible diseñar un marco tecnológico basado en los criterios y teorías de cambio de conducta mencionados con anterioridad para hacer que los pacientes diabéticos se comprometan a controlar su enfermedad y adherirse a planes de atención. • Hipótesis 3: es posible poner en marcha el marco tecnológico en el sector de la salud móvil. • Hipótesis 4: es posible utilizar el marco tecnológico como solución de salud móvil en un contexto real y tener efectos positivos en lo referente a indicadores de control de diabetes. La verificación de cada hipótesis permite ofrecer respuesta a la hipótesis principal: La hipótesis principal es: es posible mejorar la adherencia diabética a través de un marco tecnológico mHealth basado en teorías de cambio de conducta. El trabajo llevado a cabo para responder estas preguntas se explica en este trabajo de investigación. El marco fue desarrollado y puesto en práctica en el Proyecto METABO. METABO es un Proyecto I+D, cofinanciado por la Comisión Europea (METABO 2008) que integra infraestructura móvil para ayudar al control, gestión y tratamiento de los pacientes con diabetes mellitus de tipo 1 (T1DM) y los que padecen diabetes mellitus de tipo 2 (T2DM). ABSTRACT Worldwide there is an exponential growth in the incidence of Chronic Diseases (CDs), such as: hypertension, cardiovascular and respiratory diseases, as well as diabetes mellitus, leading to rising numbers of deaths worldwide (Beaglehole et al. 2008). In particular, the prevalence of diabetes mellitus (DM) is largely increasing among all ages and constitutes a major worldwide health problem. Diabetes was directly responsible for 1,5 million deaths in 2012 and 89 million Disability-adjusted life year (DALYs) (WHO 2014). One of the key dilemmas often associated to CD management is the patients’ adherence to treatments, representing a multi-factorial aspect that requires support in terms of: education, self-management, interaction between patients and caregivers, and patients’ engagement. Measuring adherence is complex and, even if widely discussed, there are still no “gold” standards ((Giardini et al. 2015), (Costa et al. 2015). Patient’s engagement, through participation, collaboration, negotiation, and sometimes compromise, enhance opportunities for optimal therapy in which patients take responsibility for their part of the adherence equation. Engaging and involving diabetic patients in treatment decisions, along with professional expertise, can help foster a patient-centered approach to diabetes care (Martin et al. 2005). Patients’ motivation and empowerment are perhaps the two most relevant intervening factors that directly affect self-management of diabetes care. It has been demonstrated that these two factors play an essential role in prescription adherence, as well as for the successful encouragement of a healthy life-style and other behavioural changes (Heneghan et al. 2013). A personalised education plan is indispensable in order to provide the patient with the appropriate tools needed for the effective self-management of the disease (El-Gayar et al. 2013). Effective communication is at the core of providing patient-centred care since it influences behaviours and attitudes towards a health problem (Frampton et al. 2008). In this regard, interactivity, frequency, timing, and tailoring of text messages may promote adherence to a medication regimen. As a consequence, tailoring text messages to patients can constitute a way of making suggestions and information more relevant and effective (Nundy et al. 2013). In this context, mobile health technologies (mHealth) are playing significant roles in improving adherence to prescribed medications (Krishna et al. 2009). The tailoring of diabetes-specific text messages remains an area of opportunity to improve medication adherence and provide motivation to adults with diabetes but further research is needed to fully understand their effectiveness. Personalized text advices have proven to produce a positive impact on patients’ empowerment, self-management, and adherence to prescriptions (Gatwood et al. 2014). mHealth can be used for offering self-management support programs to diabetes patients and at the same time surmounting the technical and financial difficulties involved in diabetes treatment (Free et al. 2013). The main objective of this research work is to demonstrate that a technological framework, based on behavioural change theories, applied to mHealth domain, allows improving adherence treatment in diabetic patients. The framework, named Engagement Behavioural Feedback Framework (EBF), is built on top of validated behavioural techniques to frame messages, guide the definition of contents and assess outcomes: elements from the Transtheoretical Model (TTM), the Goal-Setting Theory (GST), Effective Health Communication (EHC) guidelines and Principles of Persuasive Technology (PPT) were incorporated. The TTM helps patients to progress to a next behavioural stage, through specific motivated text messages, and allow clinician’s identifying the current stage and tailor its strategies individually. Moreover, TTM guidelines are adopted to set customised goals at a level appropriate to the patient’s stage of change. The GST was used to build rules to be applied for enhancing educational intervention and weight loss objectives. Finally, the EHC guidelines and the PPT were applied to increase the effectiveness of messages. The EBF aims to support patients on improving their prescription adherence and persuade them towards a general improvement in diabetes self-management, by means of personalised text messages, named Automatic Feedback Messages (AFM). After a first profile screening, consisting in identifying meaningful patient characteristics based on treatment needs, attitudes and health care behaviours, customised AFMs are selected by the system, approved by the professional, and finally transferred into the patient interface. During the treatment, the user collects the data into a Patient Monitoring Device (PMD) from a set of medical devices and from manual inputs. Inputs consist in medication intake, diet and physical activity, metabolic measurement monitoring and learning tasks. Patient general engagement is checked by estimating the usage of the system and the adherence of treatment and patient goals status in the short and the long term period. The Behavioural Analysis Module, consisting in a set of rules and equations, calculates the patient’s behaviour. After behavioural analysis is accomplished, the AFM library and the dispatch setting are updated by the AFM Manager module. Updates include the number, the type and the frequency of messages. The AFMs are periodically supervised by the professional who also participates to the refinement of the treatment, adapted to the current transtheoretical stage. The AFMs are segmented in different categories and levels and patients can adjust message delivery in accordance with their personal needs. The EBF was integrated to the METABO system, designed to facilitate diabetic patients in managing their disease in a less intrusive approach. Patient device corresponds in a mobile platform, while a medical panel interface allows professionals to monitoring the treatment evolution. Specific tools allow professional to check patient adherence and to update the AFMs dispatch management. The EBF was tested in a randomised controlled pilot. The main objective was to examine the feasibility and acceptance of the system. Secondary objectives were also the assessment of the effectiveness of system in terms of adherence improvement, glycaemic control, and quality of life. Participants were recruited from four different clinical centres in Europe. The baseline assessment included demographics, diabetes status, profile information, knowledge about diabetes in general, usage of ICT platforms, opinion and experience about electronic devices and adoption of good practices with diabetes. Acceptance and the effectiveness evaluation criteria were applied to evaluate the performance of the technological framework. The main objective was the assessment of the effectiveness of system in terms of adherence improvement. Fifty-four patients participated on the trials. Twenty-six patients were assigned in the intervention group and equipped with mobile where the EBF was installed: 14 patients were T1DM and 12 were T2DM. The control group was composed of 25 patients that were treated through a standard care, without the usage of the EBF. Professional’s intervention for both intervention and control groups was carried out by 24 care providers, including endocrinologists, nutritionists, and nurses. In order to evaluate the system acceptability and analyse the users’ satisfaction, an online multi-language survey, using LimeSurvey, was produced for both patients and professionals. Results were also collected from the log-files generated in the PMDs, the professional medical panel and the entries of the data base. The messages sent to and from the EBF and the log-files of the system and communication services were recorded over 5 weeks of the study. A total of 2795 messages were submitted, representing an average of 107,50 messages per patient. As demonstrated, messages decrease over time indicating an overall improvement of the care plan’s adherence. As expected, T1DM patients were more loaded with short-term advices, in accordance with their condition. Similarly, being the focus of T2DM on long-term sustainable lifestyle changes, T2DM received more reminders advices, as for diet and physical activity. Favourable outcomes were observed for treatment and usage adherences of the intervention group: for both the adherence indices, results denoted a general improvement on each care plan’s dimension, such as on nutrition and blood glucose input measurements. Further studies were conducted on the change on educational level before and after the trial, measured for both control and intervention groups. The outcomes indicated the intervention group has improved its level of knowledge, while the control group denoted a low decrease. The correlation analysis between the level of adherences and the AFMs showed an improvement in usage adherence for patients who received warnings message, while non-significantly yet even positive indicators related to both treatment and usage adherence correlated with the Reminders. Moreover, the AFMs seemed to help those patients who did not take their treatment seriously enough in the beginning and who were willing to respond to the messages they received. Even though, patients who received too many Warnings, started to consider the message dispatch to be a bit stressful. The research work carried out in developing this research work provides responses to the four research hypothesis that were the motivation for the work: •Hypothesis 1: It is possible to define a set of criteria to measure adherence in diabetic patients. •Hypothesis 2: It is possible to design a technological framework, based on the aforementioned criteria and behavioural change theories, to engage diabetic patients in managing their disease and adhere to care plans. •Hypothesis 3: It is possible to implement the technological framework in the mobile health domain. •Hypothesis 4: It is possible to use the technological framework as a mobile health solution in a real context and have positive effects in terms of diabetes management indicators. The verification of each hypothesis allowed us to provide a response to the main hypothesis: The Main Hypothesis is: It is possible to improve diabetic adherence through a mHealth technological framework based on behavioural change theories. The work carried out to answer these questions is explained in this research work. The framework was developed and applied in the METABO project. METABO is an R&D project, co-funded by the European Commission (METABO 2008) that integrates mobile infrastructure for supporting the monitoring, management, and treatment of type 1 diabetes mellitus (T1DM) and type 2 diabetes mellitus (T2DM) patients.

Design and implementation of an adaptive dashboard and visualization interface for the dynamic optimization and control of Data Centers

Over the last few years, the Data Center market has increased exponentially and this tendency continues today. As a direct consequence of this trend, the industry is pushing the development and implementation of different new technologies that would improve the energy consumption efficiency of data centers. An adaptive dashboard would allow the user to monitor the most important parameters of a data center in real time. For that reason, monitoring companies work with IoT big data filtering tools and cloud computing systems to handle the amounts of data obtained from the sensors placed in a data center.Analyzing the market trends in this field we can affirm that the study of predictive algorithms has become an essential area for competitive IT companies. Complex algorithms are used to forecast risk situations based on historical data and warn the user in case of danger. Considering that several different users will interact with this dashboard from IT experts or maintenance staff to accounting managers, it is vital to personalize it automatically. Following that line of though, the dashboard should only show relevant metrics to the user in different formats like overlapped maps or representative graphs among others. These maps will show all the information needed in a visual and easy-to-evaluate way. To sum up, this dashboard will allow the user to visualize and control a wide range of variables. Monitoring essential factors such as average temperature, gradients or hotspots as well as energy and power consumption and savings by rack or building would allow the client to understand how his equipment is behaving, helping him to optimize the energy consumption and efficiency of the racks. It also would help him to prevent possible damages in the equipment with predictive high-tech algorithms.

Development of a hand-gesture recognition system for human-computer interaction

The aim of this Master Thesis is the analysis, design and development of a robust and reliable Human-Computer Interaction interface, based on visual hand-gesture recognition. The implementation of the required functions is oriented to the simulation of a classical hardware interaction device: the mouse, by recognizing a specific hand-gesture vocabulary in color video sequences. For this purpose, a prototype of a hand-gesture recognition system has been designed and implemented, which is composed of three stages: detection, tracking and recognition. This system is based on machine learning methods and pattern recognition techniques, which have been integrated together with other image processing approaches to get a high recognition accuracy and a low computational cost. Regarding pattern recongition techniques, several algorithms and strategies have been designed and implemented, which are applicable to color images and video sequences. The design of these algorithms has the purpose of extracting spatial and spatio-temporal features from static and dynamic hand gestures, in order to identify them in a robust and reliable way. Finally, a visual database containing the necessary vocabulary of gestures for interacting with the computer has been created.

Interface between culturally based preferences and genetic preferences: female mate choice in Poecilia reticulata.

The relative contribution of genetic and socio-cultural factors in the shaping of behavior is of fundamental importance to biologists and social scientists, yet it has proven to be extremely difficult to study in a controlled, experimental fashion. Here I describe experiments that examined the strength of genetic and cultural (imitative) factors in determining female mate choice in the guppy, Poecilia reticulata. Female guppies from the Paria River in Trinidad have a genetic, heritable preference for the amount of orange body color possessed by males. Female guppies will, however, also copy (imitate) the mate choice of other females in that when two males are matched for orange color, an "observer" female will copy the mate choice of another ("model") female. Three treatments were undertaken in which males differed by an average of 12%, 24%, or 40% of the total orange body color. In all cases, observer females viewed a model female prefer the less colorful male. When males differed by 12% or 24%, observer females preferred the less colorful male and thus copied the mate choice of others, despite a strong heritable preference for orange body color in males. When males differed by 40% orange body color, however, observer females preferred the more colorful male and did not copy the mate choice of the other female. In this system, then, imitation can "override" genetic preferences when the difference between orange body color in males is small or moderate, but genetic factors block out imitation effects when the difference in orange body color in males is large. This experiment provides the first attempt to experimentally examine the relative strength of cultural and genetic preferences for a particular trait and suggests that these two factors moderate one another in shaping social behavior.

Hand gesture recognition based on morphologic features

Comunicación presentada en el IX Simposium Nacional de Reconocimiento de Formas y Análisis de Imágenes, Benicàssim, Mayo, 2001.