Emotions and the Engineering of Adaptiveness in Complex Systems

A major challenge in the engineering of complex and critical systems is the management of change, both in the system and in its operational environment. Due to the growing of complexity in systems, new approaches on autonomy must be able to detect critical changes and avoid their progress towards undesirable states. We are searching for methods to build systems that can tune the adaptability protocols. New mechanisms that use system-wellness requirements to reduce the influence of the outer domain and transfer the control of uncertainly to the inner one. Under the view of cognitive systems, biological emotions suggests a strategy to configure value-based systems to use semantic self-representations of the state. A method inspired by emotion theories to causally connect to the inner domain of the system and its objectives of wellness, focusing on dynamically adapting the system to avoid the progress of critical states. This method shall endow the system with a transversal mechanism to monitor its inner processes, detecting critical states and managing its adaptivity in order to maintain the wellness goals. The paper describes the current vision produced by this work-in-progress.

Justice, emotions and satisfaction in complaint behavior in services

This study proposes a marketing approach to service recovery (SR) models in order to help to explain what factors affect cumulative satisfaction, loyalty and word-of-mouth following complaint behavior. The model has its base on the definition of perceived justice and its influence on satisfaction with service recovery (SSR) and on emotions (positive and negative). Trust acts as a central construct in the model, receiving influence from the affective and cognitive aspect and mediating the relationship between SSR and cumulative satisfaction and between positive/negative emotions and loyalty. The sample for this study consists of 303 Spanish B2C-EC users who made a complaint after an electronic transaction. Results from the analysis show the influence of perceived justice ?mainly interactional justice and procedural justice? on SSR, and the relevance of positive emotions as a key factor in SSR processes, in contrast to the major role which negative emotions have traditionally played in these models. Furthermore, trust mediates the relation between SSR and cumulative satisfaction, and is the factor which has a higher influence on loyalty, whilst cumulative satisfaction becomes the more relevant factor affecting WOM.

Emotions and the Engineering of Adaptiveness in Complex Systems

A major challenge in the engineering of complex and critical systems is the management of change, both in the system and in its operational environment. Due to the growing of complexity in systems, new approaches on autonomy must be able to detect critical changes and avoid their progress towards undesirable states. We are searching for methods to build systems that can tune the adaptability protocols. New mechanisms that use system-wellness requirements to reduce the influence of the outer domain and transfer the control of uncertainly to the inner one. Under the view of cognitive systems, biological emotions suggests a strategy to configure value-based systems to use semantic self-representations of the state. A method inspired by emotion theories to causally connect to the inner domain of the system and its objectives of wellness, focusing on dynamically adapting the system to avoid the progress of critical states. This method shall endow the system with a transversal mechanism to monitor its inner processes, detecting critical states and managing its adaptivity in order to maintain the wellness goals. The paper describes the current vision produced by this work-in-progress.

User-centric need-driven affect modeling for spoken conversational agents: design and evaluation

It is easy to get frustrated at spoken conversational agents (SCAs), perhaps because they seem to be callous. By and large, the quality of human-computer interaction is affected due to the inability of the SCAs to recognise and adapt to user emotional state. Now with the mass appeal of artificially-mediated communication, there has been an increasing need for SCAs to be socially and emotionally intelligent, that is, to infer and adapt to their human interlocutors’ emotions on the fly, in order to ascertain an affective, empathetic and naturalistic interaction. An enhanced quality of interaction would reduce users’ frustrations and consequently increase their satisfactions. These reasons have motivated the development of SCAs towards including socio-emotional elements, turning them into affective and socially-sensitive interfaces. One barrier to the creation of such interfaces has been the lack of methods for modelling emotions in a task-independent environment. Most emotion models for spoken dialog systems are task-dependent and thus cannot be used “as-is” in different applications. This Thesis focuses on improving this, in which it concerns computational modeling of emotion, personality and their interrelationship for task-independent autonomous SCAs. The generation of emotion is driven by needs, inspired by human’s motivational systems. The work in this Thesis is organised in three stages, each one with its own contribution. The first stage involved defining, integrating and quantifying the psychological-based motivational and emotional models sourced from. Later these were transformed into a computational model by implementing them into software entities. The computational model was then incorporated and put to test with an existing SCA host, a HiFi-control agent. The second stage concerned automatic prediction of affect, which has been the main challenge towards the greater aim of infusing social intelligence into the HiFi agent. In recent years, studies on affect detection from voice have moved on to using realistic, non-acted data, which is subtler. However, it is more challenging to perceive subtler emotions and this is demonstrated in tasks such as labelling and machine prediction. In this stage, we attempted to address part of this challenge by considering the roles of user satisfaction ratings and conversational/dialog features as the respective target and predictors in discriminating contentment and frustration, two types of emotions that are known to be prevalent within spoken human-computer interaction. The final stage concerned the evaluation of the emotional model through the HiFi agent. A series of user studies with 70 subjects were conducted in a real-time environment, each in a different phase and with its own conditions. All the studies involved the comparisons between the baseline non-modified and the modified agent. The findings have gone some way towards enhancing our understanding of the utility of emotion in spoken dialog systems in several ways; first, an SCA should not express its emotions blindly, albeit positive. Rather, it should adapt its emotions to user states. Second, low performance in an SCA may be compensated by the exploitation of emotion. Third, the expression of emotion through the exploitation of prosody could better improve users’ perceptions of an SCA compared to exploiting emotions through just lexical contents. Taken together, these findings not only support the success of the emotional model, but also provide substantial evidences with respect to the benefits of adding emotion in an SCA, especially in mitigating users’ frustrations and ultimately improving their satisfactions. Resumen Es relativamente fácil experimentar cierta frustración al interaccionar con agentes conversacionales (Spoken Conversational Agents, SCA), a menudo porque parecen ser un poco insensibles. En general, la calidad de la interacción persona-agente se ve en cierto modo afectada por la incapacidad de los SCAs para identificar y adaptarse al estado emocional de sus usuarios. Actualmente, y debido al creciente atractivo e interés de dichos agentes, surge la necesidad de hacer de los SCAs unos seres cada vez más sociales y emocionalmente inteligentes, es decir, con capacidad para inferir y adaptarse a las emociones de sus interlocutores humanos sobre la marcha, de modo que la interacción resulte más afectiva, empática y, en definitiva, natural. Una interacción mejorada en este sentido permitiría reducir la posible frustración de los usuarios y, en consecuencia, mejorar el nivel de satisfacción alcanzado por los mismos. Estos argumentos justifican y motivan el desarrollo de nuevos SCAs con capacidades socio-emocionales, dotados de interfaces afectivas y socialmente sensibles. Una de las barreras para la creación de tales interfaces ha sido la falta de métodos de modelado de emociones en entornos independientes de tarea. La mayoría de los modelos emocionales empleados por los sistemas de diálogo hablado actuales son dependientes de tarea y, por tanto, no pueden utilizarse "tal cual" en diferentes dominios o aplicaciones. Esta tesis se centra precisamente en la mejora de este aspecto, la definición de modelos computacionales de las emociones, la personalidad y su interrelación para SCAs autónomos e independientes de tarea. Inspirada en los sistemas motivacionales humanos en el ámbito de la psicología, la tesis propone un modelo de generación/producción de la emoción basado en necesidades. El trabajo realizado en la presente tesis está organizado en tres etapas diferenciadas, cada una con su propia contribución. La primera etapa incluyó la definición, integración y cuantificación de los modelos motivacionales de partida y de los modelos emocionales derivados a partir de éstos. Posteriormente, dichos modelos emocionales fueron plasmados en un modelo computacional mediante su implementación software. Este modelo computacional fue incorporado y probado en un SCA anfitrión ya existente, un agente con capacidad para controlar un equipo HiFi, de alta fidelidad. La segunda etapa se orientó hacia el reconocimiento automático de la emoción, aspecto que ha constituido el principal desafío en relación al objetivo mayor de infundir inteligencia social en el agente HiFi. En los últimos años, los estudios sobre reconocimiento de emociones a partir de la voz han pasado de emplear datos actuados a usar datos reales en los que la presencia u observación de emociones se produce de una manera mucho más sutil. El reconocimiento de emociones bajo estas condiciones resulta mucho más complicado y esta dificultad se pone de manifiesto en tareas tales como el etiquetado y el aprendizaje automático. En esta etapa, se abordó el problema del reconocimiento de las emociones del usuario a partir de características o métricas derivadas del propio diálogo usuario-agente. Gracias a dichas métricas, empleadas como predictores o indicadores del grado o nivel de satisfacción alcanzado por el usuario, fue posible discriminar entre satisfacción y frustración, las dos emociones prevalentes durante la interacción usuario-agente. La etapa final corresponde fundamentalmente a la evaluación del modelo emocional por medio del agente Hifi. Con ese propósito se llevó a cabo una serie de estudios con usuarios reales, 70 sujetos, interaccionando con diferentes versiones del agente Hifi en tiempo real, cada uno en una fase diferente y con sus propias características o capacidades emocionales. En particular, todos los estudios realizados han profundizado en la comparación entre una versión de referencia del agente no dotada de ningún comportamiento o característica emocional, y una versión del agente modificada convenientemente con el modelo emocional propuesto. Los resultados obtenidos nos han permitido comprender y valorar mejor la utilidad de las emociones en los sistemas de diálogo hablado. Dicha utilidad depende de varios aspectos. En primer lugar, un SCA no debe expresar sus emociones a ciegas o arbitrariamente, incluso aunque éstas sean positivas. Más bien, debe adaptar sus emociones a los diferentes estados de los usuarios. En segundo lugar, un funcionamiento relativamente pobre por parte de un SCA podría compensarse, en cierto modo, dotando al SCA de comportamiento y capacidades emocionales. En tercer lugar, aprovechar la prosodia como vehículo para expresar las emociones, de manera complementaria al empleo de mensajes con un contenido emocional específico tanto desde el punto de vista léxico como semántico, ayuda a mejorar la percepción por parte de los usuarios de un SCA. Tomados en conjunto, los resultados alcanzados no sólo confirman el éxito del modelo emocional, sino xv que constituyen además una evidencia decisiva con respecto a los beneficios de incorporar emociones en un SCA, especialmente en cuanto a reducir el nivel de frustración de los usuarios y, en última instancia, mejorar su satisfacción.

Three-Dimensional Analysis of Spiny Dendrites Using Straightening and Unrolling Transforms

Current understanding of the synaptic organization of the brain depends to a large extent on knowledge about the synaptic inputs to the neurons. Indeed, the dendritic surfaces of pyramidal cells (the most common neuron in the cerebral cortex) are covered by thin protrusions named dendritic spines. These represent the targets of most excitatory synapses in the cerebral cortex and therefore, dendritic spines prove critical in learning, memory and cognition. This paper presents a new method that facilitates the analysis of the 3D structure of spine insertions in dendrites, providing insight on spine distribution patterns. This method is based both on the implementation of straightening and unrolling transformations to move the analysis process to a planar, unfolded arrangement, and on the design of DISPINE, an interactive environment that supports the visual analysis of 3D patterns.

User Experience in Human-Technology Interaction. Communication, context and evaluation methodology

En esta Tesis se presentan dos líneas de investigación relacionadas y que contribuyen a las áreas de Interacción Hombre-Tecnología (o Máquina; siglas en inglés: HTI o HMI), lingüística computacional y evaluación de la experiencia del usuario. Las dos líneas en cuestión son el diseño y la evaluación centrada en el usuario de sistemas de Interacción Hombre-Máquina avanzados. En la primera parte de la Tesis (Capítulos 2 a 4) se abordan cuestiones fundamentales del diseño de sistemas HMI avanzados. El Capítulo 2 presenta una panorámica del estado del arte de la investigación en el ámbito de los sistemas conversacionales multimodales, con la que se enmarca el trabajo de investigación presentado en el resto de la Tesis. Los Capítulos 3 y 4 se centran en dos grandes aspectos del diseño de sistemas HMI: un gestor del diálogo generalizado para tratar la Interacción Hombre-Máquina multimodal y sensible al contexto, y el uso de agentes animados personificados (ECAs) para mejorar la robustez del diálogo, respectivamente. El Capítulo 3, sobre gestión del diálogo, aborda el tratamiento de la heterogeneidad de la información proveniente de las modalidades comunicativas y de los sensores externos. En este capítulo se propone, en un nivel de abstracción alto, una arquitectura para la gestión del diálogo con influjos heterogéneos de información, apoyándose en el uso de State Chart XML. En el Capítulo 4 se presenta una contribución a la representación interna de intenciones comunicativas, y su traducción a secuencias de gestos a ejecutar por parte de un ECA, diseñados específicamente para mejorar la robustez en situaciones de diálogo críticas que pueden surgir, por ejemplo, cuando se producen errores de entendimiento en la comunicación entre el usuario humano y la máquina. Se propone, en estas páginas, una extensión del Functional Mark-up Language definido en el marco conceptual SAIBA. Esta extensión permite representar actos comunicativos que realizan intenciones del emisor (la máquina) que no se pretende sean captadas conscientemente por el receptor (el usuario humano), pero con las que se pretende influirle a éste e influir el curso del diálogo. Esto se consigue mediante un objeto llamado Base de Intenciones Comunicativas (en inglés, Communication Intention Base, o CIB). La representación en el CIB de intenciones “no claradas” además de las explícitas permite la construcción de actos comunicativos que realizan simultáneamente varias intenciones comunicativas. En el Capítulo 4 también se describe un sistema experimental para el control remoto (simulado) de un asistente domótico, con autenticación de locutor para dar acceso, y con un ECA en el interfaz de cada una de estas tareas. Se incluye una descripción de las secuencias de comportamiento verbal y no verbal de los ECAs, que fueron diseñados específicamente para determinadas situaciones con objeto de mejorar la robustez del diálogo. Los Capítulos 5 a 7 conforman la parte de la Tesis dedicada a la evaluación. El Capítulo 5 repasa antecedentes relevantes en la literatura de tecnologías de la información en general, y de sistemas de interacción hablada en particular. Los principales antecedentes en el ámbito de la evaluación de la interacción sobre los cuales se ha desarrollado el trabajo presentado en esta Tesis son el Technology Acceptance Model (TAM), la herramienta Subjective Assessment of Speech System Interfaces (SASSI), y la Recomendación P.851 de la ITU-T. En el Capítulo 6 se describen un marco y una metodología de evaluación aplicados a la experiencia del usuario con sistemas HMI multimodales. Se desarrolló con este propósito un novedoso marco de evaluación subjetiva de la calidad de la experiencia del usuario y su relación con la aceptación por parte del mismo de la tecnología HMI (el nombre dado en inglés a este marco es Subjective Quality Evaluation Framework). En este marco se articula una estructura de clases de factores subjetivos relacionados con la satisfacción y aceptación por parte del usuario de la tecnología HMI propuesta. Esta estructura, tal y como se propone en la presente tesis, tiene dos dimensiones ortogonales. Primero se identifican tres grandes clases de parámetros relacionados con la aceptación por parte del usuario: “agradabilidad ” (likeability: aquellos que tienen que ver con la experiencia de uso, sin entrar en valoraciones de utilidad), rechazo (los cuales sólo pueden tener una valencia negativa) y percepción de utilidad. En segundo lugar, este conjunto clases se reproduce para distintos “niveles, o focos, percepción del usuario”. Éstos incluyen, como mínimo, un nivel de valoración global del sistema, niveles correspondientes a las tareas a realizar y objetivos a alcanzar, y un nivel de interfaz (en los casos propuestos en esta tesis, el interfaz es un sistema de diálogo con o sin un ECA). En el Capítulo 7 se presenta una evaluación empírica del sistema descrito en el Capítulo 4. El estudio se apoya en los mencionados antecedentes en la literatura, ampliados con parámetros para el estudio específico de los agentes animados (los ECAs), la auto-evaluación de las emociones de los usuarios, así como determinados factores de rechazo (concretamente, la preocupación por la privacidad y la seguridad). También se evalúa el marco de evaluación subjetiva de la calidad propuesto en el capítulo anterior. Los análisis de factores efectuados revelan una estructura de parámetros muy cercana conceptualmente a la división de clases en utilidad-agradabilidad-rechazo propuesta en dicho marco, resultado que da cierta validez empírica al marco. Análisis basados en regresiones lineales revelan estructuras de dependencias e interrelación entre los parámetros subjetivos y objetivos considerados. El efecto central de mediación, descrito en el Technology Acceptance Model, de la utilidad percibida sobre la relación de dependencia entre la intención de uso y la facilidad de uso percibida, se confirma en el estudio presentado en la presente Tesis. Además, se ha encontrado que esta estructura de relaciones se fortalece, en el estudio concreto presentado en estas páginas, si las variables consideradas se generalizan para cubrir más ampliamente las categorías de agradabilidad y utilidad contempladas en el marco de evaluación subjetiva de calidad. Se ha observado, asimismo, que los factores de rechazo aparecen como un componente propio en los análisis de factores, y además se distinguen por su comportamiento: moderan la relación entre la intención de uso (que es el principal indicador de la aceptación del usuario) y su predictor más fuerte, la utilidad percibida. Se presentan también resultados de menor importancia referentes a los efectos de los ECAs sobre los interfaces de los sistemas de diálogo y sobre los parámetros de percepción y las valoraciones de los usuarios que juegan un papel en conformar su aceptación de la tecnología. A pesar de que se observa un rendimiento de la interacción dialogada ligeramente mejor con ECAs, las opiniones subjetivas son muy similares entre los dos grupos experimentales (uno interactuando con un sistema de diálogo con ECA, y el otro sin ECA). Entre las pequeñas diferencias encontradas entre los dos grupos destacan las siguientes: en el grupo experimental sin ECA (es decir, con interfaz sólo de voz) se observó un efecto más directo de los problemas de diálogo (por ejemplo, errores de reconocimiento) sobre la percepción de robustez, mientras que el grupo con ECA tuvo una respuesta emocional más positiva cuando se producían problemas. Los ECAs parecen generar inicialmente expectativas más elevadas en cuanto a las capacidades del sistema, y los usuarios de este grupo se declaran más seguros de sí mismos en su interacción. Por último, se observan algunos indicios de efectos sociales de los ECAs: la “amigabilidad ” percibida los ECAs estaba correlada con un incremento la preocupación por la seguridad. Asimismo, los usuarios del sistema con ECAs tendían más a culparse a sí mismos, en lugar de culpar al sistema, de los problemas de diálogo que pudieran surgir, mientras que se observó una ligera tendencia opuesta en el caso de los usuarios del sistema con interacción sólo de voz. ABSTRACT This Thesis presents two related lines of research work contributing to the general fields of Human-Technology (or Machine) Interaction (HTI, or HMI), computational linguistics, and user experience evaluation. These two lines are the design and user-focused evaluation of advanced Human-Machine (or Technology) Interaction systems. The first part of the Thesis (Chapters 2 to 4) is centred on advanced HMI system design. Chapter 2 provides a background overview of the state of research in multimodal conversational systems. This sets the stage for the research work presented in the rest of the Thesis. Chapers 3 and 4 focus on two major aspects of HMI design in detail: a generalised dialogue manager for context-aware multimodal HMI, and embodied conversational agents (ECAs, or animated agents) to improve dialogue robustness, respectively. Chapter 3, on dialogue management, deals with how to handle information heterogeneity, both from the communication modalities or from external sensors. A highly abstracted architectural contribution based on State Chart XML is proposed. Chapter 4 presents a contribution for the internal representation of communication intentions and their translation into gestural sequences for an ECA, especially designed to improve robustness in critical dialogue situations such as when miscommunication occurs. We propose an extension of the functionality of Functional Mark-up Language, as envisaged in much of the work in the SAIBA framework. Our extension allows the representation of communication acts that carry intentions that are not for the interlocutor to know of, but which are made to influence him or her as well as the flow of the dialogue itself. This is achieved through a design element we have called the Communication Intention Base. Such r pr s ntation of “non- clar ” int ntions allows th construction of communication acts that carry several communication intentions simultaneously. Also in Chapter 4, an experimental system is described which allows (simulated) remote control to a home automation assistant, with biometric (speaker) authentication to grant access, featuring embodied conversation agents for each of the tasks. The discussion includes a description of the behavioural sequences for the ECAs, which were designed for specific dialogue situations with particular attention given to the objective of improving dialogue robustness. Chapters 5 to 7 form the evaluation part of the Thesis. Chapter 5 reviews evaluation approaches in the literature for information technologies, as well as in particular for speech-based interaction systems, that are useful precedents to the contributions of the present Thesis. The main evaluation precedents on which the work in this Thesis has built are the Technology Acceptance Model (TAM), the Subjective Assessment of Speech System Interfaces (SASSI) tool, and ITU-T Recommendation P.851. Chapter 6 presents the author’s work in establishing an valuation framework and methodology applied to the users’ experience with multimodal HMI systems. A novel user-acceptance Subjective Quality Evaluation Framework was developed by the author specifically for this purpose. A class structure arises from two orthogonal sets of dimensions. First we identify three broad classes of parameters related with user acceptance: likeability factors (those that have to do with the experience of using the system), rejection factors (which can only have a negative valence) and perception of usefulness. Secondly, the class structure is further broken down into several “user perception levels”; at the very least: an overall system-assessment level, task and goal-related levels, and an interface level (e.g., a dialogue system with or without an ECA). An empirical evaluation of the system described in Chapter 4 is presented in Chapter 7. The study was based on the abovementioned precedents in the literature, expanded with categories covering the inclusion of an ECA, the users’ s lf-assessed emotions, and particular rejection factors (privacy and security concerns). The Subjective Quality Evaluation Framework proposed in the previous chapter was also scrutinised. Factor analyses revealed an item structure very much related conceptually to the usefulness-likeability-rejection class division introduced above, thus giving it some empirical weight. Regression-based analysis revealed structures of dependencies, paths of interrelations, between the subjective and objective parameters considered. The central mediation effect, in the Technology Acceptance Model, of perceived usefulness on the dependency relationship of intention-to-use with perceived ease of use was confirmed in this study. Furthermore, the pattern of relationships was stronger for variables covering more broadly the likeability and usefulness categories in the Subjective Quality Evaluation Framework. Rejection factors were found to have a distinct presence as components in factor analyses, as well as distinct behaviour: they were found to moderate the relationship between intention-to-use (the main measure of user acceptance) and its strongest predictor, perceived usefulness. Insights of secondary importance are also given regarding the effect of ECAs on the interface of spoken dialogue systems and the dimensions of user perception and judgement attitude that may have a role in determining user acceptance of the technology. Despite observing slightly better performance values in the case of the system with the ECA, subjective opinions regarding both systems were, overall, very similar. Minor differences between two experimental groups (one interacting with an ECA, the other only through speech) include a more direct effect of dialogue problems (e.g., non-understandings) on perceived dialogue robustness for the voice-only interface test group, and a more positive emotional response for the ECA test group. Our findings further suggest that the ECA generates higher initial expectations, and users seem slightly more confident in their interaction with the ECA than do those without it. Finally, mild evidence of social effects of ECAs was also found: the perceived friendliness of the ECA increased security concerns, and ECA users may tend to blame themselves rather than the system when dialogue problems are encountered, while the opposite may be true for voice-only users.

Emotions in services: complaint in B2C e-commerce

This study proposes a service recovery (SR) model to describe how cumulative satisfaction, loyalty and word-of-mouth are affected by complaints. The model is based on the role of positive and negative emotions in satisfaction with service recovery (SSR) processes. While prior SSR studies usually investigated only negative emotions and satisfaction with a specific transaction, this research considered both positive and negative emotions.

Development of a Dashboard for Sentiment Analysis of Football in Twitter based on Web Components and D3.js

This thesis is the result of a project whose objective has been to develop and deploy a dashboard for sentiment analysis of football in Twitter based on web components and D3.js. To do so, a visualisation server has been developed in order to present the data obtained from Twitter and analysed with Senpy. This visualisation server has been developed with Polymer web components and D3.js. Data mining has been done with a pipeline between Twitter, Senpy and ElasticSearch. Luigi have been used in this process because helps building complex pipelines of batch jobs, so it has analysed all tweets and stored them in ElasticSearch. To continue, D3.js has been used to create interactive widgets that make data easily accessible, this widgets will allow the user to interact with them and �filter the most interesting data for him. Polymer web components have been used to make this dashboard according to Google's material design and be able to show dynamic data in widgets. As a result, this project will allow an extensive analysis of the social network, pointing out the influence of players and teams and the emotions and sentiments that emerge in a lapse of time.

Automatic lateral control for unmanned vehicles via genetic algorithms

It is known that the techniques under the topic of Soft Computing have a strong capability of learning and cognition, as well as a good tolerance to uncertainty and imprecision. Due to these properties they can be applied successfully to Intelligent Vehicle Systems; ITS is a broad range of technologies and techniques that hold answers to many transportation problems. The unmannedcontrol of the steering wheel of a vehicle is one of the most important challenges facing researchers in this area. This paper presents a method to adjust automatically a fuzzy controller to manage the steering wheel of a mass-produced vehicle; to reach it, information about the car state while a human driver is handling the car is taken and used to adjust, via iterative geneticalgorithms an appropriated fuzzy controller. To evaluate the obtained controllers, it will be considered the performance obtained in the track following task, as well as the smoothness of the driving carried out.

A Satisfaction-based Model for Affect Recognition from Conversational Features in Spoken Dialog Systems

Detecting user affect automatically during real-time conversation is the main challenge towards our greater aim of infusing social intelligence into a natural-language mixed-initiative High-Fidelity (Hi-Fi) audio control spoken dialog agent. In recent years, studies on affect detection from voice have moved on to using realistic, non-acted data, which is subtler. However, it is more challenging to perceive subtler emotions and this is demonstrated in tasks such as labelling and machine prediction. This paper attempts to address part of this challenge by considering the role of user satisfaction ratings and also conversational/dialog features in discriminating contentment and frustration, two types of emotions that are known to be prevalent within spoken human-computer interaction. However, given the laboratory constraints, users might be positively biased when rating the system, indirectly making the reliability of the satisfaction data questionable. Machine learning experiments were conducted on two datasets, users and annotators, which were then compared in order to assess the reliability of these datasets. Our results indicated that standard classifiers were significantly more successful in discriminating the abovementioned emotions and their intensities (reflected by user satisfaction ratings) from annotator data than from user data. These results corroborated that: first, satisfaction data could be used directly as an alternative target variable to model affect, and that they could be predicted exclusively by dialog features. Second, these were only true when trying to predict the abovementioned emotions using annotator?s data, suggesting that user bias does exist in a laboratory-led evaluation.

Persuasive system design methods to deliver a cardio-rehabilitation program of post mi outpatients

Las enfermedades no transmisibles provocan cada ano 38 millones de fallecimientos en el mundo. Entre ellas, tan solo cuatro enfermedades son responsables del 82% de estas muertes: las enfermedades cardiovasculares, las enfermedades crónicas respiratorias, la diabetes, y el cáncer. Se prevé que estas cifras aumenten en los próximos anos, ya que las tendencias indican que en el año 2030 las muertes por esta causa ascenderán a 53 millones de personas. La Organización Mundial de la Salud (OMS) considera importante buscar soluciones para afrontar esta situación y ha solicitado a los gobiernos del mundo la implementación de intervenciones para mejorar los hábitos de vida de las personas y reducir así el riesgo de desarrollo de enfermedades no trasmisibles. Cada año se producen 32 millones de infartos de miocardio y derrames celebrales, de los cuales 12.5 son mortales. En el mundo entre el 40% y 75% de la víctimas de un infarto de miocardio mueren antes de su ingreso en el hospital. En los casos que sobreviven, la adopción de un estilo de vida saludable puede evitar infartos sucesivo, y supone un ahorro potencial de 6 billones de euros al año. La rehabilitación cardiaca es un programa individualizado que aplica un método multidisciplinar para ayudar al paciente a recuperar su condición física, a gestionar la enfermedad cardiovascular y sus comorbilidades, a adoptar hábitos de vida saludables, y a promover su salud mental. La rehabilitación cardiaca requiere la total involucración y motivación del paciente, solo de esta manera se podrán promover hábitos saludables y mejorar la gestión y prevención de su enfermedad. Aunque la participación en los programas de rehabilitación cardiaca es baja, hoy en día existen programas de rehabilitación cardiaca que el paciente puede realizar en su casa. Estos suponen una solución prometedora para aumentar la participación. La rehabilitación cardiaca se considera una intervención integral donde los modelos de psicología de la salud son aplicados para promover un cambio en el estilo de vida de las personas así como para ayudarles a afrontar su propia enfermedad. Existen métodos para implementar cambios de hábitos y de aptitud, y también se considera muy relevante promover no solo el bienestar físico sino también el mental. Existen tecnologías que promueven los cambios de comportamientos en los seres humanos. En concreto, las tecnologías persuasivas y los sistemas de apoyo al cambio de comportamientos modelan las características, las estrategias y los métodos de diseño para promover cambios usando la tecnología. Pero estos modelos tienen algunas limitaciones: todavía no se ha definido que rol tienen las emociones en el cambio de comportamientos y como traducir los métodos de la psicología de la salud en la tecnología. Esta tesis se centra en tres elementos que tienen un rol clave en los cambios de hábitos y actitud: el estado físico, el estado mental, y la tecnología. -Estado de salud: un estado de salud critico puede modificar la actitud del ser humano respecto al cambio. A la vez un buen estado de salud hace que la necesidad del cambio sea menos percibida. -Estado emocional: la actitud tiene un componente afectivo. Los estados emocionales negativos pueden reducir la habilidad de una persona para adoptar nuevos comportamientos. La salud mental es la situación ideal donde los individuos tienen predisposición a los cambios. La tecnología puede ayudar a las personas a adoptar nuevos hábitos, así como a mantener una salud física y mental. Este trabajo de investigación se centra en el diseño de tecnologías para la mejora del estado físico y emocional de las personas. Se ha propuesto un marco de diseño llamado “Well.Be.Sign”. El marco se basa en tres aspectos: El marco teórico: representa los elementos que se tienen que definir para diseñar tecnologías para promover el bienestar de las personas. -El diagrama de influencia: presenta las fuerzas de ‘persuasión’ en el contexto de la salud. El rol de las tecnologías persuasivas ha sido contextualizado en una dimensión donde otros elementos influencian el usuario.  El proceso de diseño: describe el proceso de diseño utilizando una metodología iterativa e incremental que aplica una combinación de métodos de diseño existentes (Diseño Orientado a Objetivos, Diseño de Sistemas Persuasivos) así como elementos originales de este trabajo de investigación. Los métodos se han aplicados para diseñar un sistema que ofrezca un programa de tele-rehabilitación cardiaca. Inicialmente se ha diseñado un prototipo de acuerdo con las necesidades del usuario. En segundo lugar, el prototipo se ha extendido especificando la intervención requerida para al programa de rehabilitación cardiaca. Finalmente el sistema se ha desarrollado y validado en un ensayo clínico con grupo control, donde se observaron las variaciones del estado cardiovascular, el nivel de conocimiento acerca de la enfermedad, la percepción de la enfermedad, la persistencia de hábitos saludables, y la aceptabilidad del sistema. Los resultados muestran que el grupo de intervención tiene una superior capacidad cardiovascular, mejor conocimiento acerca de la enfermedad, y más percepción de control de la enfermedad. Asimismo, en algunos casos se ha registrado persistencia de los hábitos de ejercicios 6 meses después del uso del sistema. Otros dos estudios se han presentado para demonstrar la relevancia del estado emocional del usuario en el diseño de aplicaciones para la promoción del bienestar.  En personas con una grave enfermedad crónica como la insuficiencia cardiaca, donde se ha presentado las conexiones entre estado de salud y estado emocional. En el estudio se ensena la relaciones que tienen los síntomas y las emociones negativas y como un estado negativo emocional puede empeorar la condición física del paciente. -Personas con trastornos del humor: el estudio muestra como las emociones pueden tener un impacto en la percepción de la tecnología por parte del usuario. ABSTRACT Noncommunicable diseases (NCDs) cause the death of 38 million people every year. Four major NCDs are responsible for 82% of these deaths: cardio vascular disease, chronic respiratory disease, diabetes and cancer. These pandemic numbers are projected to raise to 53 million deaths in 2030, and for this reason the assembly of the World Health Organization (WHO) considers communicable diseases as an urgent need to be addressed. It is also a trend to advocate the adoption of mobile technology to deliver health services and to promote healthy behaviours among citizens, but adopting healthS promoting lifestyle is still a difficult task facing human tendencies. Within this context, there is a promising opportunity: persuasive technologies. These technologies are intentionally designed to change a person’s attitudes or behaviours; when applied in this context, than can be used to change health-related attitudes, beliefs, and behaviours. Each year there are 32 million heart attacks and strokes globally, of which about 12.5 million are fatal. Worldwide between 40 and 75% of all heart-attack victims die before reaching hospital. Avoiding a second heart attack by improving adherence to lifestyle and medication regimens has a cost saving potential of around €6 billion per year. In most of the cases the cardiovascular event has been provoked by unhealthy lifestyle. Furthermore, after an MI event the patient's decision to adopt or not healthier behaviour will influence the progress of the disease. Cardio-rehabilitation is an individualized program that follows a multidisciplinary approach to support the user to recover from the Myocardial Infarction, manage the Cardio Vascular Disease and the comorbidities, adopt healthy habits, and cope with any emotional distress. Cardio- rehabilitation requires patient participation and willingness to perform behavioral modifications and change the attitude toward the management and prevention of the disease. Participation in the Cardio Rehabilitation program is not high; the home-based rehabilitation program is a promising solution to increase participation. Nowadays cardio rehabilitation is considered a comprehensive intervention in which models of health psychology are applied to promote the behaviour change of the individuals. Relevant methods that have been successfully applied to foster healthy habits include the Health Belief Model and the Trans Theoretical Model. Studies also demonstrate the importance to promote not only the physical but also the mental well being of the individuals. The idea of also promoting behaviour change using technologies has been defined by the literature as persuasive technologies or behaviour change support systems, in which the features, the strategies and the design method have been modelled to foster the behaviour change using technology. Limitations have been found in this model: there is still research to be done on the role of the emotions and how psychological health intervention can be translated into computer methods. This research focuses on three elements that could foster behaviour change in individuals: the physical and emotional status of the person, and the technology. Every component can influence the user's attitude and behaviour in the following ways: ' Physical status: bad physical status could change human attitude toward the necessity to adopt health behaviours; at the same time, good health status reduces the need to adopt healthy habits. ' Emotional status: the attitude has an affective component, negative emotional state can reduce the ability of a person to adopt new behaviours, and mental well being is the ideal situation in which individuals have a predisposition to adopt healthy behaviours. ' Technology: it can help users to adopt new behaviours and can also be support to promote physical and emotional status. Following this approach the idea driven in this research is that technology that is designed to improve the physical status and the emotional status of the individual could better foster behaviour change. According to this principle, the Well.Be.Sign framework has been proposed. The framework is based on three views: ' The theoretical framework: it represents the patterns that have to be defined to design the technologies to promote well being. ' The influence diagram: it shows the persuasive forces in the context of health care. The role of the persuasive technologies is contextualized in a wider universe where other factors and persuasive forces influence a patient. ' The design process: it shows the process of design using an iterative, incremental methodology that applies a combination of existing methodologies (Goal Directed Design and Persuasive System Design) and others that are original to this research. The methods have been applied to design a system to deliver cardio rehabilitation at home: first a prototype has been defined according to the user’s needs, then it has been extended with the specific intervention required for the cardio–rehabilitation, finally the system has been developed and validated in a controlled clinical study in which the cardiovascular fitness, the level of knowledge, the perception of the illness, the persistence of healthy habits and the system acceptance (only the intervention group) were measured. The results show that the intervention group increased cardiovascular capacity, knowledge, feeling of control of illness and perceived benefits of exercise at the end of the study. After six months of the study, a followSup of the exercise habits was performed. Some individuals of the intervention group continued to be engaged in the running exercise sessions promoted in the designed system. Two other cases have been presented to demonstrate the foundations of the Well.Be.Sign’s approach to promote both physical and emotional status: ' People affected by Heart Failure, in which a bidirectional connection between health status and emotions has been discussed with patients. Two correlations were demonstrated: the relationship between symptoms and negative emotional response, and that negative emotional status is correlated with worsening of chronic conditions. ' People with mood disorders: the study shows that emotions could also impact how the user perceives the technology.