Onyx: describing emotions on the web of data

There are several different standardised and widespread formats to represent emotions. However, there is no standard semantic model yet. This paper presents a new ontology, called Onyx, that aims to become such a standard while adding concepts from the latest Semantic Web models. In particular, the ontology focuses on the representation of Emotion Analysis results. But the model is abstract and inherits from previous standards and formats. It can thus be used as a reference representation of emotions in any future application or ontology. To prove this, we have translated resources from EmotionML representation to Onyx. We also present several ways in which developers could benefit from using this ontology instead of an ad-hoc presentation. Our ultimate goal is to foster the use of semantic technologies for emotion Analysis while following the Linked Data ideals.

A Satisfaction-based Model for Affect Recognition from Conversational Features in Spoken Dialog Systems

Detecting user affect automatically during real-time conversation is the main challenge towards our greater aim of infusing social intelligence into a natural-language mixed-initiative High-Fidelity (Hi-Fi) audio control spoken dialog agent. In recent years, studies on affect detection from voice have moved on to using realistic, non-acted data, which is subtler. However, it is more challenging to perceive subtler emotions and this is demonstrated in tasks such as labelling and machine prediction. This paper attempts to address part of this challenge by considering the role of user satisfaction ratings and also conversational/dialog features in discriminating contentment and frustration, two types of emotions that are known to be prevalent within spoken human-computer interaction. However, given the laboratory constraints, users might be positively biased when rating the system, indirectly making the reliability of the satisfaction data questionable. Machine learning experiments were conducted on two datasets, users and annotators, which were then compared in order to assess the reliability of these datasets. Our results indicated that standard classifiers were significantly more successful in discriminating the abovementioned emotions and their intensities (reflected by user satisfaction ratings) from annotator data than from user data. These results corroborated that: first, satisfaction data could be used directly as an alternative target variable to model affect, and that they could be predicted exclusively by dialog features. Second, these were only true when trying to predict the abovementioned emotions using annotator?s data, suggesting that user bias does exist in a laboratory-led evaluation.

User-centric need-driven affect modeling for spoken conversational agents: design and evaluation

It is easy to get frustrated at spoken conversational agents (SCAs), perhaps because they seem to be callous. By and large, the quality of human-computer interaction is affected due to the inability of the SCAs to recognise and adapt to user emotional state. Now with the mass appeal of artificially-mediated communication, there has been an increasing need for SCAs to be socially and emotionally intelligent, that is, to infer and adapt to their human interlocutors’ emotions on the fly, in order to ascertain an affective, empathetic and naturalistic interaction. An enhanced quality of interaction would reduce users’ frustrations and consequently increase their satisfactions. These reasons have motivated the development of SCAs towards including socio-emotional elements, turning them into affective and socially-sensitive interfaces. One barrier to the creation of such interfaces has been the lack of methods for modelling emotions in a task-independent environment. Most emotion models for spoken dialog systems are task-dependent and thus cannot be used “as-is” in different applications. This Thesis focuses on improving this, in which it concerns computational modeling of emotion, personality and their interrelationship for task-independent autonomous SCAs. The generation of emotion is driven by needs, inspired by human’s motivational systems. The work in this Thesis is organised in three stages, each one with its own contribution. The first stage involved defining, integrating and quantifying the psychological-based motivational and emotional models sourced from. Later these were transformed into a computational model by implementing them into software entities. The computational model was then incorporated and put to test with an existing SCA host, a HiFi-control agent. The second stage concerned automatic prediction of affect, which has been the main challenge towards the greater aim of infusing social intelligence into the HiFi agent. In recent years, studies on affect detection from voice have moved on to using realistic, non-acted data, which is subtler. However, it is more challenging to perceive subtler emotions and this is demonstrated in tasks such as labelling and machine prediction. In this stage, we attempted to address part of this challenge by considering the roles of user satisfaction ratings and conversational/dialog features as the respective target and predictors in discriminating contentment and frustration, two types of emotions that are known to be prevalent within spoken human-computer interaction. The final stage concerned the evaluation of the emotional model through the HiFi agent. A series of user studies with 70 subjects were conducted in a real-time environment, each in a different phase and with its own conditions. All the studies involved the comparisons between the baseline non-modified and the modified agent. The findings have gone some way towards enhancing our understanding of the utility of emotion in spoken dialog systems in several ways; first, an SCA should not express its emotions blindly, albeit positive. Rather, it should adapt its emotions to user states. Second, low performance in an SCA may be compensated by the exploitation of emotion. Third, the expression of emotion through the exploitation of prosody could better improve users’ perceptions of an SCA compared to exploiting emotions through just lexical contents. Taken together, these findings not only support the success of the emotional model, but also provide substantial evidences with respect to the benefits of adding emotion in an SCA, especially in mitigating users’ frustrations and ultimately improving their satisfactions. Resumen Es relativamente fácil experimentar cierta frustración al interaccionar con agentes conversacionales (Spoken Conversational Agents, SCA), a menudo porque parecen ser un poco insensibles. En general, la calidad de la interacción persona-agente se ve en cierto modo afectada por la incapacidad de los SCAs para identificar y adaptarse al estado emocional de sus usuarios. Actualmente, y debido al creciente atractivo e interés de dichos agentes, surge la necesidad de hacer de los SCAs unos seres cada vez más sociales y emocionalmente inteligentes, es decir, con capacidad para inferir y adaptarse a las emociones de sus interlocutores humanos sobre la marcha, de modo que la interacción resulte más afectiva, empática y, en definitiva, natural. Una interacción mejorada en este sentido permitiría reducir la posible frustración de los usuarios y, en consecuencia, mejorar el nivel de satisfacción alcanzado por los mismos. Estos argumentos justifican y motivan el desarrollo de nuevos SCAs con capacidades socio-emocionales, dotados de interfaces afectivas y socialmente sensibles. Una de las barreras para la creación de tales interfaces ha sido la falta de métodos de modelado de emociones en entornos independientes de tarea. La mayoría de los modelos emocionales empleados por los sistemas de diálogo hablado actuales son dependientes de tarea y, por tanto, no pueden utilizarse "tal cual" en diferentes dominios o aplicaciones. Esta tesis se centra precisamente en la mejora de este aspecto, la definición de modelos computacionales de las emociones, la personalidad y su interrelación para SCAs autónomos e independientes de tarea. Inspirada en los sistemas motivacionales humanos en el ámbito de la psicología, la tesis propone un modelo de generación/producción de la emoción basado en necesidades. El trabajo realizado en la presente tesis está organizado en tres etapas diferenciadas, cada una con su propia contribución. La primera etapa incluyó la definición, integración y cuantificación de los modelos motivacionales de partida y de los modelos emocionales derivados a partir de éstos. Posteriormente, dichos modelos emocionales fueron plasmados en un modelo computacional mediante su implementación software. Este modelo computacional fue incorporado y probado en un SCA anfitrión ya existente, un agente con capacidad para controlar un equipo HiFi, de alta fidelidad. La segunda etapa se orientó hacia el reconocimiento automático de la emoción, aspecto que ha constituido el principal desafío en relación al objetivo mayor de infundir inteligencia social en el agente HiFi. En los últimos años, los estudios sobre reconocimiento de emociones a partir de la voz han pasado de emplear datos actuados a usar datos reales en los que la presencia u observación de emociones se produce de una manera mucho más sutil. El reconocimiento de emociones bajo estas condiciones resulta mucho más complicado y esta dificultad se pone de manifiesto en tareas tales como el etiquetado y el aprendizaje automático. En esta etapa, se abordó el problema del reconocimiento de las emociones del usuario a partir de características o métricas derivadas del propio diálogo usuario-agente. Gracias a dichas métricas, empleadas como predictores o indicadores del grado o nivel de satisfacción alcanzado por el usuario, fue posible discriminar entre satisfacción y frustración, las dos emociones prevalentes durante la interacción usuario-agente. La etapa final corresponde fundamentalmente a la evaluación del modelo emocional por medio del agente Hifi. Con ese propósito se llevó a cabo una serie de estudios con usuarios reales, 70 sujetos, interaccionando con diferentes versiones del agente Hifi en tiempo real, cada uno en una fase diferente y con sus propias características o capacidades emocionales. En particular, todos los estudios realizados han profundizado en la comparación entre una versión de referencia del agente no dotada de ningún comportamiento o característica emocional, y una versión del agente modificada convenientemente con el modelo emocional propuesto. Los resultados obtenidos nos han permitido comprender y valorar mejor la utilidad de las emociones en los sistemas de diálogo hablado. Dicha utilidad depende de varios aspectos. En primer lugar, un SCA no debe expresar sus emociones a ciegas o arbitrariamente, incluso aunque éstas sean positivas. Más bien, debe adaptar sus emociones a los diferentes estados de los usuarios. En segundo lugar, un funcionamiento relativamente pobre por parte de un SCA podría compensarse, en cierto modo, dotando al SCA de comportamiento y capacidades emocionales. En tercer lugar, aprovechar la prosodia como vehículo para expresar las emociones, de manera complementaria al empleo de mensajes con un contenido emocional específico tanto desde el punto de vista léxico como semántico, ayuda a mejorar la percepción por parte de los usuarios de un SCA. Tomados en conjunto, los resultados alcanzados no sólo confirman el éxito del modelo emocional, sino xv que constituyen además una evidencia decisiva con respecto a los beneficios de incorporar emociones en un SCA, especialmente en cuanto a reducir el nivel de frustración de los usuarios y, en última instancia, mejorar su satisfacción.

Onyx: A Linked Data approach to emotion representation

Extracting opinions and emotions from text is becoming increasingly important, especially since the advent of micro-blogging and social networking. Opinion mining is particularly popular and now gathers many public services, datasets and lexical resources. Unfortunately, there are few available lexical and semantic resources for emotion recognition that could foster the development of new emotion aware services and applications. The diversity of theories of emotion and the absence of a common vocabulary are two of the main barriers to the development of such resources. This situation motivated the creation of Onyx, a semantic vocabulary of emotions with a focus on lexical resources and emotion analysis services. It follows a linguistic Linked Data approach, it is aligned with the Provenance Ontology, and it has been integrated with the Lexicon Model for Ontologies (lemon), a popular RDF model for representing lexical entries. This approach also means a new and interesting way to work with different theories of emotion. As part of this work, Onyx has been aligned with EmotionML and WordNet-Affect.

Desarrollo de una herramienta para analizar métodos de reconocimiento de emociones

Desde hace más de 20 años, muchos grupos de investigación trabajan en el estudio de técnicas de reconocimiento automático de expresiones faciales. En los últimos años, gracias al avance de las metodologías, ha habido numerosos avances que hacen posible una rápida detección de las caras presentes en una imagen y proporcionan algoritmos de clasificación de expresiones. En este proyecto se realiza un estudio sobre el estado del arte en reconocimiento automático de emociones, para conocer los diversos métodos que existen en el análisis facial y en el reconocimiento de la emoción. Con el fin de poder comparar estos métodos y otros futuros, se implementa una herramienta modular y ampliable y que además integra un método de extracción de características que consiste en la obtención de puntos de interés en la cara y dos métodos para clasificar la expresión, uno mediante comparación de desplazamientos de los puntos faciales, y otro mediante detección de movimientos específicos llamados unidades de acción. Para el entrenamiento del sistema y la posterior evaluación del mismo, se emplean las bases de datos Cohn-Kanade+ y JAFFE, de libre acceso a la comunidad científica. Después, una evaluación de estos métodos es llevada a cabo usando diferentes parámetros, bases de datos y variando el número de emociones. Finalmente, se extraen conclusiones del trabajo y su evaluación, proponiendo las mejoras necesarias e investigación futura. ABSTRACT. Currently, many research teams focus on the study of techniques for automatic facial expression recognition. Due to the appearance of digital image processing, in recent years there have been many advances in the field of face detection, feature extraction and expression classification. In this project, a study of the state of the art on automatic emotion recognition is performed to know the different methods existing in facial feature extraction and emotion recognition. To compare these methods, a user friendly tool is implemented. Besides, a feature extraction method is developed which consists in obtaining 19 facial feature points. Those are passed to two expression classifier methods, one based on point displacements, and one based on the recognition of facial Action Units. Cohn-Kanade+ and JAFFE databases, both freely available to the scientific community, are used for system training and evaluation. Then, an evaluation of the methods is performed with different parameters, databases and varying the number of emotions. Finally, conclusions of the work and its evaluation are extracted, proposing some necessary improvements and future research.

El dibujo como herramienta en el proceso creativo del cine y la arquitectura

El director de cine y el arquitecto, exploran las posibilidades que les ofrece la imagen, en el sentido de la visualización de ciertas relaciones que son catalizadoras de las emociones. La obra cinematográfica y la obra arquitectónica son producto del pensamiento y contienen todos los procesos que las idearon, así como aquellos mecanismos necesarios para generar el espacio y la secuencia. El objetivo general de la tesis consiste en conocer las analogías existentes en el modo en que el arquitecto y el cineasta afrontan el proceso de creación de sus proyectos desde la acción gráfica. Si consideramos el medio gráfico como un recurso creativo en el proyecto arquitectónico y cinematográfico, el boceto, croquis o “storyboard” se convierten en documentos fundamentales, objeto de estudio, para extraer las claves y la manera en que se desarrolla dicho proceso. El pensamiento gráfico se encuentra íntimamente unido a su modo de expresión. El estudio de ese proceso de pensamiento basado principalmente en imágenes, permite establecer analogías en la manera en que ambos autores hacen uso del dibujo para imaginar acontecimientos evocadores de emociones que definan el carácter dramático de sus ideas. La conexión y yuxtaposición de imágenes mentales, como operaciones de montaje que alientan la construcción de ideas, conceptos y sensaciones, son claves en el curso de la concepción arquitectónica y cinematográfica, y el dibujo, una herramienta que permite a ambos autores su desarrollo. La aproximación al modo en que el arquitecto y el cineasta emprenden el proceso de ideación de sus proyectos a través del dibujo, se aborda desde las estrategias gráficas de cuatro autores: Sergei Eisenstein, Le Corbusier, Akira Kurosawa y Rem Koolhaas. La estructura del trabajo se desarrolla en dos bloques. El primero, compuesto por los primeros cuatro capítulos, afronta desde un punto de vista general, la potencialidad de la imagen en el pensamiento gráfico y el papel de la acción gráfica en el curso proyectual que realiza el arquitecto, por un lado, y el director de cine por otro, tratando de extraer las analogías y los puntos de encuentro de ambos autores durante el proceso. El segundo bloque, correspondiente a los cuatro últimos capítulos, aborda el uso del medio gráfico de manera más concreta, en la figura de dos de los arquitectos y dos de los cineastas más influyentes del pasado y del presente siglo, tratando de comprender el papel del dibujo en el desarrollo conceptual de su obra. ABSTRACT Both the movie director and the architect explore the potential offered by the image, as the visualization of certain relations that are catalyst of emotions. Cinematography and architecture works are a result of a thought and they include all the processes that created them, as much as the essential tools to generate the space and the sequence. This thesis aims to get an understanding of the analogies underlying in which architects and movie directors face the creation process of theirs projects from the graphic action. If we consider graphic media as a creative resource in the architectural and the cinematographic project, the sketch or storyboard becomes the fundamental documents, the study object, to decode the clues and the way in which the process unfolds. Graphic thinking comes across its way of expression. The study of this thinking, based mainly in images, let set up analogies in a way in which both authors use a drawing to imagine events of emotions that define the dramatic nature of their ideas. The connection and juxtaposition of mental images, as editing or montages that encourage the creation of ideas, concepts and sensations, are key in the course of the architectural and the cinematographic conception, and the drawing, a tool that allows both authors their development. The approach to the way the architect and the movie director get to the process of the creation of their projects through the drawing is addressed from the graphic strategies of these four authors: Sergei Eisenstein, Le Corbusier, Akira Kurosawa and Rem Koolhaas. The structure of the work is developed in two blocks. The first one, the first four chapters, face up, from a general point of view, the potential of the image in the graphic thinking and the role of the graphic action in the course of the project, that architects, as well as movie directors, are making trying to find the analogies and common points during the process. The second block, the last four chapters, deal with the use of the graphic media in a more detail manner, taking as example two of the architects and two of the movie directors more influential of the past and the present centuries, trying to understand the role of the drawing in the conceptual development of the their work.

La casa industrializada : seis propuestas para este milenio

La Casa Industrializada supone el ideal de realizar la casa unifamiliar a través de la potencia y los procedimientos de la industria. Como tal, la casa supone un producto industrial más sujeto a la lógica de la reproducción y del consumo. Como producto de consumo la casa debe establecerse como objeto de deseo, accesible al grupo de usuarios-consumidores al que va dirigido. El sueño de la Casa Industrializada se origina en la primera Revolución Industrial y se consolida en la segunda tras la producción del Ford T y la adhesión de los padres del movimiento moderno. A lo largo de su historia se han sucedido casos de éxito y fracaso, los primeros con la realización de un producto de imagen convencional y los segundos la mayor parte de las veces dirigidos por arquitectos. El sueño de la Casa Industrializada de la mano de arquitectos está comenzando a ser una realidad en Japón, Suecia y Estados Unidos a través de marcas como MUJI, Arkitekthus y Living Homes, pero aún dista de ser un hecho extendido en nuestra sociedad. Para que este ideal se cumpla deberá ofrecer valores que permita a la sociedad hacerlo suyo. La Tesis busca analizar la historia y la metodología de la Casa Industrializada, desde el diseño a la comercialización con el fin de ofrecer esos valores en forma de propuestas para la Casa Industrializada en este milenio. La casa como producto industrial-producto de consumo supera las lógicas tradicionales de la arquitectura para operar dentro del contexto de la producción industrial y la reproducción de los objetos. En este sentido es necesario establecer no solo la forma y construcción de la casa sino los mecanismos de reproducción con sus pertinentes eficiencias. La Casa industrializada no se construye, se monta, y para ello utiliza las estrategias de la construcción en seco, la prefabricación, el uso de componentes y los materiales ligeros. Desde la lógica del consumo, la casa debe dirigirse a un determinado público, no es más la casa para todos, característica de las situaciones de crisis y de emergencia. La casa se enfrenta a un mercado segmentado, tanto en cultura, como en deseos y poderes adquisitivos. En la cuestión del diseño debe plantearse más como diseño de producto que como diseño arquitectónico. La Casa Industrializada no es el fruto de un encargo y de una acción singular, debe ofrecerse lista para adquirir y para ser reproducida. Esta reproducción se puede dar tanto en la forma de modelos cerrados o sistemas abiertos que permitan la personalización por parte de los usuarios. Desde el ámbito cultural es necesario entender que la casa es más que una máquina de habitar, es un receptor de emociones, forma parte de nuestra memoria y nuestra cultura. La casa como producto social es una imagen de nosotros mismos, define la manera en la que nos situamos en el mundo y por tanto supone una definición de estatus. En esto, la Tesis se apoya en los textos de Baudrillard y su análisis de la sociedad de consumo y el papel de los objetos y su valor como signo. La Tesis realiza un repaso de los procedimientos industriales con especial énfasis en la producción automovilística y sitúa la evolución de la Casa Industrializada en relación a la evolución de los avances en los sistemas de producción industrial y las transferencias desde las industrias del automóvil y aeronáutica. La tesis se completa con una serie de casos de estudio que parten de las primeras casas de venta por correo de principios del siglo XX, pasando por las propuestas de Gropius, Fuller, el Case Study House Program, Prouvé, Sota y acaban con la situación actual. La Casa Industrializada ha mantenido una serie de valores a lo largo de su historia, como ideal, forma un cuerpo estable de propuestas que no se ha modificado a lo largo del tiempo. Con respecto a este nuevo milenio este ideal no debe ser cambiado sino simplemente actualizado y adaptado a los métodos de producción y las necesidades, sueños y exigencias de la sociedad de hoy. ABSTRACT The industrialized House provides an ideal to manufacture the house through the power and strategies of the industry. As such, the house becomes an industrial product that respond to the logic of reproduction and consumption. As a comodity, the house must become a desirable object, accessible to the group of the consumers to which is targeted The dream of the Industrialized home is originated in the First Industrial Revolution and it is consolidated in the second one after Ford´s production of Model T and the incorporation of the principal figures of the modern movement to the ideal of making houses at the factories. Throughout history there have been cases of success and failure, the first with the completion of a product of conventional image and the second most often led by architects. Industrialized dream house made by architects is starting to become a reality in Japan, Sweden and the United States through brands such as MUJI, Arkitekthus and Living Homes, but still far from beeing a widespread fact in our society. To fulfill this ideal, it should provide values that society could accept as of their own. The Thesis seeks to analyze the history and methodology of industrialized house, from design to marketing in order to offer these values in the form of proposals for industrialized house in this millennium. The house as an industrial-product-comodity extend beyond the traditional architectural logic to operate within the context of industrial production and the reproduction of objects. In this sense it is necessary to establish not only the shape and construction of the house but the mechanisms of reproduction with its relevant efficiencies. Industrialized house is not built it is assembled, and it uses the strategies of dry construction, prefabrication, using lightweight materials and components. From the logic of consumption, the house must go to a certain audience, it is no longer the home for all that is characteristic of crisis respond and emergency. The house faces a segmented market, both in culture and desires and purchasing power. On the question of design it must be considered more like product design than architectural design. Industrialized House is not the result of a commission and a singular action, it should be offered pret-a-porter and able to be reproduced. This reproduction can be given in form of closed or open systems models that allow its customization by users. From the cultural sphere is necessary to understand that the house is more than a machine for living, is a recipient of emotions, is part of our memory and our culture. The home as a social product is an image of ourselves, defines the way in which we place ourselves in the world and therefore represents a definition of status. In this aspect, the thesis is based on the texts of Baudrillard and his analysis of consumption society and the role of objects and its value as a sign in it. The thesis makes a review of the industrial processes with emphasis on automotive production and places the evolution of industrialized House in relation to the evolution of developments in industrial production systems and transfers from the automotive and aeronautics industries. The thesis is completed with a series of case studies that starts from the first mail order houses from the early twentieth century, going through the proposal of Gropius, Fuller, the Case Study House Program, Prouvé, Sota and end up with the current situation. Industrialized House has held a series of values throughout its history, as an ideal, forms a stable corps of proposals that has not changed over time. Regarding this new millennium this ideal should not be changed but simply be updated and adapted to production methods and needs, dreams and demands of today's society.

Emotions and the Engineering of Adaptiveness in Complex Systems

A major challenge in the engineering of complex and critical systems is the management of change, both in the system and in its operational environment. Due to the growing of complexity in systems, new approaches on autonomy must be able to detect critical changes and avoid their progress towards undesirable states. We are searching for methods to build systems that can tune the adaptability protocols. New mechanisms that use system-wellness requirements to reduce the influence of the outer domain and transfer the control of uncertainly to the inner one. Under the view of cognitive systems, biological emotions suggests a strategy to configure value-based systems to use semantic self-representations of the state. A method inspired by emotion theories to causally connect to the inner domain of the system and its objectives of wellness, focusing on dynamically adapting the system to avoid the progress of critical states. This method shall endow the system with a transversal mechanism to monitor its inner processes, detecting critical states and managing its adaptivity in order to maintain the wellness goals. The paper describes the current vision produced by this work-in-progress.

Emotions and the Engineering of Adaptiveness in Complex Systems

A major challenge in the engineering of complex and critical systems is the management of change, both in the system and in its operational environment. Due to the growing of complexity in systems, new approaches on autonomy must be able to detect critical changes and avoid their progress towards undesirable states. We are searching for methods to build systems that can tune the adaptability protocols. New mechanisms that use system-wellness requirements to reduce the influence of the outer domain and transfer the control of uncertainly to the inner one. Under the view of cognitive systems, biological emotions suggests a strategy to configure value-based systems to use semantic self-representations of the state. A method inspired by emotion theories to causally connect to the inner domain of the system and its objectives of wellness, focusing on dynamically adapting the system to avoid the progress of critical states. This method shall endow the system with a transversal mechanism to monitor its inner processes, detecting critical states and managing its adaptivity in order to maintain the wellness goals. The paper describes the current vision produced by this work-in-progress.