User-centric need-driven affect modeling for spoken conversational agents: design and evaluation

It is easy to get frustrated at spoken conversational agents (SCAs), perhaps because they seem to be callous. By and large, the quality of human-computer interaction is affected due to the inability of the SCAs to recognise and adapt to user emotional state. Now with the mass appeal of artificially-mediated communication, there has been an increasing need for SCAs to be socially and emotionally intelligent, that is, to infer and adapt to their human interlocutors’ emotions on the fly, in order to ascertain an affective, empathetic and naturalistic interaction. An enhanced quality of interaction would reduce users’ frustrations and consequently increase their satisfactions. These reasons have motivated the development of SCAs towards including socio-emotional elements, turning them into affective and socially-sensitive interfaces. One barrier to the creation of such interfaces has been the lack of methods for modelling emotions in a task-independent environment. Most emotion models for spoken dialog systems are task-dependent and thus cannot be used “as-is” in different applications. This Thesis focuses on improving this, in which it concerns computational modeling of emotion, personality and their interrelationship for task-independent autonomous SCAs. The generation of emotion is driven by needs, inspired by human’s motivational systems. The work in this Thesis is organised in three stages, each one with its own contribution. The first stage involved defining, integrating and quantifying the psychological-based motivational and emotional models sourced from. Later these were transformed into a computational model by implementing them into software entities. The computational model was then incorporated and put to test with an existing SCA host, a HiFi-control agent. The second stage concerned automatic prediction of affect, which has been the main challenge towards the greater aim of infusing social intelligence into the HiFi agent. In recent years, studies on affect detection from voice have moved on to using realistic, non-acted data, which is subtler. However, it is more challenging to perceive subtler emotions and this is demonstrated in tasks such as labelling and machine prediction. In this stage, we attempted to address part of this challenge by considering the roles of user satisfaction ratings and conversational/dialog features as the respective target and predictors in discriminating contentment and frustration, two types of emotions that are known to be prevalent within spoken human-computer interaction. The final stage concerned the evaluation of the emotional model through the HiFi agent. A series of user studies with 70 subjects were conducted in a real-time environment, each in a different phase and with its own conditions. All the studies involved the comparisons between the baseline non-modified and the modified agent. The findings have gone some way towards enhancing our understanding of the utility of emotion in spoken dialog systems in several ways; first, an SCA should not express its emotions blindly, albeit positive. Rather, it should adapt its emotions to user states. Second, low performance in an SCA may be compensated by the exploitation of emotion. Third, the expression of emotion through the exploitation of prosody could better improve users’ perceptions of an SCA compared to exploiting emotions through just lexical contents. Taken together, these findings not only support the success of the emotional model, but also provide substantial evidences with respect to the benefits of adding emotion in an SCA, especially in mitigating users’ frustrations and ultimately improving their satisfactions. Resumen Es relativamente fácil experimentar cierta frustración al interaccionar con agentes conversacionales (Spoken Conversational Agents, SCA), a menudo porque parecen ser un poco insensibles. En general, la calidad de la interacción persona-agente se ve en cierto modo afectada por la incapacidad de los SCAs para identificar y adaptarse al estado emocional de sus usuarios. Actualmente, y debido al creciente atractivo e interés de dichos agentes, surge la necesidad de hacer de los SCAs unos seres cada vez más sociales y emocionalmente inteligentes, es decir, con capacidad para inferir y adaptarse a las emociones de sus interlocutores humanos sobre la marcha, de modo que la interacción resulte más afectiva, empática y, en definitiva, natural. Una interacción mejorada en este sentido permitiría reducir la posible frustración de los usuarios y, en consecuencia, mejorar el nivel de satisfacción alcanzado por los mismos. Estos argumentos justifican y motivan el desarrollo de nuevos SCAs con capacidades socio-emocionales, dotados de interfaces afectivas y socialmente sensibles. Una de las barreras para la creación de tales interfaces ha sido la falta de métodos de modelado de emociones en entornos independientes de tarea. La mayoría de los modelos emocionales empleados por los sistemas de diálogo hablado actuales son dependientes de tarea y, por tanto, no pueden utilizarse "tal cual" en diferentes dominios o aplicaciones. Esta tesis se centra precisamente en la mejora de este aspecto, la definición de modelos computacionales de las emociones, la personalidad y su interrelación para SCAs autónomos e independientes de tarea. Inspirada en los sistemas motivacionales humanos en el ámbito de la psicología, la tesis propone un modelo de generación/producción de la emoción basado en necesidades. El trabajo realizado en la presente tesis está organizado en tres etapas diferenciadas, cada una con su propia contribución. La primera etapa incluyó la definición, integración y cuantificación de los modelos motivacionales de partida y de los modelos emocionales derivados a partir de éstos. Posteriormente, dichos modelos emocionales fueron plasmados en un modelo computacional mediante su implementación software. Este modelo computacional fue incorporado y probado en un SCA anfitrión ya existente, un agente con capacidad para controlar un equipo HiFi, de alta fidelidad. La segunda etapa se orientó hacia el reconocimiento automático de la emoción, aspecto que ha constituido el principal desafío en relación al objetivo mayor de infundir inteligencia social en el agente HiFi. En los últimos años, los estudios sobre reconocimiento de emociones a partir de la voz han pasado de emplear datos actuados a usar datos reales en los que la presencia u observación de emociones se produce de una manera mucho más sutil. El reconocimiento de emociones bajo estas condiciones resulta mucho más complicado y esta dificultad se pone de manifiesto en tareas tales como el etiquetado y el aprendizaje automático. En esta etapa, se abordó el problema del reconocimiento de las emociones del usuario a partir de características o métricas derivadas del propio diálogo usuario-agente. Gracias a dichas métricas, empleadas como predictores o indicadores del grado o nivel de satisfacción alcanzado por el usuario, fue posible discriminar entre satisfacción y frustración, las dos emociones prevalentes durante la interacción usuario-agente. La etapa final corresponde fundamentalmente a la evaluación del modelo emocional por medio del agente Hifi. Con ese propósito se llevó a cabo una serie de estudios con usuarios reales, 70 sujetos, interaccionando con diferentes versiones del agente Hifi en tiempo real, cada uno en una fase diferente y con sus propias características o capacidades emocionales. En particular, todos los estudios realizados han profundizado en la comparación entre una versión de referencia del agente no dotada de ningún comportamiento o característica emocional, y una versión del agente modificada convenientemente con el modelo emocional propuesto. Los resultados obtenidos nos han permitido comprender y valorar mejor la utilidad de las emociones en los sistemas de diálogo hablado. Dicha utilidad depende de varios aspectos. En primer lugar, un SCA no debe expresar sus emociones a ciegas o arbitrariamente, incluso aunque éstas sean positivas. Más bien, debe adaptar sus emociones a los diferentes estados de los usuarios. En segundo lugar, un funcionamiento relativamente pobre por parte de un SCA podría compensarse, en cierto modo, dotando al SCA de comportamiento y capacidades emocionales. En tercer lugar, aprovechar la prosodia como vehículo para expresar las emociones, de manera complementaria al empleo de mensajes con un contenido emocional específico tanto desde el punto de vista léxico como semántico, ayuda a mejorar la percepción por parte de los usuarios de un SCA. Tomados en conjunto, los resultados alcanzados no sólo confirman el éxito del modelo emocional, sino xv que constituyen además una evidencia decisiva con respecto a los beneficios de incorporar emociones en un SCA, especialmente en cuanto a reducir el nivel de frustración de los usuarios y, en última instancia, mejorar su satisfacción.

A COMUNICAÇÃO ORGANIZACIONAL INTERNA E O AMBIENTE VIRTUAL: NOVAS TENDÊNCIAS

Esta tese trata do impacto nas Comunicações Internas das Organizações em relação à virtualidade e teve como objetivo descrever e analisar as mudanças ocorridas na comunicação interna das organizações privadas com o advento das tecnologias. Para atingir nosso objetivo fizemos uso da pesquisa bibliográfica, partindo do exame das teorias comunicacionais disponíveis e dos recursos técnicos inerentes à comunicação e às tecnologias da informação aplicadas à organização. Estabelecemos a convergência em relação às tendências e efeitos que poderão ser observados, por meio de um diálogo com especialistas da área Comunicacional através de um estudo qualitativo, onde fizemos uso da metodologia do Painel Delphi com o intuito de descrevermos e analisarmos as mudanças ocorridas nos meios, analisarmos seus impactos e traçarmos um cenário futuro em relação à utilização das tecnologias da informação e comunicação no ambiente organizacional interno. Os resultados de nossa pesquisa demonstraram que a comunicação interna organizacional deverá ser intensamente mediada por computador, mas não se limitará a ele, justamente pela realidade e condição cultural de cada organização, um mix comunicacional (com veículos tradicionais e virtuais) deverá ser a condição mais lógica para uma comunicação eficiente, uma vez que abrange todo o tipo de público e formato de mensagens.

A COMUNICAÇÃO ORGANIZACIONAL INTERNA E O AMBIENTE VIRTUAL: NOVAS TENDÊNCIAS

Esta tese trata do impacto nas Comunicações Internas das Organizações em relação à virtualidade e teve como objetivo descrever e analisar as mudanças ocorridas na comunicação interna das organizações privadas com o advento das tecnologias. Para atingir nosso objetivo fizemos uso da pesquisa bibliográfica, partindo do exame das teorias comunicacionais disponíveis e dos recursos técnicos inerentes à comunicação e às tecnologias da informação aplicadas à organização. Estabelecemos a convergência em relação às tendências e efeitos que poderão ser observados, por meio de um diálogo com especialistas da área Comunicacional através de um estudo qualitativo, onde fizemos uso da metodologia do Painel Delphi com o intuito de descrevermos e analisarmos as mudanças ocorridas nos meios, analisarmos seus impactos e traçarmos um cenário futuro em relação à utilização das tecnologias da informação e comunicação no ambiente organizacional interno. Os resultados de nossa pesquisa demonstraram que a comunicação interna organizacional deverá ser intensamente mediada por computador, mas não se limitará a ele, justamente pela realidade e condição cultural de cada organização, um mix comunicacional (com veículos tradicionais e virtuais) deverá ser a condição mais lógica para uma comunicação eficiente, uma vez que abrange todo o tipo de público e formato de mensagens.

REFLEXOS INDIVIDUAIS DO USO PESSOAL E EXCESSIVO DE COMUNICADORES INSTANTÂNEOS NO AMBIENTE DE TRABALHO

A Internet está inserida no cotidiano do indivíduo, e torna-se cada vez mais acessível por meio de diferentes tipos de dispositivos. Com isto, diversos estudos foram realizados com o intuito de avaliar os reflexos do seu uso excessivo na vida pessoal, acadêmica e profissional. Esta dissertação buscou identificar se a perda de concentração e o isolamento social são alguns dos reflexos individuais que o uso pessoal e excessivo de aplicativos de comunicação instantânea podem resultar no ambiente de trabalho. Entre as variáveis selecionadas para avaliar os aspectos do uso excessivo de comunicadores instantâneos tem-se a distração digital, o controle reduzido de impulso, o conforto social e a solidão. Através de uma abordagem de investigação quantitativa, utilizaram-se escalas aplicadas a uma amostra de 283 pessoas. Os dados foram analisados por meio de técnicas estatísticas multivariadas como a Análise Fatorial Exploratória e para auferir a relação entre as variáveis, a Regressão Linear Múltipla. Os resultados deste estudo confirmam que o uso excessivo de comunicadores instantâneos está positivamente relacionado com a perda de concentração, e a variável distração digital exerce uma influência maior do que o controle reduzido de impulso. De acordo com os resultados, não se podem afirmar que a solidão e o conforto social exercem relações com aumento do isolamento social, devido à ausência do relacionamento entre os construtos.

O PAPEL DA COMUNICAÇÃO FACE A FACE NAS ORGANIZAÇÕES NO CONTEXTO DA SOCIEDADE MIDIATIZADA

Este estudo trata da comunicação face a face nas organizações sob diferentes abordagens teóricas. Considera a perspectiva da simultaneidade dos meios, já que as empresas utilizam diversos canais para dialogar com seus públicos de interesse. Leva em conta o fenômeno da midiatização, que reestrutura o modo como as pessoas se relacionam na sociedade contemporânea. O objetivo geral da pesquisa é sistematizar papeis potencialmente exercidos pela interação face a face e conhecer algumas circunstâncias que envolvem sua prática nas organizações. Por se tratar de uma tese teórica, a pesquisa bibliográfica se apresenta como um dos principais procedimentos metodológicos; análises de casos empíricos e um estudo de caso desenvolvido na Embrapa Pantanal constituem situações ilustrativas. Conclui-se que a comunicação face a face nas empresas ocorre de forma simultânea e combinada a outros canais de comunicação, porém, ela proporciona resultados práticos e filosóficos ainda pouco explorados. É rara a utilização estratégica de contatos presenciais como mecanismo para estabelecer relacionamentos, conhecer as reações alheias e ajustar a comunicação, aliar o discurso corporativo às práticas empresariais e avaliar o contexto onde se desenvolvem as interações, o que pode ser decisivo para a comunicação organizacional.

Communication between noncontacting macromolecules

We present a quantitative experimental demonstration of solvent-mediated communication between noncontacting biopolymers. We show that changes in the activity of a solvent component brought about by a conformational change in one biopolymer can result in changes in the physical properties of a second noncontacting biopolymer present in solution. Specifically, we show that the release of protons on denaturation of a donor polymer (in this case, a four-stranded DNA tetraplex, iDNA) modulates the melting temperature of a noncontacting, acceptor polymer [in this case poly(A)]. In addition to such proton-mediated cross talk, we also demonstrate counterion-mediated cross talk between noncontacting biopolymers. Specifically, we show that counterion association/release on denaturation of native salmon sperm DNA (the donor polymer) can modulate the melting temperature of poly(dA)⋅poly(dT) (the acceptor polymer). Taken together, these two examples demonstrate how poly(A) and poly(dA)⋅poly(dT) can serve as molecular probes that report the pH and free salt concentrations in solution, respectively. Further, we demonstrate how such through-solvent dialogue between biopolymers that do not directly interact can be used to evaluate (in a model-free manner) association/dissociation reactions of solvent components (e.g., protons, sodium cations) with one of the two biopolymers. We propose that such through-solution dialogue is a general property of all biopolymers. As a result, such solvent-mediated cross talk should be considered when assessing reactions of multicomponent systems such as those that exist in essentially all biological processes.

A COMUNICAÇÃO ORGANIZACIONAL INTERNA E O AMBIENTE VIRTUAL: NOVAS TENDÊNCIAS

Esta tese trata do impacto nas Comunicações Internas das Organizações em relação à virtualidade e teve como objetivo descrever e analisar as mudanças ocorridas na comunicação interna das organizações privadas com o advento das tecnologias. Para atingir nosso objetivo fizemos uso da pesquisa bibliográfica, partindo do exame das teorias comunicacionais disponíveis e dos recursos técnicos inerentes à comunicação e às tecnologias da informação aplicadas à organização. Estabelecemos a convergência em relação às tendências e efeitos que poderão ser observados, por meio de um diálogo com especialistas da área Comunicacional através de um estudo qualitativo, onde fizemos uso da metodologia do Painel Delphi com o intuito de descrevermos e analisarmos as mudanças ocorridas nos meios, analisarmos seus impactos e traçarmos um cenário futuro em relação à utilização das tecnologias da informação e comunicação no ambiente organizacional interno. Os resultados de nossa pesquisa demonstraram que a comunicação interna organizacional deverá ser intensamente mediada por computador, mas não se limitará a ele, justamente pela realidade e condição cultural de cada organização, um mix comunicacional (com veículos tradicionais e virtuais) deverá ser a condição mais lógica para uma comunicação eficiente, uma vez que abrange todo o tipo de público e formato de mensagens.(AU)

A COMUNICAÇÃO ORGANIZACIONAL INTERNA E O AMBIENTE VIRTUAL: NOVAS TENDÊNCIAS

Esta tese trata do impacto nas Comunicações Internas das Organizações em relação à virtualidade e teve como objetivo descrever e analisar as mudanças ocorridas na comunicação interna das organizações privadas com o advento das tecnologias. Para atingir nosso objetivo fizemos uso da pesquisa bibliográfica, partindo do exame das teorias comunicacionais disponíveis e dos recursos técnicos inerentes à comunicação e às tecnologias da informação aplicadas à organização. Estabelecemos a convergência em relação às tendências e efeitos que poderão ser observados, por meio de um diálogo com especialistas da área Comunicacional através de um estudo qualitativo, onde fizemos uso da metodologia do Painel Delphi com o intuito de descrevermos e analisarmos as mudanças ocorridas nos meios, analisarmos seus impactos e traçarmos um cenário futuro em relação à utilização das tecnologias da informação e comunicação no ambiente organizacional interno. Os resultados de nossa pesquisa demonstraram que a comunicação interna organizacional deverá ser intensamente mediada por computador, mas não se limitará a ele, justamente pela realidade e condição cultural de cada organização, um mix comunicacional (com veículos tradicionais e virtuais) deverá ser a condição mais lógica para uma comunicação eficiente, uma vez que abrange todo o tipo de público e formato de mensagens.

Relational work in synchronous text-based CMC of virtual teams

Based on close examinations of instant message (IM) interactions, this chapter argues that an interactional sociolinguistic approach to computer-mediated language use could provide explanations for phenomena that previously could not be accounted for in computer-mediated discourse analysis (CMDA). Drawing on the theoretical framework of relational work (Locher, 2006), the analysis focuses on non-task oriented talk and its function in forming and establishing communication norms in the team, as well as micro-level phenomena, such as hesitation, backchannel signals and emoticons. The conclusions of this preliminary research suggest that the linguistic strategies used for substituting audio-visual signals are strategically used in discursive functions and have an important role in relational work

Cyber sisters: Buddhist women’s online activism and practice

While the churches are emptying, other virtual religious places as the religious websites seem to be filling up. The researcher focusing on religion and internet or digital religion as an object of study must seek answers to a number of questions. Is computer-mediated religious communication a particular communication process whose object is what we conventionally call religion? Or is it a modern, independent form of religious expressiveness that finds its new-born status in the web and its particular language? To examine the questions above, and others, the book collects more empirical data, claiming that the Internet will have a specific or novel impact on how religious traditions are interpreted. The blurring of previous boundaries (offline/online, virtual/local, illegitimate/legitimate religion) is another theme common to all the contributions in this volume.

Virtual reality or virtually real : blended teaching and learning in a Master's level research methods class

This paper examines the enabling effect of using blended learning and synchronous internet mediated communication technologies to improve learning and develop a Sense of Community (SOC) in a group of post-graduate students consisting of a mix of on-campus and off-campus students. Both quantitative and qualitative data collected over a number of years supports the assertion that the blended learning environment enhanced both teaching and learning. The development of a SOC was pivotal to the success of the blended approach when working with geographically isolated groups within a single learning environment.

Towards a model for the analysis and description of mathematical knowledge and understanding

Mathematics education literature has called for an abandonment of ontological and epistemological ideologies that have often divided theory-based practice. Instead, a consilience of theories has been sought which would leverage the strengths of each learning theory and so positively impact upon contemporary educational practice. This research activity is based upon Popper’s notion of three knowledge worlds which differentiates the knowledge shared in a community from the personal knowledge of the individual, and Bereiter’s characterisation of understanding as the individual’s relationship to tool-like knowledge. Using these notions, a re-conceptualisation of knowledge and understanding and a subsequent re-consideration of learning theories are proposed as a way to address the challenge set by literature. Referred to as the alternative theoretical framework, the proposed theory accounts for the scaffolded transformation of each individual’s unique understanding, whilst acknowledging the existence of a body of domain knowledge shared amongst participants in a scientific community of practice. The alternative theoretical framework is embodied within an operational model that is accompanied by a visual nomenclature with which to describe consensually developed shared knowledge and personal understanding. This research activity has sought to iteratively evaluate this proposed theory through the practical application of the operational model and visual nomenclature to the domain of early-number counting, addition and subtraction. This domain of mathematical knowledge has been comprehensively analysed and described. Through this process, the viability of the proposed theory as a tool with which to discuss and thus improve the knowledge and understanding with the domain of mathematics has been validated. Putting of the proposed theory into practice has lead to the theory’s refinement and the subsequent achievement of a solid theoretical base for the future development of educational tools to support teaching and learning practice, including computer-mediated learning environments. Such future activity, using the proposed theory, will advance contemporary mathematics educational practice by bringing together the strengths of cognitivist, constructivist and post-constructivist learning theories.

Objectifying early-number : a visual nomenclature to express mathematical domain knowledge

To address issues of divisive ideologies in the Mathematics Education community and to subsequently advance educational practice, an alternative theoretical framework and operational model is proposed which represents a consilience of constructivist learning theories whilst acknowledging the objective but improvable nature of domain knowledge. Based upon Popper’s three-world model of knowledge, the proposed theory supports the differentiation and explicit modelling of both shared domain knowledge and idiosyncratic personal understanding using a visual nomenclature. The visual nomenclature embodies Piaget’s notion of reflective abstraction and so may support an individual’s experience-based transformation of personal understanding with regards to shared domain knowledge. Using the operational model and visual nomenclature, seminal literature regarding early-number counting and addition was analysed and described. Exemplars of the resultant visual artefacts demonstrate the proposed theory’s viability as a tool with which to characterise the reflective abstraction-based organisation of a domain’s shared knowledge. Utilising such a description of knowledge, future research needs to consider the refinement of the operational model and visual nomenclature to include the analysis, description and scaffolded transformation of personal understanding. A detailed model of knowledge and understanding may then underpin the future development of educational software tools such as computer-mediated teaching and learning environments.