User Experience in Human-Technology Interaction. Communication, context and evaluation methodology

En esta Tesis se presentan dos líneas de investigación relacionadas y que contribuyen a las áreas de Interacción Hombre-Tecnología (o Máquina; siglas en inglés: HTI o HMI), lingüística computacional y evaluación de la experiencia del usuario. Las dos líneas en cuestión son el diseño y la evaluación centrada en el usuario de sistemas de Interacción Hombre-Máquina avanzados. En la primera parte de la Tesis (Capítulos 2 a 4) se abordan cuestiones fundamentales del diseño de sistemas HMI avanzados. El Capítulo 2 presenta una panorámica del estado del arte de la investigación en el ámbito de los sistemas conversacionales multimodales, con la que se enmarca el trabajo de investigación presentado en el resto de la Tesis. Los Capítulos 3 y 4 se centran en dos grandes aspectos del diseño de sistemas HMI: un gestor del diálogo generalizado para tratar la Interacción Hombre-Máquina multimodal y sensible al contexto, y el uso de agentes animados personificados (ECAs) para mejorar la robustez del diálogo, respectivamente. El Capítulo 3, sobre gestión del diálogo, aborda el tratamiento de la heterogeneidad de la información proveniente de las modalidades comunicativas y de los sensores externos. En este capítulo se propone, en un nivel de abstracción alto, una arquitectura para la gestión del diálogo con influjos heterogéneos de información, apoyándose en el uso de State Chart XML. En el Capítulo 4 se presenta una contribución a la representación interna de intenciones comunicativas, y su traducción a secuencias de gestos a ejecutar por parte de un ECA, diseñados específicamente para mejorar la robustez en situaciones de diálogo críticas que pueden surgir, por ejemplo, cuando se producen errores de entendimiento en la comunicación entre el usuario humano y la máquina. Se propone, en estas páginas, una extensión del Functional Mark-up Language definido en el marco conceptual SAIBA. Esta extensión permite representar actos comunicativos que realizan intenciones del emisor (la máquina) que no se pretende sean captadas conscientemente por el receptor (el usuario humano), pero con las que se pretende influirle a éste e influir el curso del diálogo. Esto se consigue mediante un objeto llamado Base de Intenciones Comunicativas (en inglés, Communication Intention Base, o CIB). La representación en el CIB de intenciones “no claradas” además de las explícitas permite la construcción de actos comunicativos que realizan simultáneamente varias intenciones comunicativas. En el Capítulo 4 también se describe un sistema experimental para el control remoto (simulado) de un asistente domótico, con autenticación de locutor para dar acceso, y con un ECA en el interfaz de cada una de estas tareas. Se incluye una descripción de las secuencias de comportamiento verbal y no verbal de los ECAs, que fueron diseñados específicamente para determinadas situaciones con objeto de mejorar la robustez del diálogo. Los Capítulos 5 a 7 conforman la parte de la Tesis dedicada a la evaluación. El Capítulo 5 repasa antecedentes relevantes en la literatura de tecnologías de la información en general, y de sistemas de interacción hablada en particular. Los principales antecedentes en el ámbito de la evaluación de la interacción sobre los cuales se ha desarrollado el trabajo presentado en esta Tesis son el Technology Acceptance Model (TAM), la herramienta Subjective Assessment of Speech System Interfaces (SASSI), y la Recomendación P.851 de la ITU-T. En el Capítulo 6 se describen un marco y una metodología de evaluación aplicados a la experiencia del usuario con sistemas HMI multimodales. Se desarrolló con este propósito un novedoso marco de evaluación subjetiva de la calidad de la experiencia del usuario y su relación con la aceptación por parte del mismo de la tecnología HMI (el nombre dado en inglés a este marco es Subjective Quality Evaluation Framework). En este marco se articula una estructura de clases de factores subjetivos relacionados con la satisfacción y aceptación por parte del usuario de la tecnología HMI propuesta. Esta estructura, tal y como se propone en la presente tesis, tiene dos dimensiones ortogonales. Primero se identifican tres grandes clases de parámetros relacionados con la aceptación por parte del usuario: “agradabilidad ” (likeability: aquellos que tienen que ver con la experiencia de uso, sin entrar en valoraciones de utilidad), rechazo (los cuales sólo pueden tener una valencia negativa) y percepción de utilidad. En segundo lugar, este conjunto clases se reproduce para distintos “niveles, o focos, percepción del usuario”. Éstos incluyen, como mínimo, un nivel de valoración global del sistema, niveles correspondientes a las tareas a realizar y objetivos a alcanzar, y un nivel de interfaz (en los casos propuestos en esta tesis, el interfaz es un sistema de diálogo con o sin un ECA). En el Capítulo 7 se presenta una evaluación empírica del sistema descrito en el Capítulo 4. El estudio se apoya en los mencionados antecedentes en la literatura, ampliados con parámetros para el estudio específico de los agentes animados (los ECAs), la auto-evaluación de las emociones de los usuarios, así como determinados factores de rechazo (concretamente, la preocupación por la privacidad y la seguridad). También se evalúa el marco de evaluación subjetiva de la calidad propuesto en el capítulo anterior. Los análisis de factores efectuados revelan una estructura de parámetros muy cercana conceptualmente a la división de clases en utilidad-agradabilidad-rechazo propuesta en dicho marco, resultado que da cierta validez empírica al marco. Análisis basados en regresiones lineales revelan estructuras de dependencias e interrelación entre los parámetros subjetivos y objetivos considerados. El efecto central de mediación, descrito en el Technology Acceptance Model, de la utilidad percibida sobre la relación de dependencia entre la intención de uso y la facilidad de uso percibida, se confirma en el estudio presentado en la presente Tesis. Además, se ha encontrado que esta estructura de relaciones se fortalece, en el estudio concreto presentado en estas páginas, si las variables consideradas se generalizan para cubrir más ampliamente las categorías de agradabilidad y utilidad contempladas en el marco de evaluación subjetiva de calidad. Se ha observado, asimismo, que los factores de rechazo aparecen como un componente propio en los análisis de factores, y además se distinguen por su comportamiento: moderan la relación entre la intención de uso (que es el principal indicador de la aceptación del usuario) y su predictor más fuerte, la utilidad percibida. Se presentan también resultados de menor importancia referentes a los efectos de los ECAs sobre los interfaces de los sistemas de diálogo y sobre los parámetros de percepción y las valoraciones de los usuarios que juegan un papel en conformar su aceptación de la tecnología. A pesar de que se observa un rendimiento de la interacción dialogada ligeramente mejor con ECAs, las opiniones subjetivas son muy similares entre los dos grupos experimentales (uno interactuando con un sistema de diálogo con ECA, y el otro sin ECA). Entre las pequeñas diferencias encontradas entre los dos grupos destacan las siguientes: en el grupo experimental sin ECA (es decir, con interfaz sólo de voz) se observó un efecto más directo de los problemas de diálogo (por ejemplo, errores de reconocimiento) sobre la percepción de robustez, mientras que el grupo con ECA tuvo una respuesta emocional más positiva cuando se producían problemas. Los ECAs parecen generar inicialmente expectativas más elevadas en cuanto a las capacidades del sistema, y los usuarios de este grupo se declaran más seguros de sí mismos en su interacción. Por último, se observan algunos indicios de efectos sociales de los ECAs: la “amigabilidad ” percibida los ECAs estaba correlada con un incremento la preocupación por la seguridad. Asimismo, los usuarios del sistema con ECAs tendían más a culparse a sí mismos, en lugar de culpar al sistema, de los problemas de diálogo que pudieran surgir, mientras que se observó una ligera tendencia opuesta en el caso de los usuarios del sistema con interacción sólo de voz. ABSTRACT This Thesis presents two related lines of research work contributing to the general fields of Human-Technology (or Machine) Interaction (HTI, or HMI), computational linguistics, and user experience evaluation. These two lines are the design and user-focused evaluation of advanced Human-Machine (or Technology) Interaction systems. The first part of the Thesis (Chapters 2 to 4) is centred on advanced HMI system design. Chapter 2 provides a background overview of the state of research in multimodal conversational systems. This sets the stage for the research work presented in the rest of the Thesis. Chapers 3 and 4 focus on two major aspects of HMI design in detail: a generalised dialogue manager for context-aware multimodal HMI, and embodied conversational agents (ECAs, or animated agents) to improve dialogue robustness, respectively. Chapter 3, on dialogue management, deals with how to handle information heterogeneity, both from the communication modalities or from external sensors. A highly abstracted architectural contribution based on State Chart XML is proposed. Chapter 4 presents a contribution for the internal representation of communication intentions and their translation into gestural sequences for an ECA, especially designed to improve robustness in critical dialogue situations such as when miscommunication occurs. We propose an extension of the functionality of Functional Mark-up Language, as envisaged in much of the work in the SAIBA framework. Our extension allows the representation of communication acts that carry intentions that are not for the interlocutor to know of, but which are made to influence him or her as well as the flow of the dialogue itself. This is achieved through a design element we have called the Communication Intention Base. Such r pr s ntation of “non- clar ” int ntions allows th construction of communication acts that carry several communication intentions simultaneously. Also in Chapter 4, an experimental system is described which allows (simulated) remote control to a home automation assistant, with biometric (speaker) authentication to grant access, featuring embodied conversation agents for each of the tasks. The discussion includes a description of the behavioural sequences for the ECAs, which were designed for specific dialogue situations with particular attention given to the objective of improving dialogue robustness. Chapters 5 to 7 form the evaluation part of the Thesis. Chapter 5 reviews evaluation approaches in the literature for information technologies, as well as in particular for speech-based interaction systems, that are useful precedents to the contributions of the present Thesis. The main evaluation precedents on which the work in this Thesis has built are the Technology Acceptance Model (TAM), the Subjective Assessment of Speech System Interfaces (SASSI) tool, and ITU-T Recommendation P.851. Chapter 6 presents the author’s work in establishing an valuation framework and methodology applied to the users’ experience with multimodal HMI systems. A novel user-acceptance Subjective Quality Evaluation Framework was developed by the author specifically for this purpose. A class structure arises from two orthogonal sets of dimensions. First we identify three broad classes of parameters related with user acceptance: likeability factors (those that have to do with the experience of using the system), rejection factors (which can only have a negative valence) and perception of usefulness. Secondly, the class structure is further broken down into several “user perception levels”; at the very least: an overall system-assessment level, task and goal-related levels, and an interface level (e.g., a dialogue system with or without an ECA). An empirical evaluation of the system described in Chapter 4 is presented in Chapter 7. The study was based on the abovementioned precedents in the literature, expanded with categories covering the inclusion of an ECA, the users’ s lf-assessed emotions, and particular rejection factors (privacy and security concerns). The Subjective Quality Evaluation Framework proposed in the previous chapter was also scrutinised. Factor analyses revealed an item structure very much related conceptually to the usefulness-likeability-rejection class division introduced above, thus giving it some empirical weight. Regression-based analysis revealed structures of dependencies, paths of interrelations, between the subjective and objective parameters considered. The central mediation effect, in the Technology Acceptance Model, of perceived usefulness on the dependency relationship of intention-to-use with perceived ease of use was confirmed in this study. Furthermore, the pattern of relationships was stronger for variables covering more broadly the likeability and usefulness categories in the Subjective Quality Evaluation Framework. Rejection factors were found to have a distinct presence as components in factor analyses, as well as distinct behaviour: they were found to moderate the relationship between intention-to-use (the main measure of user acceptance) and its strongest predictor, perceived usefulness. Insights of secondary importance are also given regarding the effect of ECAs on the interface of spoken dialogue systems and the dimensions of user perception and judgement attitude that may have a role in determining user acceptance of the technology. Despite observing slightly better performance values in the case of the system with the ECA, subjective opinions regarding both systems were, overall, very similar. Minor differences between two experimental groups (one interacting with an ECA, the other only through speech) include a more direct effect of dialogue problems (e.g., non-understandings) on perceived dialogue robustness for the voice-only interface test group, and a more positive emotional response for the ECA test group. Our findings further suggest that the ECA generates higher initial expectations, and users seem slightly more confident in their interaction with the ECA than do those without it. Finally, mild evidence of social effects of ECAs was also found: the perceived friendliness of the ECA increased security concerns, and ECA users may tend to blame themselves rather than the system when dialogue problems are encountered, while the opposite may be true for voice-only users.

Sensing Aeropolis. Urban air monitoring devices in Madrid, 2006-2010

Esta tesis examina las implicaciones técnicas, políticas y espaciales del aire urbano, y en concreto, de la calidad del aire, para tenerlo en cuenta desde una perspectiva arquitectónica. En oposición a formas de entender el aire como un vacío o como una metáfora, este proyecto propone abordarlo desde un acercamiento material y tecnológico, trayendo el entorno al primer plano y reconociendo sus múltiples agencias. Debido a la escasa bibliografía detectada en el campo de la arquitectura, el objetivo es construir un marco teórico-analítico para considerar el aire urbano. Para ello el trabajo construye Aeropolis, una metáfora heurística que describe el ensamblaje sociotecnico de la ciudad. Situada en la intersección de determinadas ramas de la filosofía de la cultura, los estudios sobre ciencia y tecnología y estudios feministas de la ciencia este nuevo paisaje conceptual ofrece una metodología y herramientas para abordar el objeto de estudio desde distintos ángulos. Estas herramientas metodológicas han sido desarrolladas en el contexto específico de Madrid, ciudad muy contaminada cuyo aire ha sido objeto de controversias políticas y sociales, y donde las políticas y tecnologías para reducir sus niveles no han sido exitosas. Para encontrar una implicación alternativa con el aire esta tesis propone un método de investigación de agentes invisibles a partir del análisis de sus dispositivos epistémicos. Se centra, en concreto, en los instrumentos que miden, visualizan y comunican la calidad del aire, proponiendo que no sólo lo representan, sino que son también instrumentos que diseñan el aire y la ciudad. La noción de “sensing” (en castellano medir y sentir) es expandida, reconociendo distintas prácticas que reconstruyen el aire de Madrid. El resultado de esta estrategia no es sólo la ampliación de los espacios desde los que relacionarnos con el aire, sino también la legitimación de prácticas existentes fuera de contextos científicos y administrativos, como por ejemplo prácticas relacionadas con el cuerpo, así como la redistribución de agencias entre más actores. Así, esta tesis trata sobre toxicidad, la Unión Europea, producción colaborativa, modelos de computación, dolores de cabeza, kits DIY, gases, cuerpos humanos, salas de control, sangre o políticos, entre otros. Los dispositivos que sirven de datos empíricos sirven como un ejemplo excepcional para investigar infraestructuras digitales, permitiendo desafiar nociones sobre Ciudades Inteligentes. La tesis pone especial atención en los efectos del aire en el espacio público, reconociendo los procesos de invisibilización que han sufrido sus infraestructuras de monitorización. Para terminar se exponen líneas de trabajo y oportunidades para la arquitectura y el diseño urbano a través de nuevas relaciones entre infraestructuras urbanas, el medio construido, espacios domésticos y públicos y humanos y no humanos, para crear nuevas ecologías políticas urbanas (queer). ABSTRACT This thesis examines the technical, political and spatial implications of urban air, and more specifically "air quality", in order to consider it from an architectural perspective. In opposition to understandings of the air either as a void or as a metaphor, this project proposes to inspect it from a material and technical approach, bringing the background to the fore and acknowledging its multiple agencies. Due to the scarce bibliography within the architectural field, its first aim is to construct a theoretical and analytical framework from which to consider urban air. For this purpose, the work attempts the construction of Aeropolis, a heuristic metaphor that describes the city's aero socio-material assemblage. Located at the intersection of certain currents in cultural philosophy, science and technology studies as well as feminist studies in technoscience, this framework enables a methodology and toolset to be extracted in order to approach the subject matter from different angles. The methodological tools stemming from this purpose-built framework were put to the test in a specific case study: Madrid, a highly polluted city whose air has been subject to political and social controversies, and where no effective policies or technologies have been successful in reducing its levels of pollution. In order to engage with the air, the thesis suggests a method for researching invisible agents by examining the epistemic devices involved. It locates and focuses on the instruments that sense, visualise and communicate urban air, claiming that they do not only represent it, but are also instruments that design the air and the city. The notion of "sensing" is then expanded by recognising different practices which enact the air in Madrid. The work claims that the result of this is not only the opening up of spaces for engagement but also the legitimisation of existing practices outside science and policymaking environments, such as embodied practices, as well as the redistribution of agency among more actors. So this is a thesis about toxicity, the European Union, collaborative production, scientific computational models, headaches, DIY kits, gases, human bodies, control rooms, blood, or politicians, among many others. The devices found throughout the work serve as an exceptional substrate for an investigation of digital infrastructures, enabling to challenge Smart City tropes. There is special attention paid to the effects of the air on the public space, acknowledging the silencing processes these infrastructures have been subjected to. Finally there is an outline of the opportunities arising for architecture and urban design when taking the air into account, to create new (queer) urban political ecologies between the air, urban infrastructures, the built environment, public and domestic spaces, and humans and more than humans.

Road to 1966 : caminos hacia "complejidad y contradicción en la arquitectura", en la cultura arquitectónica de la segunda posguerra en EE.UU

Complejidad y contradicción en la arquitectura ha resultado ser una de las referencias capitales más aludidas, citadas y reproducidas de la literatura arquitectónica de los tiempos recientes. No en vano, en la introducción de la propia obra, Vincent Scully afirmó que «probablemente es el texto más importante sobre arquitectura desde ‘Vers une Architecture’, escrito por Le Corbusier en 1923». Sin embargo, sus fuentes parece que están inexploradas o, al menos, no examinadas. Por ello, Road to 1966 se plantea como un trabajo de investigación con tres objetivos de partida fundamentales: (1) el interés en estudiar el debate arquitectónico candente, creado con las fricciones surgidas entre los protagonistas de unos años que cambiaron el estado de lo que se consideraba una obra legítima en arquitectura; (2) se pretende ampliar la cronología del desarrollo intelectual de un texto, el de Venturi, que marcó la segunda mitad del siglo xx, de manera retroactiva hasta los años de la II Guerra Mundial, cuando parece que empezaban a ser coherentes y reconocibles unas nuevas posiciones desde las que aproximarse a las cuestiones de la práctica, la teoría y la historia de la arquitectura; (3) poder ofrecer una nueva interpretación de dicho texto de Venturi, entendido no como el origen primigenio de parte de las grandes transformaciones de la arquitectura reciente (de los últimos cincuenta años), sino como el resultado necesario de esa cronología intelectual previa. La arquitectura norteamericana de estos años de posguerra ha resultado ser crucial en su posterior desarrollo, y, especialmente, en relación al libro de Venturi. De hecho, Scully en la introducción de la edición original de Complejidad y contradicción, señalaba que «el principal argumento del libro está expuesto a finales de los cincuenta». Que la arquitectura del siglo xx tiene en la Norteamérica de los años sesenta -cuando se consolida la figura de Venturi- uno de sus capítulos más decisivos, frecuentemente asumido como el paso siguiente a la importada modernidad heroica europea, hoy parece no ser discutido por casi nadie. Ahora bien: ¿qué ocurre con los años intermedios? ¿Qué acontece entre el final de la II Guerra Mundial y esos años sesenta? La posible carencia de una postura dominante y clara quizás haya sumido esta etapa en un cierto olvido o descuido por parte de historiadores y críticos. Así, este trabajo se estructura alrededor del papel que ocupa el texto venturiano, sin ser éste su único protagonista. Tomado más bien como excusa, la tesis va profundizando de manera deductiva en el conjunto de circunstancias que pudieron llevar a su autor hacia las conclusiones que desarrolló, detectando los ambientes biográficos y formativos, pensamientos compartidos e influencias epistemológicas y profesionales mutuas, que justificarían una novedosa interpretación de dicho texto como el corolario necesario de un panorama de crisis y cambios - éste sí protagonista en este trabajo-, al contrario de cómo habitualmente se ha venido entendiendo dicha obra. La investigación se centra predominantemente en el rastreo de las fuentes citadas por el propio Venturi en su libro, así como de los textos de mayor difusión (generalmente revistas profesionales no exclusivamente académicas, además de libros, catálogos de exposiciones, actas de simposios…), y no tanto en las obras construidas o proyectadas; sí, quizás, en los términos en los que dichas obras fueron publicadas, comentadas o reseñadas. Así, se ha adoptado una aproximación concebida sub specie bibliotecae, donde se han aplicado unos métodos de trabajo caracterizados por su componente cronológica, y, después, analítico-comparativa: dicho de otro modo, un método historiográfico-periodístico capaz de relacionar las historias o cursos de ciertas ideas o nociones, dentro de un contexto general más amplio en sus derivadas arquitectónicas, estéticas, socio-generacionales, culturales, filosóficas, científicas, políticas, literarias… Con ello, se pretende establecer una relectura del primer libro de Venturi y sus años de gestación desde unas nuevas concepciones, más modernas que postmodern(ist)as, proponiendo una posible evolución en la arquitectura más reciente cuyas raíces, a fin de cuentas, tendrían su origen en la Norteamérica de 1946 a 1966. ABSTRACT Complexity and Contradiction in Architecture has proved to be one of the capital, alluded references cited and reproduced in the architectural literature of the recent times. Not surprisingly, in the Introduction to the book, Vincent Scully wrote that "yet it is probably the most important writing on the making of architecture since Le Corbusier´s ‘Vers une Architecture’, of 1923". However, its sources seem to be unexplored or at least not examined. Therefore, Road to 1966 is presented as a research with three fundamental starting objectives: (1) first, the interest in studying the burning architectural debate, created within the arising frictions among the protagonists of the years that changed the status of what was considered a legitimate work in architecture; (2) second, it seeks to extend the chronology of the intellectual background of the book written by Venturi, which marked the second half of the twentieth century, in a retroactive manner to the years of the World War II, when it seems that some new positions from which to approach the issues of practice, theory and history of architecture began to be consistent and recognizable; (3) lastly, to offer a new interpretation of Venturi’s text, now understood not as the primal source of the great transformations of the recent architecture (of the last fifty years), but as the necessary result of that background intellectual chronology. The American architecture of these post-war years has proved to be crucial in its later stages, and especially in relation to the book of Robert Venturi. In fact, Scully in the Introduction to the first edition of Complexity and Contradiction, noted that "the major argument of this book was laid out in the late fifties". The fact that the architecture of the twentieth century –when the leading figure of Venturi was consolidated- has in the North America of the sixties one of its most decisive chapters, (often assumed as the next step to the imported European heroic modernism) today seems to be discussed by almost anyone. Now, what about the intervening years? What happens between the end of the World War II and the sixties? The potential lack of a clear dominant position of this stage may have plunged it into oblivion or oversight by historians and critics. Thus, this research is structured around the role that occupies Venturi’s work, whereas this is not its only subject. Rather taken as an excuse, the thesis deepens deductively in the set of circumstances that could lead its author to the conclusions he developed in 1966, detecting biographical and academic environments, shared thoughts and epistemological and mutual professional influences, that would justify a new interpretation of this book as a necessary corollary of an outlook of crisis and change (this major and center subject in this dissertation), contrary to what has been commonly understood upon this work. The research focuses predominantly on tracing the sources cited by Venturi himself in his book, as well as other texts of wider dissemination and outreach (usually professional journals not exclusively academic, as well as books, catalogs of exhibitions, symposia proceedings...), and not so much in the buildings or unbuilt projects; but also, perhaps, it is focused in the terms in which these works were published, commented or reviewed. Hence an approach conceived sub specie bibliotecae has been adopted, with working methods characterized by their chronological component, and then the analytical-comparative one: in other words, a historiographicaljournalistic method able to relate stories or courses of certain ideas or notions, within a broader general context in its architectural, aesthetic, sociological-generational, cultural, philosophical, scientific, political, literary... sides. This approach intends to establish a re-reading of Venturi’s first book and its years of gestation, from some new understandings, more modern than postmodern(ist), proposing a possible evolution of the latest architecture whose roots, after all, would have their origin in the North America of 1946-1966.