Evaluating interaction with websites: Case study of a government website of the Brazilian Ministry of labor and employment

This paper presents a usability evaluation of the MTE (Ministry of Labor e Employment) website in order to measure the effectiveness, efficiency and user satisfaction regarding the website. The participants were 12 users (07 users were female and 05 male). The results indicate that although the education level of all participants and computing experience, many of them have had difficulty in finding information and do not recommend the site. © 2013 Springer-Verlag Berlin Heidelberg.

Usabilidade na web: o usuário como agente-facilitador no desenvolvimento de interfaces de home pages

Pós-graduação em Design - FAAC

Desenvolvimento de um sistema computacional para monitoramento de parâmetros físicos na área de irrigação, com base na plataforma labVIEW

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Innovative Man Machine Interfaces In Aeronautics

The research activity focused on the study, design and evaluation of innovative human-machine interfaces based on virtual three-dimensional environments. It is based on the brain electrical activities recorded in real time through the electrical impulses emitted by the brain waves of the user. The achieved target is to identify and sort in real time the different brain states and adapt the interface and/or stimuli to the corresponding emotional state of the user. The setup of an experimental facility based on an innovative experimental methodology for “man in the loop" simulation was established. It allowed involving during pilot training in virtually simulated flights, both pilot and flight examiner, in order to compare the subjective evaluations of this latter to the objective measurements of the brain activity of the pilot. This was done recording all the relevant information versus a time-line. Different combinations of emotional intensities obtained, led to an evaluation of the current situational awareness of the user. These results have a great implication in the current training methodology of the pilots, and its use could be extended as a tool that can improve the evaluation of a pilot/crew performance in interacting with the aircraft when performing tasks and procedures, especially in critical situations. This research also resulted in the design of an interface that adapts the control of the machine to the situation awareness of the user. The new concept worked on, aimed at improving the efficiency between a user and the interface, and gaining capacity by reducing the user’s workload and hence improving the system overall safety. This innovative research combining emotions measured through electroencephalography resulted in a human-machine interface that would have three aeronautical related applications: • An evaluation tool during the pilot training; • An input for cockpit environment; • An adaptation tool of the cockpit automation.

Driver Safety in Far-side and Far-oblique Crashes: A Study of Patrol Vehicles in the United States of America

The dissertation titled "Driver Safety in Far-side and Far-oblique Crashes" presents a novel approach to assessing vehicle cockpit safety by integrating Human Factors and Applied Mechanics. The methodology of this approach is aimed at improving safety in compact mobile workspaces such as patrol vehicle cockpits. A statistical analysis performed using Michigan state's traffic crash data to assess various contributing factors that affect the risk of severe driver injuries showed that the risk was greater for unrestrained drivers (OR=3.38, p<0.0001) and for incidents involving front and far-side crashes without seatbelts (OR=8.0 and 23.0 respectively, p<0.005). Statistics also showed that near-side and far-side crashes pose similar threat to driver injury severity. A Human Factor survey was conducted to assess various Human-Machine/Human-Computer Interaction aspects in patrol vehicle cockpits. Results showed that tasks requiring manual operation, especially the usage of laptop, would require more attention and potentially cause more distraction. A vehicle survey conducted to evaluate ergonomics-related issues revealed that some of the equipment was in airbag deployment zones. In addition, experiments were conducted to assess the effects on driver distraction caused by changing the position of in-car accessories. A driving simulator study was conducted to mimic HMI/HCI in a patrol vehicle cockpit (20 subjects, average driving experience = 5.35 years, s.d. = 1.8). It was found that the mounting locations of manual tasks did not result in a significant change in response times. Visual displays resulted in response times less than 1.5sec. It can also be concluded that the manual task was equally distracting regardless of mounting positions (average response time was 15 secs). Average speeds and lane deviations did not show any significant results. Data from 13 full-scale sled tests conducted to simulate far-side impacts at 70 PDOF and 40 PDOF was used to analyze head injuries and HIC/AIS values. It was found that accelerations generated by the vehicle deceleration alone were high enough to cause AIS 3 - AIS 6 injuries. Pretensioners could mitigated injuries only in 40 PDOF (oblique) impacts but are useless in 70 PDOF impacts. Seat belts were ineffective in protecting the driver's head from injuries. Head would come in contact with the laptop during a far-oblique (40 PDOF) crash and far-side door for an angle-type crash (70 PDOF). Finite Element analysis head-laptop impact interaction showed that the contact velocity was the most crucial factor in causing a severe (and potentially fatal) head injury. Results indicate that no equipment may be mounted in driver trajectory envelopes. A very narrow band of space is left in patrol vehicles for installation of manual-task equipment to be both safe and ergonomic. In case of a contact, the material stiffness and damping properties play a very significant role in determining the injury outcome. Future work may be done on improving the interiors' material properties to better absorb and dissipate kinetic energy of the head. The design of seat belts and pretensioners may also be seen as an essential aspect to be further improved.

Multi-Contact Grasp Interaction for Virtual Environments

The grasping of virtual objects has been an active research field for several years. Solutions providing realistic grasping rely on special hardware or require time-consuming parameterizations. Therefore, we introduce a flexible grasping algorithm enabling grasping without computational complex physics. Objects can be grasped and manipulated with multiple fingers. In addition, multiple objects can be manipulated simultaneously with our approach. Through the usage of contact sensors the technique is easily configurable and versatile enough to be used in different scenarios.

Evaluation of Binocular Eye Trackers and Algorithms for 3D Gaze Interaction in Virtual Reality Environments

Tracking user’s visual attention is a fundamental aspect in novel human-computer interaction paradigms found in Virtual Reality. For example, multimodal interfaces or dialogue-based communications with virtual and real agents greatly benefit from the analysis of the user’s visual attention as a vital source for deictic references or turn-taking signals. Current approaches to determine visual attention rely primarily on monocular eye trackers. Hence they are restricted to the interpretation of two-dimensional fixations relative to a defined area of projection. The study presented in this article compares precision, accuracy and application performance of two binocular eye tracking devices. Two algorithms are compared which derive depth information as required for visual attention-based 3D interfaces. This information is further applied to an improved VR selection task in which a binocular eye tracker and an adaptive neural network algorithm is used during the disambiguation of partly occluded objects.

Efficient Bimanual Symmetric 3D Manipulation for Bare-Handed Interaction

Recently, stable markerless 6 DOF video based handtracking devices became available. These devices simultaneously track the positions and orientations of both user hands in different postures with at least 25 frames per second. Such hand-tracking allows for using the human hands as natural input devices. However, the absence of physical buttons for performing click actions and state changes poses severe challenges in designing an efficient and easy to use 3D interface on top of such a device. In particular, for coupling and decoupling a virtual object’s movements to the user’s hand (i.e. grabbing and releasing) a solution has to be found. In this paper, we introduce a novel technique for efficient two-handed grabbing and releasing objects and intuitively manipulating them in the virtual space. This technique is integrated in a novel 3D interface for virtual manipulations. A user experiment shows the superior applicability of this new technique. Last but not least, we describe how this technique can be exploited in practice to improve interaction by integrating it with RTT DeltaGen, a professional CAD/CAS visualization and editing tool.

Humanos y máquinas : Aspectos epistemológicos de su relación en el debate humanismo-poshumanismo

En la tesis se consideran los procesos de cambio conceptual, teórico y metodológico que modelaron el desarrollo de los estudios sociales de la ciencia desde su emergencia hasta la actualidad, con el objeto de analizar los alcances y límites de las perspectivas humanistas y poshumanistas en la comprensión del vínculo "humano-no humano". Los estudios sociales de la ciencia conforman un campo marginal tanto dentro de los estudios metacientíficos como de la disciplina que les dio origen: la sociología. Si bien en las últimas décadas éstos han dado lugar a un significativo progreso en la comprensión cualitativa y cuantitativa de la ciencia y la tecnología, al responder primordialmente a la inquietud empírico-comparativa de programas de investigación de corte institucionalista han tendido a relegar de sus agendas de investigación el análisis epistemológico de los modelos explicativos considerados. En este sentido, en su afán de dar cuenta del carácter social de la ciencia apenas si han reparado en los nexos que pueden establecerse entre la explicación social de la ciencia y la explicación científica de "lo social". Con el objeto de atender a ello la tesis analiza las implicancias epistemológicas, metodológicas y ontológicas del estudio social de la ciencia considerando a la relación "humano-máquina" o "humano-no humano" como un hilo de Ariadna en la identificación de rupturas y continuidades en la consideración del vínculo "ciencia-sociedad". Desde esta perspectiva se estudia la dinámica de cambio conceptual, teórico y/o metodológico que dio lugar a la emergencia y desarrollo del estudio social de la ciencia en relación con aquella que modeló al estudio científico de "lo social", se identifican los cambios epistemológicos, ontológicos y metodológicos que configuraron a la dimensión no humana como un tópico relevante, cuando no ineludible, en la explicación social de la ciencia, se examinan las implicancias de la incorporación de los objetos naturales y/o tecnológicos a los modelos explicativos del estudio social de la ciencia en el contexto de la crítica poshumanista a las teorías de la acción que han asumido al sujeto como epicentro del análisis, y se analiza el impacto de la mencionada crítica en términos de un reordenamiento de los vínculos entre el estudio social de la ciencia y el estudio científico de "lo social". De este modo se ofrece una faceta de los estudios sociales de la ciencia inadvertida por buena parte de la literatura especializada, más atenta a la confrontación de imágenes sociológicas y filosóficas de la ciencia en el contexto de la denominada "guerra de las ciencias" que a sus implicancias epistemológicas para el estudio científico de "lo social". Enfatizando así el anclaje disciplinar del estudio social de la ciencia no se suscribe una visión "internalista" del progreso epistémico, sino que, por el contrario, se sugiere que la simultánea consideración de factores disciplinares y extra disciplinares resulta una estrategia tan fructífera como innovadora para analizar un campo que, al extender el dominio de la explicación social al ámbito de los fenómenos físico-naturales, ha dado lugar a uno de los más complejos casos de interacción disciplinar.

Humanos y máquinas : Aspectos epistemológicos de su relación en el debate humanismo-poshumanismo

En la tesis se consideran los procesos de cambio conceptual, teórico y metodológico que modelaron el desarrollo de los estudios sociales de la ciencia desde su emergencia hasta la actualidad, con el objeto de analizar los alcances y límites de las perspectivas humanistas y poshumanistas en la comprensión del vínculo "humano-no humano". Los estudios sociales de la ciencia conforman un campo marginal tanto dentro de los estudios metacientíficos como de la disciplina que les dio origen: la sociología. Si bien en las últimas décadas éstos han dado lugar a un significativo progreso en la comprensión cualitativa y cuantitativa de la ciencia y la tecnología, al responder primordialmente a la inquietud empírico-comparativa de programas de investigación de corte institucionalista han tendido a relegar de sus agendas de investigación el análisis epistemológico de los modelos explicativos considerados. En este sentido, en su afán de dar cuenta del carácter social de la ciencia apenas si han reparado en los nexos que pueden establecerse entre la explicación social de la ciencia y la explicación científica de "lo social". Con el objeto de atender a ello la tesis analiza las implicancias epistemológicas, metodológicas y ontológicas del estudio social de la ciencia considerando a la relación "humano-máquina" o "humano-no humano" como un hilo de Ariadna en la identificación de rupturas y continuidades en la consideración del vínculo "ciencia-sociedad". Desde esta perspectiva se estudia la dinámica de cambio conceptual, teórico y/o metodológico que dio lugar a la emergencia y desarrollo del estudio social de la ciencia en relación con aquella que modeló al estudio científico de "lo social", se identifican los cambios epistemológicos, ontológicos y metodológicos que configuraron a la dimensión no humana como un tópico relevante, cuando no ineludible, en la explicación social de la ciencia, se examinan las implicancias de la incorporación de los objetos naturales y/o tecnológicos a los modelos explicativos del estudio social de la ciencia en el contexto de la crítica poshumanista a las teorías de la acción que han asumido al sujeto como epicentro del análisis, y se analiza el impacto de la mencionada crítica en términos de un reordenamiento de los vínculos entre el estudio social de la ciencia y el estudio científico de "lo social". De este modo se ofrece una faceta de los estudios sociales de la ciencia inadvertida por buena parte de la literatura especializada, más atenta a la confrontación de imágenes sociológicas y filosóficas de la ciencia en el contexto de la denominada "guerra de las ciencias" que a sus implicancias epistemológicas para el estudio científico de "lo social". Enfatizando así el anclaje disciplinar del estudio social de la ciencia no se suscribe una visión "internalista" del progreso epistémico, sino que, por el contrario, se sugiere que la simultánea consideración de factores disciplinares y extra disciplinares resulta una estrategia tan fructífera como innovadora para analizar un campo que, al extender el dominio de la explicación social al ámbito de los fenómenos físico-naturales, ha dado lugar a uno de los más complejos casos de interacción disciplinar.

Humanos y máquinas : Aspectos epistemológicos de su relación en el debate humanismo-poshumanismo

En la tesis se consideran los procesos de cambio conceptual, teórico y metodológico que modelaron el desarrollo de los estudios sociales de la ciencia desde su emergencia hasta la actualidad, con el objeto de analizar los alcances y límites de las perspectivas humanistas y poshumanistas en la comprensión del vínculo "humano-no humano". Los estudios sociales de la ciencia conforman un campo marginal tanto dentro de los estudios metacientíficos como de la disciplina que les dio origen: la sociología. Si bien en las últimas décadas éstos han dado lugar a un significativo progreso en la comprensión cualitativa y cuantitativa de la ciencia y la tecnología, al responder primordialmente a la inquietud empírico-comparativa de programas de investigación de corte institucionalista han tendido a relegar de sus agendas de investigación el análisis epistemológico de los modelos explicativos considerados. En este sentido, en su afán de dar cuenta del carácter social de la ciencia apenas si han reparado en los nexos que pueden establecerse entre la explicación social de la ciencia y la explicación científica de "lo social". Con el objeto de atender a ello la tesis analiza las implicancias epistemológicas, metodológicas y ontológicas del estudio social de la ciencia considerando a la relación "humano-máquina" o "humano-no humano" como un hilo de Ariadna en la identificación de rupturas y continuidades en la consideración del vínculo "ciencia-sociedad". Desde esta perspectiva se estudia la dinámica de cambio conceptual, teórico y/o metodológico que dio lugar a la emergencia y desarrollo del estudio social de la ciencia en relación con aquella que modeló al estudio científico de "lo social", se identifican los cambios epistemológicos, ontológicos y metodológicos que configuraron a la dimensión no humana como un tópico relevante, cuando no ineludible, en la explicación social de la ciencia, se examinan las implicancias de la incorporación de los objetos naturales y/o tecnológicos a los modelos explicativos del estudio social de la ciencia en el contexto de la crítica poshumanista a las teorías de la acción que han asumido al sujeto como epicentro del análisis, y se analiza el impacto de la mencionada crítica en términos de un reordenamiento de los vínculos entre el estudio social de la ciencia y el estudio científico de "lo social". De este modo se ofrece una faceta de los estudios sociales de la ciencia inadvertida por buena parte de la literatura especializada, más atenta a la confrontación de imágenes sociológicas y filosóficas de la ciencia en el contexto de la denominada "guerra de las ciencias" que a sus implicancias epistemológicas para el estudio científico de "lo social". Enfatizando así el anclaje disciplinar del estudio social de la ciencia no se suscribe una visión "internalista" del progreso epistémico, sino que, por el contrario, se sugiere que la simultánea consideración de factores disciplinares y extra disciplinares resulta una estrategia tan fructífera como innovadora para analizar un campo que, al extender el dominio de la explicación social al ámbito de los fenómenos físico-naturales, ha dado lugar a uno de los más complejos casos de interacción disciplinar.

A Satisfaction-based Model for Affect Recognition from Conversational Features in Spoken Dialog Systems

Detecting user affect automatically during real-time conversation is the main challenge towards our greater aim of infusing social intelligence into a natural-language mixed-initiative High-Fidelity (Hi-Fi) audio control spoken dialog agent. In recent years, studies on affect detection from voice have moved on to using realistic, non-acted data, which is subtler. However, it is more challenging to perceive subtler emotions and this is demonstrated in tasks such as labelling and machine prediction. This paper attempts to address part of this challenge by considering the role of user satisfaction ratings and also conversational/dialog features in discriminating contentment and frustration, two types of emotions that are known to be prevalent within spoken human-computer interaction. However, given the laboratory constraints, users might be positively biased when rating the system, indirectly making the reliability of the satisfaction data questionable. Machine learning experiments were conducted on two datasets, users and annotators, which were then compared in order to assess the reliability of these datasets. Our results indicated that standard classifiers were significantly more successful in discriminating the abovementioned emotions and their intensities (reflected by user satisfaction ratings) from annotator data than from user data. These results corroborated that: first, satisfaction data could be used directly as an alternative target variable to model affect, and that they could be predicted exclusively by dialog features. Second, these were only true when trying to predict the abovementioned emotions using annotator?s data, suggesting that user bias does exist in a laboratory-led evaluation.

User-centric need-driven affect modeling for spoken conversational agents: design and evaluation

It is easy to get frustrated at spoken conversational agents (SCAs), perhaps because they seem to be callous. By and large, the quality of human-computer interaction is affected due to the inability of the SCAs to recognise and adapt to user emotional state. Now with the mass appeal of artificially-mediated communication, there has been an increasing need for SCAs to be socially and emotionally intelligent, that is, to infer and adapt to their human interlocutors’ emotions on the fly, in order to ascertain an affective, empathetic and naturalistic interaction. An enhanced quality of interaction would reduce users’ frustrations and consequently increase their satisfactions. These reasons have motivated the development of SCAs towards including socio-emotional elements, turning them into affective and socially-sensitive interfaces. One barrier to the creation of such interfaces has been the lack of methods for modelling emotions in a task-independent environment. Most emotion models for spoken dialog systems are task-dependent and thus cannot be used “as-is” in different applications. This Thesis focuses on improving this, in which it concerns computational modeling of emotion, personality and their interrelationship for task-independent autonomous SCAs. The generation of emotion is driven by needs, inspired by human’s motivational systems. The work in this Thesis is organised in three stages, each one with its own contribution. The first stage involved defining, integrating and quantifying the psychological-based motivational and emotional models sourced from. Later these were transformed into a computational model by implementing them into software entities. The computational model was then incorporated and put to test with an existing SCA host, a HiFi-control agent. The second stage concerned automatic prediction of affect, which has been the main challenge towards the greater aim of infusing social intelligence into the HiFi agent. In recent years, studies on affect detection from voice have moved on to using realistic, non-acted data, which is subtler. However, it is more challenging to perceive subtler emotions and this is demonstrated in tasks such as labelling and machine prediction. In this stage, we attempted to address part of this challenge by considering the roles of user satisfaction ratings and conversational/dialog features as the respective target and predictors in discriminating contentment and frustration, two types of emotions that are known to be prevalent within spoken human-computer interaction. The final stage concerned the evaluation of the emotional model through the HiFi agent. A series of user studies with 70 subjects were conducted in a real-time environment, each in a different phase and with its own conditions. All the studies involved the comparisons between the baseline non-modified and the modified agent. The findings have gone some way towards enhancing our understanding of the utility of emotion in spoken dialog systems in several ways; first, an SCA should not express its emotions blindly, albeit positive. Rather, it should adapt its emotions to user states. Second, low performance in an SCA may be compensated by the exploitation of emotion. Third, the expression of emotion through the exploitation of prosody could better improve users’ perceptions of an SCA compared to exploiting emotions through just lexical contents. Taken together, these findings not only support the success of the emotional model, but also provide substantial evidences with respect to the benefits of adding emotion in an SCA, especially in mitigating users’ frustrations and ultimately improving their satisfactions. Resumen Es relativamente fácil experimentar cierta frustración al interaccionar con agentes conversacionales (Spoken Conversational Agents, SCA), a menudo porque parecen ser un poco insensibles. En general, la calidad de la interacción persona-agente se ve en cierto modo afectada por la incapacidad de los SCAs para identificar y adaptarse al estado emocional de sus usuarios. Actualmente, y debido al creciente atractivo e interés de dichos agentes, surge la necesidad de hacer de los SCAs unos seres cada vez más sociales y emocionalmente inteligentes, es decir, con capacidad para inferir y adaptarse a las emociones de sus interlocutores humanos sobre la marcha, de modo que la interacción resulte más afectiva, empática y, en definitiva, natural. Una interacción mejorada en este sentido permitiría reducir la posible frustración de los usuarios y, en consecuencia, mejorar el nivel de satisfacción alcanzado por los mismos. Estos argumentos justifican y motivan el desarrollo de nuevos SCAs con capacidades socio-emocionales, dotados de interfaces afectivas y socialmente sensibles. Una de las barreras para la creación de tales interfaces ha sido la falta de métodos de modelado de emociones en entornos independientes de tarea. La mayoría de los modelos emocionales empleados por los sistemas de diálogo hablado actuales son dependientes de tarea y, por tanto, no pueden utilizarse "tal cual" en diferentes dominios o aplicaciones. Esta tesis se centra precisamente en la mejora de este aspecto, la definición de modelos computacionales de las emociones, la personalidad y su interrelación para SCAs autónomos e independientes de tarea. Inspirada en los sistemas motivacionales humanos en el ámbito de la psicología, la tesis propone un modelo de generación/producción de la emoción basado en necesidades. El trabajo realizado en la presente tesis está organizado en tres etapas diferenciadas, cada una con su propia contribución. La primera etapa incluyó la definición, integración y cuantificación de los modelos motivacionales de partida y de los modelos emocionales derivados a partir de éstos. Posteriormente, dichos modelos emocionales fueron plasmados en un modelo computacional mediante su implementación software. Este modelo computacional fue incorporado y probado en un SCA anfitrión ya existente, un agente con capacidad para controlar un equipo HiFi, de alta fidelidad. La segunda etapa se orientó hacia el reconocimiento automático de la emoción, aspecto que ha constituido el principal desafío en relación al objetivo mayor de infundir inteligencia social en el agente HiFi. En los últimos años, los estudios sobre reconocimiento de emociones a partir de la voz han pasado de emplear datos actuados a usar datos reales en los que la presencia u observación de emociones se produce de una manera mucho más sutil. El reconocimiento de emociones bajo estas condiciones resulta mucho más complicado y esta dificultad se pone de manifiesto en tareas tales como el etiquetado y el aprendizaje automático. En esta etapa, se abordó el problema del reconocimiento de las emociones del usuario a partir de características o métricas derivadas del propio diálogo usuario-agente. Gracias a dichas métricas, empleadas como predictores o indicadores del grado o nivel de satisfacción alcanzado por el usuario, fue posible discriminar entre satisfacción y frustración, las dos emociones prevalentes durante la interacción usuario-agente. La etapa final corresponde fundamentalmente a la evaluación del modelo emocional por medio del agente Hifi. Con ese propósito se llevó a cabo una serie de estudios con usuarios reales, 70 sujetos, interaccionando con diferentes versiones del agente Hifi en tiempo real, cada uno en una fase diferente y con sus propias características o capacidades emocionales. En particular, todos los estudios realizados han profundizado en la comparación entre una versión de referencia del agente no dotada de ningún comportamiento o característica emocional, y una versión del agente modificada convenientemente con el modelo emocional propuesto. Los resultados obtenidos nos han permitido comprender y valorar mejor la utilidad de las emociones en los sistemas de diálogo hablado. Dicha utilidad depende de varios aspectos. En primer lugar, un SCA no debe expresar sus emociones a ciegas o arbitrariamente, incluso aunque éstas sean positivas. Más bien, debe adaptar sus emociones a los diferentes estados de los usuarios. En segundo lugar, un funcionamiento relativamente pobre por parte de un SCA podría compensarse, en cierto modo, dotando al SCA de comportamiento y capacidades emocionales. En tercer lugar, aprovechar la prosodia como vehículo para expresar las emociones, de manera complementaria al empleo de mensajes con un contenido emocional específico tanto desde el punto de vista léxico como semántico, ayuda a mejorar la percepción por parte de los usuarios de un SCA. Tomados en conjunto, los resultados alcanzados no sólo confirman el éxito del modelo emocional, sino xv que constituyen además una evidencia decisiva con respecto a los beneficios de incorporar emociones en un SCA, especialmente en cuanto a reducir el nivel de frustración de los usuarios y, en última instancia, mejorar su satisfacción.

Design and control of multi-finger haptic devices for dexterous manipulation

En la interacción con el entorno que nos rodea durante nuestra vida diaria (utilizar un cepillo de dientes, abrir puertas, utilizar el teléfono móvil, etc.) y en situaciones profesionales (intervenciones médicas, procesos de producción, etc.), típicamente realizamos manipulaciones avanzadas que incluyen la utilización de los dedos de ambas manos. De esta forma el desarrollo de métodos de interacción háptica multi-dedo dan lugar a interfaces hombre-máquina más naturales y realistas. No obstante, la mayoría de interfaces hápticas disponibles en el mercado están basadas en interacciones con un solo punto de contacto; esto puede ser suficiente para la exploración o palpación del entorno pero no permite la realización de tareas más avanzadas como agarres. En esta tesis, se investiga el diseño mecánico, control y aplicaciones de dispositivos hápticos modulares con capacidad de reflexión de fuerzas en los dedos índice, corazón y pulgar del usuario. El diseño mecánico de la interfaz diseñada, ha sido optimizado con funciones multi-objetivo para conseguir una baja inercia, un amplio espacio de trabajo, alta manipulabilidad y reflexión de fuerzas superiores a 3 N en el espacio de trabajo. El ancho de banda y la rigidez del dispositivo se han evaluado mediante simulación y experimentación real. Una de las áreas más importantes en el diseño de estos dispositivos es el efector final, ya que es la parte que está en contacto con el usuario. Durante este trabajo se ha diseñado un dedal de bajo peso, adaptable a diferentes usuarios que, mediante la incorporación de sensores de contacto, permite estimar fuerzas normales y tangenciales durante la interacción con entornos reales y virtuales. Para el diseño de la arquitectura de control, se estudiaron los principales requisitos para estos dispositivos. Entre estos, cabe destacar la adquisición, procesado e intercambio a través de internet de numerosas señales de control e instrumentación; la computación de equaciones matemáticas incluyendo la cinemática directa e inversa, jacobiana, algoritmos de detección de agarres, etc. Todos estos componentes deben calcularse en tiempo real garantizando una frecuencia mínima de 1 KHz. Además, se describen sistemas para manipulación de precisión virtual y remota; así como el diseño de un método denominado "desacoplo cinemático iterativo" para computar la cinemática inversa de robots y la comparación con otros métodos actuales. Para entender la importancia de la interacción multimodal, se ha llevado a cabo un estudio para comprobar qué estímulos sensoriales se correlacionan con tiempos de respuesta más rápidos y de mayor precisión. Estos experimentos se desarrollaron en colaboración con neurocientíficos del instituto Technion Israel Institute of Technology. Comparando los tiempos de respuesta en la interacción unimodal (auditiva, visual y háptica) con combinaciones bimodales y trimodales de los mismos, se demuestra que el movimiento sincronizado de los dedos para generar respuestas de agarre se basa principalmente en la percepción háptica. La ventaja en el tiempo de procesamiento de los estímulos hápticos, sugiere que los entornos virtuales que incluyen esta componente sensorial generan mejores contingencias motoras y mejoran la credibilidad de los eventos. Se concluye que, los sistemas que incluyen percepción háptica dotan a los usuarios de más tiempo en las etapas cognitivas para rellenar información de forma creativa y formar una experiencia más rica. Una aplicación interesante de los dispositivos hápticos es el diseño de nuevos simuladores que permitan entrenar habilidades manuales en el sector médico. En colaboración con fisioterapeutas de Griffith University en Australia, se desarrolló un simulador que permite realizar ejercicios de rehabilitación de la mano. Las propiedades de rigidez no lineales de la articulación metacarpofalange del dedo índice se estimaron mediante la utilización del efector final diseñado. Estos parámetros, se han implementado en un escenario que simula el comportamiento de la mano humana y que permite la interacción háptica a través de esta interfaz. Las aplicaciones potenciales de este simulador están relacionadas con entrenamiento y educación de estudiantes de fisioterapia. En esta tesis, se han desarrollado nuevos métodos que permiten el control simultáneo de robots y manos robóticas en la interacción con entornos reales. El espacio de trabajo alcanzable por el dispositivo háptico, se extiende mediante el cambio de modo de control automático entre posición y velocidad. Además, estos métodos permiten reconocer el gesto del usuario durante las primeras etapas de aproximación al objeto para su agarre. Mediante experimentos de manipulación avanzada de objetos con un manipulador y diferentes manos robóticas, se muestra que el tiempo en realizar una tarea se reduce y que el sistema permite la realización de la tarea con precisión. Este trabajo, es el resultado de una colaboración con investigadores de Harvard BioRobotics Laboratory. ABSTRACT When we interact with the environment in our daily life (using a toothbrush, opening doors, using cell-phones, etc.), or in professional situations (medical interventions, manufacturing processes, etc.) we typically perform dexterous manipulations that involve multiple fingers and palm for both hands. Therefore, multi-Finger haptic methods can provide a realistic and natural human-machine interface to enhance immersion when interacting with simulated or remote environments. Most commercial devices allow haptic interaction with only one contact point, which may be sufficient for some exploration or palpation tasks but are not enough to perform advanced object manipulations such as grasping. In this thesis, I investigate the mechanical design, control and applications of a modular haptic device that can provide force feedback to the index, thumb and middle fingers of the user. The designed mechanical device is optimized with a multi-objective design function to achieve a low inertia, a large workspace, manipulability, and force-feedback of up to 3 N within the workspace; the bandwidth and rigidity for the device is assessed through simulation and real experimentation. One of the most important areas when designing haptic devices is the end-effector, since it is in contact with the user. In this thesis the design and evaluation of a thimble-like, lightweight, user-adaptable, and cost-effective device that incorporates four contact force sensors is described. This design allows estimation of the forces applied by a user during manipulation of virtual and real objects. The design of a real-time, modular control architecture for multi-finger haptic interaction is described. Requirements for control of multi-finger haptic devices are explored. Moreover, a large number of signals have to be acquired, processed, sent over the network and mathematical computations such as device direct and inverse kinematics, jacobian, grasp detection algorithms, etc. have to be calculated in Real Time to assure the required high fidelity for the haptic interaction. The Hardware control architecture has different modules and consists of an FPGA for the low-level controller and a RT controller for managing all the complex calculations (jacobian, kinematics, etc.); this provides a compact and scalable solution for the required high computation capabilities assuring a correct frequency rate for the control loop of 1 kHz. A set-up for dexterous virtual and real manipulation is described. Moreover, a new algorithm named the iterative kinematic decoupling method was implemented to solve the inverse kinematics of a robotic manipulator. In order to understand the importance of multi-modal interaction including haptics, a subject study was carried out to look for sensory stimuli that correlate with fast response time and enhanced accuracy. This experiment was carried out in collaboration with neuro-scientists from Technion Israel Institute of Technology. By comparing the grasping response times in unimodal (auditory, visual, and haptic) events with the response times in events with bimodal and trimodal combinations. It is concluded that in grasping tasks the synchronized motion of the fingers to generate the grasping response relies on haptic cues. This processing-speed advantage of haptic cues suggests that multimodalhaptic virtual environments are superior in generating motor contingencies, enhancing the plausibility of events. Applications that include haptics provide users with more time at the cognitive stages to fill in missing information creatively and form a richer experience. A major application of haptic devices is the design of new simulators to train manual skills for the medical sector. In collaboration with physical therapists from Griffith University in Australia, we developed a simulator to allow hand rehabilitation manipulations. First, the non-linear stiffness properties of the metacarpophalangeal joint of the index finger were estimated by using the designed end-effector; these parameters are implemented in a scenario that simulates the behavior of the human hand and that allows haptic interaction through the designed haptic device. The potential application of this work is related to educational and medical training purposes. In this thesis, new methods to simultaneously control the position and orientation of a robotic manipulator and the grasp of a robotic hand when interacting with large real environments are studied. The reachable workspace is extended by automatically switching between rate and position control modes. Moreover, the human hand gesture is recognized by reading the relative movements of the index, thumb and middle fingers of the user during the early stages of the approximation-to-the-object phase and then mapped to the robotic hand actuators. These methods are validated to perform dexterous manipulation of objects with a robotic manipulator, and different robotic hands. This work is the result of a research collaboration with researchers from the Harvard BioRobotics Laboratory. The developed experiments show that the overall task time is reduced and that the developed methods allow for full dexterity and correct completion of dexterous manipulations.

El Entorno Aumentado: Imperativo informacional para una ecología digital de lo arquitectónico

Esta tesis se suma a los intentos teóricos de clarificar la impronta del dominio digital en lo arquitectónico. Propone una cartografía crítica para reconstruir el proceso de tal convergencia considerando aquellos acontecimientos reveladores que lo han pautado. La integración de la extensión digital propia las tecnologías de la información y la comunicación en el contexto tradicional arquitectónico ha supuesto el advenimiento de un ecosistema artificial complejo. A esta realidad o proceso concurrente se la denomina el Entorno Aumentado. La línea principal de investigación explora el desarrollo de la interacción hombre-máquina, en sendas trayectorias sincrónicas convergentes. El análisis se aborda por tanto desde la consideración de esa naturaleza dual, atendiendo simultáneamente a la humanización del dominio digital o cómo la computación se adapta a la condición natural de ser humano, y a la digitalización del ser humano o cómo éste asume el imperativo digital. El análisis resulta vertebrado desde la condición panóptica del punto de observación del acontecimiento: la cuarta pared, entendida como pantalla y punto de inflexión que estructura la convergencia de los entornos físico y digital. La reflexión acometida sobre la construcción del Entorno Aumentado procura la verificación de la tesis, que es central en esta investigación: la multiplicación dimensional del lugar físico mediante su extensión con un campo informacional procedente del dominio digital, y sus efectos en la construcción de la nueva ecología digital propia del Entorno Aumentado. Esta circunstancia se produce tras la eclosión de la Revolución Digital en la segunda mitad del siglo XX, el consecuente incremento de la interacción entre los entornos digital y físico, y el alcance de un nivel superior de comunicación en los procesos arquitectónicos. Los síntomas del Entorno Aumentado se hacen notar en nuestra contemporaneidad; en ese sentido, la tesis alcanza un diagnóstico del cambio. La fractura y obsolescencia del límite espacio-temporal establecido por las dicotomías históricas privado-público, casa-ciudad, trabajo-ocio,…etc., o la vigencia del proyecto procedimental son algunas de sus consecuencias en el modo de abordar la disciplina arquitectónica. Abstract This dissertation aims to complete the theoretical attempts to clarify the digital domain imprint on the architectural realm. It constructs a critical cartography to reconstruct the process of such convergence, considering those principal events who have scheduled it. The integration of TIC’s digital extension through the traditional architectural context has meant the advent of an artificial complex ecosystem. This reality or concurrent process is called The Augmented Environment. The key research attempt explores man-machine interaction process in both synchronous converging trajectories. The analysis therefore addresses from the consideration of this dual nature, focusing simultaneously in humanizing digital domain process or how the computer fits the natural condition of human beings, and in digitalizing human beings or how it affords the digital imperative. The analysis is structured from the panoptic condition of the event scope: the fourth wall as screen that structures the convergence of physical and digital environments. The examination of The Augmented Environment’s assembly pretends the verification of the central point of this research: the dimensional multiplication of physical space by extending informational fields from the digital domain, and its effects on the construction of the Augmented Environment new digital ecology. This circumstance occurs after the arrival of the Digital Revolution in the second half of the twentieth century, with the consequent increase in the interaction between digital and physical environments, and the reach of a higher level of communication in architectural processes. The Augmented Environment signs are alive nowadays; in that sense, the thesis reaches a diagnostic of the changes. The fracture and obsolescence of the time-space limit established by historic dichotomies as private-public, home-city, working-leisure...etc., or the validity of the procedural design are some of its consequences on the architectural discipline.