Virtual milgram : empathic concern or personal distress? Evidence from functional MRI and dispositional measures

One motive for behaving as the agent of another"s aggression appears to be anchored in as yet unelucidated mechanisms of obedience to authority. In a recent partial replication of Milgram"s obedience paradigm within an immersive virtual environment, participants administered pain to a female virtual human and observed her suffering. Whether the participants" response to the latter was more akin to other-oriented empathic concern for her well-being or to a self-oriented aversive state of personal distress in response to her distress is unclear. Using the stimuli from that study, this event-related fMRI-based study analysed brain activity during observation of the victim in pain versus not in pain. This contrast revealed activation in pre-defi ned brain areas known to be involved in affective processing but not in those commonly associated with affect sharing (e.g., ACC and insula). We then examined whether different dimensions of dispositional empathy predict activity within the same pre-defi ned brain regions: While personal distress and fantasy (i.e., tendency to transpose oneself into fi ctional situations and characters) predicted brain activity, empathic concern and perspective taking predicted no change in neuronal response associated with pain observation. These exploratory fi ndings suggest that there is a distinct pattern of brain activity associated with observing the pain-related behaviour of the victim within the context of this social dilemma, that this observation evoked a self-oriented aversive state of personal distress, and that the objective"reality" of pain is of secondary importance for this response. These fi ndings provide a starting point for experimentally more rigorous investigation of obedience.

Socially anxious and confident men interact with a forward virtual woman: an experiment study

Male volunteers entered an immersive virtual reality that depicted a party, where they were approached by a lone virtual woman who initiated a conversation. The goal was to study how socially anxious and socially confident men would react to this event. Interest focused on whether the socially anxious participants would exhibit sustained anxiety during the conversation or whether this would diminish over time, and differ from the responses of the more socially confident men.

The effect on lower spine muscle activation of walking on a narrow beam in virtual reality

To what extent do people behave in immersive virtual environments as they would in similar situations in a physical environment? There are many ways to address this question, ranging from questionnaires, behavioral studies, and the use of physiological measures. Here, we compare the onsets of muscle activity using surface electromyography (EMG) while participants were walking under three different conditions: on a normal floor surface, on a narrow ribbon along the floor, and on a narrow platform raised off the floor. The same situation was rendered in an immersive virtual environment (IVE) Cave-like system, and 12 participants did the three types of walking in a counter-balanced within-groups design. The mean number of EMG activity onsets per unit time followed the same pattern in the virtual environment as in the physical environment-significantly higher for walking on the platform compared to walking on the floor. Even though participants knew that they were in fact really walking at floor level in the virtual environment condition, the visual illusion of walking on a raised platform was sufficient to influence their behavior in a measurable way. This opens up the door for this technique to be used in gait and posture related scenarios including rehabilitation.

First person experience of body transfer in virtual reality

Altering the normal association between touch and its visual correlate can result in the illusory perception of a fake limb as part of our own body. Thus, when touch is seen to be applied to a rubber hand while felt synchronously on the corresponding hidden real hand, an illusion of ownership of the rubber hand usually occurs. The illusion has also been demonstrated using visuomotor correlation between the movements of the hidden real hand and the seen fake hand. This type of paradigm has been used with respect to the whole body generating out-of-the-body and body substitution illusions. However, such studies have only ever manipulated a single factor and although they used a form of virtual reality have not exploited the power of immersive virtual reality (IVR) to produce radical transformations in body ownership.

A Threat to a virtual hand elicits motor cortex activation

We report an experiment where participants observed an attack on their virtual body as experienced in an immersive virtual reality (IVR) system. Participants sat by a table with their right hand resting upon it. In IVR, they saw a virtual table that was registered with the real one, and they had a virtual body that substituted their real body seen from a first person perspective. The virtual right hand was collocated with their real right hand. Event-related brain potentials were recorded in two conditions, one where the participant"s virtual hand was attacked with a knife and a control condition where the knife only struck the virtual table. Significantly greater P450 potentials were obtained in the attack condition confirming our expectations that participants had a strong illusion of the virtual hand being their own, which was also strongly supported by questionnaire responses. Higher levels of subjective virtual hand ownership correlated with larger P450 amplitudes. Mu-rhythm event-related desynchronization in the motor cortex and readiness potential (C3-C4) negativity were clearly observed when the virtual hand was threatened as would be expected, if the real hand was threatened and the participant tried to avoid harm. Our results support the idea that event-related potentials may provide a promising non-subjective measure of virtual embodiment. They also support previous experiments on pain observation and are placed into context of similar experiments and studies of body perception and body ownership within cognitive neuroscience.

A Threat to a virtual hand elicits motor cortex activation

We report an experiment where participants observed an attack on their virtual body as experienced in an immersive virtual reality (IVR) system. Participants sat by a table with their right hand resting upon it. In IVR, they saw a virtual table that was registered with the real one, and they had a virtual body that substituted their real body seen from a first person perspective. The virtual right hand was collocated with their real right hand. Event-related brain potentials were recorded in two conditions, one where the participant"s virtual hand was attacked with a knife and a control condition where the knife only struck the virtual table. Significantly greater P450 potentials were obtained in the attack condition confirming our expectations that participants had a strong illusion of the virtual hand being their own, which was also strongly supported by questionnaire responses. Higher levels of subjective virtual hand ownership correlated with larger P450 amplitudes. Mu-rhythm event-related desynchronization in the motor cortex and readiness potential (C3-C4) negativity were clearly observed when the virtual hand was threatened as would be expected, if the real hand was threatened and the participant tried to avoid harm. Our results support the idea that event-related potentials may provide a promising non-subjective measure of virtual embodiment. They also support previous experiments on pain observation and are placed into context of similar experiments and studies of body perception and body ownership within cognitive neuroscience.

The relationship between virtual body ownership and temperature sensitivity.

In the rubber hand illusion tactile stimulation seen on a rubber hand, that is synchronous with tactile stimulation felt on the hidden real hand, can lead to an illusion of ownership over the rubber hand. This illusion has been shown to produce a temperature decrease in the hidden hand, suggesting that such illusory ownership produces disownership of the real hand. Here we apply immersive virtual reality (VR) to experimentally investigate this with respect to sensitivity to temperature change. Forty participants experienced immersion in a VR with a virtual body (VB) seen from a first person perspective. For half the participants the VB was consistent in posture and movement with their own body, and in the other half there was inconsistency. Temperature sensitivity on the palm of the hand was measured before and during the virtual experience. The results show that temperature sensitivity decreased in the consistent compared to the inconsistent condition. Moreover, the change in sensitivity was significantly correlated with the subjective illusion of virtual arm ownership but modulated by the illusion of ownership over the full virtual body. This suggests that a full body ownership illusion results in a unification of the virtual and real bodies into one overall entity - with proprioception and tactile sensations on the real body integrated with the visual presence of the virtual body. The results are interpreted in the framework of a"body matrix" recently introduced into the literature.

Measuring the effects through time of the influence of visuomotor and visuotactile synchronous stimulation on a virtual body ownership illusion

Previous studies have examined the experience of owning a virtual surrogate body or body part through specific combinations of cross-modal multisensory stimulation. Both visuomotor (VM) and visuotactile (VT) synchronous stimulation have been shown to be important for inducing a body ownership illusion, each tested separately or both in combination. In this study we compared the relative importance of these two cross-modal correlations, when both are provided in the same immersive virtual reality setup and the same experiment. We systematically manipulated VT and VM contingencies in order to assess their relative role and mutual interaction. Moreover, we present a new method for measuring the induced body ownership illusion through time, by recording reports of breaks in the illusion of ownership ("breaks") throughout the experimental phase. The balance of the evidence, from both questionnaires and analysis of the breaks, suggests that while VM synchronous stimulation contributes the greatest to the attainment of the illusion, a disruption of either (through asynchronous stimulation) contributes equally to the probability of a break in the illusion.

Clinical validation of a virtual environment for normalizing eating patterns in eating disorders

The purpose of the present study was to examine the clinical validation of a Virtual Reality Environment (VRE) designed to normalize eating patterns in Eating Disorders (ED). The efficacy of VR in eliciting emotions, sense of presence and reality of the VRE were explored in 22 ED patients and 37 healthy eating individuals. The VRE (non-immersive) consisted of a kitchen room where participants had to eat a virtual pizza. In order to assess the sense of presence and reality produced by the VRE, participants answered seven questions with a Likert scale (0-10) during the experience, and then filled out the Reality Judgment and Presence Questionnaire (RJPQ) and ITC-Sense of Presence Inventory (ITC-SOPI). The results showed that the VRE induced a sense of presence and was felt as real for both groups, without differences in the experience of 'ease' with the VRE, sense of physical space, or the ecological validity assigned to the virtual kitchen and eating virtually. However, the ED patients reported paying more attention and experiencing greater emotional involvement and dysphoria after virtual eating. The results suggest that the VRE was clinically meaningful to the ED patients and might be a relevant therapy tool for normalizing their eating patterns.

Towards Evaluating and Modelling the Impacts of Mobile-Based Augmented Reality Applications on Learning and Engagement

Mobile augmented reality applications are increasingly utilized as a medium for enhancing learning and engagement in history education. Although these digital devices facilitate learning through immersive and appealing experiences, their design should be driven by theories of learning and instruction. We provide an overview of an evidence-based approach to optimize the development of mobile augmented reality applications that teaches students about history. Our research aims to evaluate and model the impacts of design parameters towards learning and engagement. The research program is interdisciplinary in that we apply techniques derived from design-based experiments and educational data mining. We outline the methodological and analytical techniques as well as discuss the implications of the anticipated findings.

Towards Evaluating and Modelling the Impacts of Mobile-Based Augmented Reality Applications on Learning and Engagement

Mobile augmented reality applications are increasingly utilized as a medium for enhancing learning and engagement in history education. Although these digital devices facilitate learning through immersive and appealing experiences, their design should be driven by theories of learning and instruction. We provide an overview of an evidence-based approach to optimize the development of mobile augmented reality applications that teaches students about history. Our research aims to evaluate and model the impacts of design parameters towards learning and engagement. The research program is interdisciplinary in that we apply techniques derived from design-based experiments and educational data mining. We outline the methodological and analytical techniques as well as discuss the implications of the anticipated findings.

Recherche qualitative des enjeux de la mise en lumière urbaine : création d’un modèle opératoire pour la conception des projets d’éclairage

Cette étude traite de la complexité des enjeux de la mise en lumière urbaine et de sa conception. Le but est de déceler les mécanismes opératoires du projet d’éclairage afin de générer une analyse et une compréhension de ce type d’aménagement. Cette recherche met à jour les enjeux lumineux à différents niveaux comme l’urbanisme, l’environnement, la culture, la communication, la vision et la perception mais aussi au niveau des acteurs et de leurs pratiques sur le terrain. En utilisant une approche qualitative déductive, cette recherche théorique cherche à mieux comprendre les différentes significations du phénomène lumineux : comment dans la réalité terrain ces enjeux de la lumière sont compris, interprétés et traduits au travers de la réalisation des projets et des processus mis en place pour répondre aux besoins d’éclairage ? La pertinence de cette recherche est de questionner les enjeux complexes de la mise en lumière afin de savoir comment concevoir un « bon éclairage ». Comment se déroule un projet d’éclairage de sa conception à sa réalisation ? Quels sont les différents acteurs, leurs modes d’intervention et leurs perceptions du projet d’éclairage ? Le but est de vérifier comment ces enjeux se concrétisent sur le terrain, notamment au travers de l’activité et de l’interprétation des professionnels. Nous souhaitons créer un modèle opératoire qui rende compte des enjeux et du processus de ce type de projet. Modèle qui servira alors de repère pour la compréhension des mécanismes à l’œuvre comme le contexte, les acteurs, les moyens et les finalités des projets. Une étude des recherches théoriques nous permettra de comprendre la polysémie du phénomène lumineux afin d’en déceler la complexité des enjeux et de créer une première interprétation de ce type de projet. Nous déterminerons théoriquement ce que recouvre la notion de « bon éclairage » qui nous permettra de créer une grille analytique pour comparer notre approche avec la réalité sur le terrain. Ces recherches seront ensuite confrontées au recueil des données des études de cas, des stages en urbanisme et en conception lumière, et des interviews de professionnels dans le domaine. Nous confronterons les enjeux définis théoriquement aux collectes de données issues du terrain. Ces données seront collectées à partir de projets réalisés avec les professionnels durant la recherche immersive. La recherche-action nous permettra de collaborer avec les professionnels pour comprendre comment ils sélectionnent, déterminent et répondent aux enjeux des projets d’éclairage. Nous verrons grâce aux entretiens semi-dirigés comment les acteurs perçoivent leurs propres activités et nous interprèterons les données à l’aide de la « théorisation ancrée » pour dégager le sens de leurs discours. Nous analyserons alors les résultats de ces données de manière interprétative afin de déterminer les points convergeant et divergent entre les enjeux théoriques définis en amont et les enjeux définis en aval par la recherche-terrain. Cette comparaison nous permettra de créer une interprétation des enjeux de la mise en lumière urbaine dans toutes leurs complexités, à la fois du point de vue théorique et pratique. Cette recherche qualitative et complexe s’appuie sur une combinaison entre une étude phénoménologique et les méthodologies proposées par la « théorisation ancrée ». Nous procéderons à une combinaison de données issues de la pratique terrain et de la perception de cette pratique par les acteurs de l’éclairage. La recherche d’un « bon éclairage » envisage donc par une nouvelle compréhension l’amélioration des outils de réflexion et des actions des professionnels. En termes de résultat nous souhaitons créer un modèle opératoire de la mise en lumière qui définirait quels sont les différents éléments constitutifs de ces projets, leurs rôles et les relations qu’ils entretiennent entre eux. Modèle qui mettra en relief les éléments qui déterminent la qualité du projet d’éclairage et qui permettra de fournir un outil de compréhension. La contribution de ce travail de recherche est alors de fournir par cette nouvelle compréhension un repère méthodologique et analytique aux professionnels de l’éclairage mais aussi de faire émerger l’importance du phénomène de mise en lumière en suscitant de nouveaux questionnements auprès des activités liées au design industriel, à l’architecture et à l’urbanisme.

L’écoute de la peur : une étude du son dans les jeux vidéo d’horreur

S’intéressant aux différents rôles du son dans les jeux vidéo d’horreur, ce mémoire vise à exposer le travail cognitif effectué par le joueur lors de son activité de jeu. De la structuration des sons jusqu’à la production de sens à partir de leurs fonctions, cette recherche mesure l’implication du phénomène sonore dans la mise en scène de la peur vidéoludique. Dans cette optique, elle présente, critique et développe une pluralité de concepts portant sur la jouabilité, les postures d’écoute, la diégèse, les générateurs sonores, les fonctions sonores systémiques et immersives ainsi que sur la création de la peur à l’aide de différentes stratégies sonores.

Le cinéma omnistéréo ou l'art d'avoir des yeux tout le tour de la tête

Cette thèse s'intéresse à des aspects du tournage, de la projection et de la perception du cinéma stéréo panoramique, appelé aussi cinéma omnistéréo. Elle s'inscrit en grande partie dans le domaine de la vision par ordinateur, mais elle touche aussi aux domaines de l'infographie et de la perception visuelle humaine. Le cinéma omnistéréo projette sur des écrans immersifs des vidéos qui fournissent de l'information sur la profondeur de la scène tout autour des spectateurs. Ce type de cinéma comporte des défis liés notamment au tournage de vidéos omnistéréo de scènes dynamiques, à la projection polarisée sur écrans très réfléchissants rendant difficile l'estimation de leur forme par reconstruction active, aux distorsions introduites par l'omnistéréo pouvant fausser la perception des profondeurs de la scène. Notre thèse a tenté de relever ces défis en apportant trois contributions majeures. Premièrement, nous avons développé la toute première méthode de création de vidéos omnistéréo par assemblage d'images pour des mouvements stochastiques et localisés. Nous avons mis au point une expérience psychophysique qui montre l'efficacité de la méthode pour des scènes sans structure isolée, comme des courants d'eau. Nous proposons aussi une méthode de tournage qui ajoute à ces vidéos des mouvements moins contraints, comme ceux d'acteurs. Deuxièmement, nous avons introduit de nouveaux motifs lumineux qui permettent à une caméra et un projecteur de retrouver la forme d'objets susceptibles de produire des interréflexions. Ces motifs sont assez généraux pour reconstruire non seulement les écrans omnistéréo, mais aussi des objets très complexes qui comportent des discontinuités de profondeur du point de vue de la caméra. Troisièmement, nous avons montré que les distorsions omnistéréo sont négligeables pour un spectateur placé au centre d'un écran cylindrique, puisqu'elles se situent à la périphérie du champ visuel où l'acuité devient moins précise.

Mouvement biologique et entraînement perceptivo-cognitif chez les personnes âgées

Lorsque nous cherchons un ami dans une foule ou attendons un proche sur le quai d’une gare, l’identification de cette personne nous est souvent possible grâce à la reconnaissance de sa démarche. Plusieurs chercheurs se sont intéressés à la façon de se mouvoir de l’être humain en étudiant le mouvement biologique. Le mouvement biologique est la représentation, par un ensemble structuré de points lumineux animés, des gestes d’un individu en mouvement dans une situation particulière (marche, golf, tennis, etc.). Une des caractéristiques du patron de mouvement biologique peu étudiée et néanmoins essentielle est sa taille. La plupart des études concernées utilisent des patrons de petite taille correspondant à une personne située à 16 mètres de l’observateur. Or les distances d’interaction sociale, chez l’humain, sont généralement inférieures à 16 mètres. D’autre part, les résultats des études portant sur la perception des patrons de mouvement biologique et le vieillissement demeurent contradictoires. Nous avons donc, dans un premier temps, évalué, dans une voûte d’immersion en réalité virtuelle, l’importance de la distance entre l’observateur et le patron de mouvement biologique, chez des adultes jeunes et des personnes âgées. Cette étude a démontré que l’évaluation de la direction de mouvement d’un patron devient difficile pour les personnes âgées lorsque le patron est situé à moins de 4 mètres, alors que les résultats des jeunes sont comparables pour toutes distances, à partir d’un mètre et au-delà. Cela indique que les gens âgés peinent à intégrer l’information occupant une portion étendue de leur champ visuel, ce qui peut s’avérer problématique dans des espaces où les distances d’interaction sont inférieures à 4 mètres. Nombre de recherches indiquent aussi clairement que les gens âgés s’adaptent difficilement à des situations complexes. Nous avons donc cherché, dans un second temps, à minimiser ces altérations liées à l’âge de l’intégration des processus complexes, en utilisant une tâche adaptée à l’entraînement et à l’évaluation de l’intégration de ces processus : la poursuite multiple d’objets dans l’espace ou 3D-MOT (3 Dimensions Multiple Object Tracking). Le 3D-MOT consiste à suivre simultanément plusieurs objets d’intérêt en mouvement parmi des distracteurs également en mouvement. Nous avons évalué les habiletés de participants jeunes et âgés à une telle tâche dans un environnement virtuel en 3D en déterminant la vitesse maximale de déplacement des objets à laquelle la tâche pouvait être exécutée. Les résultats des participants âgés étaient initialement inférieurs à ceux des jeunes. Cependant, après plusieurs semaines d’entraînement, les personnes âgées ont obtenu des résultats comparables à ceux des sujets jeunes non entraînés. Nous avons enfin évalué, pour ces mêmes participants, l’impact de cet entraînement sur la perception de patrons de mouvement biologique présentés à 4 et 16 mètres dans l’espace virtuel : les habiletés des personnes âgées entraînées obtenues à 4 mètres ont augmenté de façon significative pour atteindre le niveau de celles obtenues à 16 mètres. Ces résultats suggèrent que l’entraînement à certaines tâches peut réduire les déclins cognitivo-perceptifs liés à l’âge et possiblement aider les personnes âgées dans leurs déplacements quotidiens.