Testosterone and attention deficits as possible mechanisms underlying impaired emotion recognition in intimate partner violence perpetrators

Several studies have reported impairments in decoding emotional facial expressions in intimate partner violence (IPV) perpetrators. However, the mechanisms that underlie these impaired skills are not well known. Given this gap in the literature, we aimed to establish whether IPV perpetrators (n = 18) differ in their emotion decoding process, attentional skills, and testosterone (T), cortisol (C) levels and T/C ratio in comparison with controls (n = 20), and also to examine the moderating role of the group and hormonal parameters in the relationship between attention skills and the emotion decoding process. Our results demonstrated that IPV perpetrators showed poorer emotion recognition and higher attention switching costs than controls. Nonetheless, they did not differ in attention to detail and hormonal parameters. Finally, the slope predicting emotion recognition from deficits in attention switching became steeper as T levels increased, especially in IPV perpetrators, although the basal C and T/C ratios were unrelated to emotion recognition and attention deficits for both groups. These findings contribute to a better understanding of the mechanisms underlying emotion recognition deficits. These factors therefore constitute the target for future interventions.

Adaptação da Florida Affect Battery à população portuguesa

Dissertação de Mestrado, Neurociências Cognitivas e Neuropsicologia, Faculdade de Ciências Humanas e Sociais, Universidade do Algarve, 2016

Environnement d’adaptation pour un jeu sérieux

Nous avons développé un jeu sérieux afin d’enseigner aux utilisateurs à dessiner des diagrammes de Lewis. Nous l’avons augmenté d’un environnement pouvant enregistrer des signaux électroencéphalographiques, les expressions faciales, et la pupille d’un utilisateur. Le but de ce travail est de vérifier si l’environnement peut permettre au jeu de s’adapter en temps réel à l’utilisateur grâce à une détection automatique du besoin d’aide de l’utilisateur ainsi que si l’utilisateur est davantage satisfait de son expérience avec l’adaptation. Les résultats démontrent que le système d’adaptation peut détecter le besoin d’aide grâce à deux modèles d’apprentissage machine entraînés différemment, l’un généralisé et l’autre personalisé, avec des performances respectives de 53.4% et 67.5% par rapport à un niveau de chance de 33.3%.

De la maltraitance à l’enfance aux comportements d’agression à l’âge adulte : quel est le rôle de la réactivité émotionnelle et comportementale?

En dépit des efforts déployés pour diminuer la prévalence de la maltraitance à l’enfance, celle-ci serait associée à des difficultés non négligeables, dont la manifestation d’agression. La réactivité émotionnelle et comportementale, incluant la colère, la peur et l’évitement, est proposée comme mécanisme expliquant la relation unissant la maltraitance à l’agression. Quatre objectifs sont poursuivis à cette fin, soit d’examiner la relation notée entre: (1) la maltraitance et l’agression, (2) la maltraitance et la colère, la peur, ainsi que l’évitement, (3) la colère, la peur, ainsi que l’évitement et l’agression et (4) tester formellement le rôle médiateur et modérateur de la colère, la peur et l’évitement à cette relation. Les données de 160 hommes âgés de 18 à 35 ans ayant été exposés ou non à de la maltraitance ont été colligées par le biais de questionnaires et d’une tâche de provocation sociale permettant de mesurer les expressions faciales de colère et de peur, ainsi que les comportements d’évitement. Les résultats suggèrent que la maltraitance et les comportements d’évitement sont associés à l’agression. La maltraitance ne serait toutefois pas liée à la colère, à la peur et à l’évitement. Alors que les résultats suggèrent que ces indices n’aient pas de rôles médiateurs dans la relation entre la maltraitance et l’agression, la réactivité aux plans de la colère et de l’évitement magnifierait cette relation. Ainsi, les résultats invitent à prendre en compte les expériences de maltraitance et l’intensité de la réactivité émotionnelle et comportementale dans les interventions afin de cibler les individus plus à risque d’avoir recours à l’agression.

Learning data-driven models of non-verbal behaviors for building rapport using an intelligent virtual agent

There is a growing societal need to address the increasing prevalence of behavioral health issues, such as obesity, alcohol or drug use, and general lack of treatment adherence for a variety of health problems. The statistics, worldwide and in the USA, are daunting. Excessive alcohol use is the third leading preventable cause of death in the United States (with 79,000 deaths annually), and is responsible for a wide range of health and social problems. On the positive side though, these behavioral health issues (and associated possible diseases) can often be prevented with relatively simple lifestyle changes, such as losing weight with a diet and/or physical exercise, or learning how to reduce alcohol consumption. Medicine has therefore started to move toward finding ways of preventively promoting wellness, rather than solely treating already established illness.^ Evidence-based patient-centered Brief Motivational Interviewing (BMI) interventions have been found particularly effective in helping people find intrinsic motivation to change problem behaviors after short counseling sessions, and to maintain healthy lifestyles over the long-term. Lack of locally available personnel well-trained in BMI, however, often limits access to successful interventions for people in need. To fill this accessibility gap, Computer-Based Interventions (CBIs) have started to emerge. Success of the CBIs, however, critically relies on insuring engagement and retention of CBI users so that they remain motivated to use these systems and come back to use them over the long term as necessary.^ Because of their text-only interfaces, current CBIs can therefore only express limited empathy and rapport, which are the most important factors of health interventions. Fortunately, in the last decade, computer science research has progressed in the design of simulated human characters with anthropomorphic communicative abilities. Virtual characters interact using humans’ innate communication modalities, such as facial expressions, body language, speech, and natural language understanding. By advancing research in Artificial Intelligence (AI), we can improve the ability of artificial agents to help us solve CBI problems.^ To facilitate successful communication and social interaction between artificial agents and human partners, it is essential that aspects of human social behavior, especially empathy and rapport, be considered when designing human-computer interfaces. Hence, the goal of the present dissertation is to provide a computational model of rapport to enhance an artificial agent’s social behavior, and to provide an experimental tool for the psychological theories shaping the model. Parts of this thesis were already published in [LYL+12, AYL12, AL13, ALYR13, LAYR13, YALR13, ALY14].^

Operant and Respondent Procedures to Establish Social Stimuli as Reinforcers in Children with Autism

According to the DSM-IV- TR (American Psychiatric Association, 2000), one of the core deficits in autism is in the impairment of social interaction. Some have suggested that underlying these deficits is the reality that individuals with autism do not find social stimuli to be as reinforcing as other types of stimuli (Dawson, 2008). An interesting and growing body of literature supports the notion that symptoms in autism may be caused by a general reduction in social motivation (Chevallier et al., 2012). A review of the literature suggests that social orienting and social motivation are low in individuals with autism, and including social motivation as a target for therapeutic intervention should be pursued (Helt et al., 2008). Through our understanding of learning processes, researchers in behavior analysis and related fields have been able to use conditioning procedures to change the function of neutral or ineffective stimuli, including tokens (Ayllon & Azrin, 1968), facial expressions (Gewirtz & Pelaez-Nogueras, 1992) and praise (Dozier et al., 2012). The current study aimed to use operant and respondent procedures to condition social stimuli that were empirically shown to not be reinforcing prior to conditioning. Further, this study aimed to compare the two procedures in their effectiveness to condition social stimuli to function as reinforcers, and in their maintenance of effects over time. Using a multiple-baseline, multi-element design, one social stimulus was conditioned under each procedure to compare the different response rates following conditioning. Finally, the study sought to determine if conditioning social stimuli to function as reinforcers had any effect on the social functioning of young children with autism. Six children diagnosed with autism between the ages of 18 months and 3 years participated. Results show that the respondent procedure (pairing) resulted in more robust and enduring effects than the operant procedure (Sd procedure). Results of a social communication assessment (ESCS, Mundy et al., 2003) before and after conditioning demonstrate gains in all areas of social communication, particularly in the areas of initiating and responding to joint attention.

Environnement d’adaptation pour un jeu sérieux

Nous avons développé un jeu sérieux afin d’enseigner aux utilisateurs à dessiner des diagrammes de Lewis. Nous l’avons augmenté d’un environnement pouvant enregistrer des signaux électroencéphalographiques, les expressions faciales, et la pupille d’un utilisateur. Le but de ce travail est de vérifier si l’environnement peut permettre au jeu de s’adapter en temps réel à l’utilisateur grâce à une détection automatique du besoin d’aide de l’utilisateur ainsi que si l’utilisateur est davantage satisfait de son expérience avec l’adaptation. Les résultats démontrent que le système d’adaptation peut détecter le besoin d’aide grâce à deux modèles d’apprentissage machine entraînés différemment, l’un généralisé et l’autre personalisé, avec des performances respectives de 53.4% et 67.5% par rapport à un niveau de chance de 33.3%.

De la maltraitance à l’enfance aux comportements d’agression à l’âge adulte : quel est le rôle de la réactivité émotionnelle et comportementale?

En dépit des efforts déployés pour diminuer la prévalence de la maltraitance à l’enfance, celle-ci serait associée à des difficultés non négligeables, dont la manifestation d’agression. La réactivité émotionnelle et comportementale, incluant la colère, la peur et l’évitement, est proposée comme mécanisme expliquant la relation unissant la maltraitance à l’agression. Quatre objectifs sont poursuivis à cette fin, soit d’examiner la relation notée entre: (1) la maltraitance et l’agression, (2) la maltraitance et la colère, la peur, ainsi que l’évitement, (3) la colère, la peur, ainsi que l’évitement et l’agression et (4) tester formellement le rôle médiateur et modérateur de la colère, la peur et l’évitement à cette relation. Les données de 160 hommes âgés de 18 à 35 ans ayant été exposés ou non à de la maltraitance ont été colligées par le biais de questionnaires et d’une tâche de provocation sociale permettant de mesurer les expressions faciales de colère et de peur, ainsi que les comportements d’évitement. Les résultats suggèrent que la maltraitance et les comportements d’évitement sont associés à l’agression. La maltraitance ne serait toutefois pas liée à la colère, à la peur et à l’évitement. Alors que les résultats suggèrent que ces indices n’aient pas de rôles médiateurs dans la relation entre la maltraitance et l’agression, la réactivité aux plans de la colère et de l’évitement magnifierait cette relation. Ainsi, les résultats invitent à prendre en compte les expériences de maltraitance et l’intensité de la réactivité émotionnelle et comportementale dans les interventions afin de cibler les individus plus à risque d’avoir recours à l’agression.

A virtual agent to sustaining children's engagement in language learning

In this thesis we aimed to explore the potential of gamification - defined as “the use of game elements in non-game contexts” [30] - in increasing children's (aged 5 to 6) engagement with the task. This is mainly due to the fact that our world is living a technological era, and videogames are an example of this engagement by being able to maintain children’s (and adults) engagement for hours straight. For the purpose of limiting complexity, we only addressed the feedback element by introducing it with an anthropomorphic virtual agent (human-like aspect), because research shows that virtual agents (VA’s) can influence behavioural change [17], or even induce emotions on humans both through the use of feedback provided and their facial expressions, which can interpreted in the same way as of humans’ [2]. By pairing the VA with the gamification concept, we wanted to 1) create a VA that is likely to be well-received by children (appearance and behaviour), and 2) have the immediate feedback that games have, so we can give children an assessment of their actions in real-time, as opposed to waiting for feedback from someone (traditional teaching), and with this give students more chances to succeed [32, 43]. Our final system consisted on a virtual environment, where children formed words that corresponded to a given image. In order to measure the impact that the VA had on engagement, the system was developed in two versions: one version of the system was limited to provide a simple feedback environment, where the VA provided feedback, by responding with simple phrases (i.e. “correct” or “incorrect”); for the second version, the VA had a more complex approach where it tried to encourage children to complete the word – a motivational feedback - even when they weren’t succeeding. Lastly we conducted a field study with two groups of children, where one group tested the version with the simple feedback, and the other group tested the ‘motivational’ version of the system. We used a quantitative approach to analyze the collected data that measured the engagement, based on the number of tasks (words) completed and time spent with system. The results of the evaluation showed that the use of motivational feedback may carry a positive effect on engaging children.

Corrélats comportementaux et neuronaux de l’exposition répétée à la douleur d’autrui dans une perspective de douleur chronique

L’estimation de la douleur chez autrui peut être influencée par différents facteurs liés à la personne en douleur, à l’observateur ou bien à l’interaction entre ces derniers. Parmi ces facteurs, l’exposition répétée à la douleur d’autrui, dans les milieux de soins ou dans une relation dans laquelle un des deux conjoints souffre de douleur chronique, a souvent été liée à une sous-estimation de la douleur d’autrui. L’objectif de cette thèse visait à mesurer les impacts de l’exposition répétée à la douleur d’autrui sur l’estimation subséquente de la douleur des autres, mais aussi sur l’activité cérébrale lors de l’observation de la douleur d’autrui et finalement, sur l’estimation de la douleur chez les conjoints de patients atteints de douleur chronique. La première étude expérimentale a permis d’isoler le facteur d’exposition répétée à la douleur d’autrui des autres facteurs confondants pouvant moduler l’estimation de la douleur d’autrui. Ainsi, il a été démontré que l’exposition répétée à la douleur d’autrui diminuait l’évaluation subséquente de la douleur des autres. Dans la seconde étude, il a été démontré en imagerie par résonance magnétique fonctionnelle que l’exposition répétée à la douleur d’autrui entrainait des changements dans l’activité cérébrale de certaines régions associées au traitement affectif (l’insula bilatérale), mais aussi cognitif de la douleur (sulcus temporal supérieur ; précunéus), lors de l’observation de la douleur d’autrui. Finalement, la troisième étude expérimentale, celle-ci proposant une visée plus clinique, a permis de démontrer que les conjoints de patients atteints de douleur chronique ne surestiment pas la douleur de leur conjoint, mais qu’ils perçoivent de la douleur même dans des expressions faciales neutres. L’ensemble de ces résultats suggère que chez les sujets sains, l’exposition répétée à la douleur d’autrui entraine une sous-estimation de la douleur chez l’autre et des changements dans le réseau de la matrice de la douleur lors de l’observation de la douleur des autres. En définitive, ces résultats démontrent que l’exposition répétée à la douleur d’autrui, dans un contexte expérimental, a des impacts majeurs sur l’observateur et son jugement de l’intensité de la douleur.

A virtual agent to sustaining children's engagement in language learning

In this thesis we aimed to explore the potential of gamification - defined as “the use of game elements in non-game contexts” [30] - in increasing children's (aged 5 to 6) engagement with the task. This is mainly due to the fact that our world is living a technological era, and videogames are an example of this engagement by being able to maintain children’s (and adults) engagement for hours straight. For the purpose of limiting complexity, we only addressed the feedback element by introducing it with an anthropomorphic virtual agent (human-like aspect), because research shows that virtual agents (VA’s) can influence behavioural change [17], or even induce emotions on humans both through the use of feedback provided and their facial expressions, which can interpreted in the same way as of humans’ [2]. By pairing the VA with the gamification concept, we wanted to 1) create a VA that is likely to be well-received by children (appearance and behaviour), and 2) have the immediate feedback that games have, so we can give children an assessment of their actions in real-time, as opposed to waiting for feedback from someone (traditional teaching), and with this give students more chances to succeed [32, 43]. Our final system consisted on a virtual environment, where children formed words that corresponded to a given image. In order to measure the impact that the VA had on engagement, the system was developed in two versions: one version of the system was limited to provide a simple feedback environment, where the VA provided feedback, by responding with simple phrases (i.e. “correct” or “incorrect”); for the second version, the VA had a more complex approach where it tried to encourage children to complete the word – a motivational feedback - even when they weren’t succeeding. Lastly we conducted a field study with two groups of children, where one group tested the version with the simple feedback, and the other group tested the ‘motivational’ version of the system. We used a quantitative approach to analyze the collected data that measured the engagement, based on the number of tasks (words) completed and time spent with system. The results of the evaluation showed that the use of motivational feedback may carry a positive effect on engaging children.

Social competence and emotional comprehension: How are they related in children?

The developmental progression of emotional competence in childhood provides a robust evidence for its relation to social competence and important adjustment outcomes. This study aimed to analyze how this association is established in middle childhood. For this purpose, we tested 182 Portuguese children aged between 8 and 11 years, of 3rd and 4th grades, in public schools. Firstly, for assessing social competence we used an instrument directed to children using critical social situations within the relationships with peers in the school context - Socially in Action-Peers (SAp) (Rocha, Candeias & Lopes da Silva, 2012); children were assessed by three sources: themselves, their peers and their teacher. Secondly, we assessed children’s emotional understanding, individually, with the Test of Emotion Comprehension (Pons & Harris, 2002; Pons, Harris & Rosnay, 2004). Relations between social competence levels (in a composite score and using self, peers and teachers’ scores) and emotional comprehension components (comprehension of the recognition of emotions, based on facial expressions; external emotional causes; contribute of desire to emotion; emotions based on belief; memory influence under emotional state evaluation; possibility of emotional regulation; possibility of hiding an emotional state; having mixed emotions; contribution of morality to emotion experience) were investigated by means of two SSA (Similarity Structure Analysis) - a Multidimensional Scaling procedure and the external variable as points technique. In the first structural analysis (SSA) we will consider self, peers and teachers’ scores on Social Competence as content variables and TEC as external variable; in the second SSA we will consider TEC components as content variables and Social Competence in their different levels as external variable. The implications of these MDS procedures in order to better understand how social competence and emotional comprehension are related in children is discussed, as well as the repercussions of these findings for social competence and emotional understanding assessment and intervention in childhood is examined.

Test of Emotion Comprehension: Exploring the underlying structure through Confirmatory Factor Analysis and Similarity Structure Analysis

Some decades of research on emotional development have underlined the contribution of several domains to emotional understanding in childhood. Based on this research, Pons and colleagues (Pons & Harris, 2002; Pons, Harris & Rosnay, 2004) have proposed the Test of Emotion Comprehension (TEC) which assesses nine domains of emotional understanding, namely the recognition of emotions, based on facial expressions; the comprehension of external emotional causes; impact of desire on emotions; emotions based on beliefs; memory influence on emotions; possibility of emotional regulation; possibility of hiding an emotional state; having mixed emotions; contribution of morality to emotional experiences. This instrument was administered individually to 182 Portuguese children aged between 8 and 11 years, of 3rd and 4th grades, in public schools. Additionally, we used the Socially in Action-Peers (SAp) (Rocha, Candeias & Lopes da Silva, 2012) to assess TEC’s criterion-related validity. Mean differences results in TEC by gender and by socio-economic status (SES) were analyzed. The results of the TEC’s psychometric analysis were performed in terms of items’ sensitivity and reliability (stability, test-retest). Finally, in order to explore the theoretical structure underlying TEC a Confirmatory Factor Analysis and a Similarity Structure Analysis were computed. Implications of these findings for emotional understanding assessment and intervention in childhood are discussed.

Examining the impact of trait anxiety on the recognition of facial emotional expressions

Question : Cette thèse comporte deux articles portant sur l’étude d’expressions faciales émotionnelles. Le processus de développement d’une nouvelle banque de stimuli émotionnels fait l’objet du premier article, alors que le deuxième article utilise cette banque pour étudier l’effet de l’anxiété de trait sur la reconnaissance des expressions statiques. Méthodes : Un total de 1088 clips émotionnels (34 acteurs X 8 émotions X 4 exemplaire) ont été alignés spatialement et temporellement de sorte que les yeux et le nez de chaque acteur occupent le même endroit dans toutes les vidéos. Les vidéos sont toutes d’une durée de 500ms et contiennent l’Apex de l’expression. La banque d’expressions statiques fut créée à partir de la dernière image des clips. Les stimuli ont été soumis à un processus de validation rigoureux. Dans la deuxième étude, les expressions statiques sont utilisées conjointement avec la méthode Bubbles dans le but d’étudier la reconnaissance des émotions chez des participants anxieux. Résultats : Dans la première étude, les meilleurs stimuli ont été sélectionnés [2 (statique & dynamique) X 8 (expressions) X 10 (acteurs)] et forment la banque d’expressions STOIC. Dans la deuxième étude, il est démontré que les individus présentant de l'anxiété de trait utilisent préférentiellement les basses fréquences spatiales de la région buccale du visage et ont une meilleure reconnaissance des expressions de peur. Discussion : La banque d’expressions faciales STOIC comporte des caractéristiques uniques qui font qu’elle se démarque des autres. Elle peut être téléchargée gratuitement, elle contient des vidéos naturelles et tous les stimuli ont été alignés, ce qui fait d’elle un outil de choix pour la communauté scientifique et les cliniciens. Les stimuli statiques de STOIC furent utilisés pour franchir une première étape dans la recherche sur la perception des émotions chez des individus présentant de l’anxiété de trait. Nous croyons que l’utilisation des basses fréquences est à la base des meilleures performances de ces individus, et que l’utilisation de ce type d’information visuelle désambigüise les expressions de peur et de surprise. Nous pensons également que c’est la névrose (chevauchement entre l'anxiété et la dépression), et non l’anxiété même qui est associée à de meilleures performances en reconnaissance d’expressions faciales de la peur. L’utilisation d’instruments mesurant ce concept devrait être envisagée dans de futures études.