Corps et âme en mouvement. Expression et signification du mouvement dans la peinture de vases en Grèce ancienne (VIe-IVe s. av. J.-C.). Ivresse, possession divine et mort.

Thèse réalisée en cotutelle avec l'université de Franche-Comté, école doctorale Langage, espace, temps et société.

Analyse de mouvements faciaux à partir d'images vidéo

Lors d'une intervention conversationnelle, le langage est supporté par une communication non-verbale qui joue un rôle central dans le comportement social humain en permettant de la rétroaction et en gérant la synchronisation, appuyant ainsi le contenu et la signification du discours. En effet, 55% du message est véhiculé par les expressions faciales, alors que seulement 7% est dû au message linguistique et 38% au paralangage. L'information concernant l'état émotionnel d'une personne est généralement inférée par les attributs faciaux. Cependant, on ne dispose pas vraiment d'instruments de mesure spécifiquement dédiés à ce type de comportements. En vision par ordinateur, on s'intéresse davantage au développement de systèmes d'analyse automatique des expressions faciales prototypiques pour les applications d'interaction homme-machine, d'analyse de vidéos de réunions, de sécurité, et même pour des applications cliniques. Dans la présente recherche, pour appréhender de tels indicateurs observables, nous essayons d'implanter un système capable de construire une source consistante et relativement exhaustive d'informations visuelles, lequel sera capable de distinguer sur un visage les traits et leurs déformations, permettant ainsi de reconnaître la présence ou absence d'une action faciale particulière. Une réflexion sur les techniques recensées nous a amené à explorer deux différentes approches. La première concerne l'aspect apparence dans lequel on se sert de l'orientation des gradients pour dégager une représentation dense des attributs faciaux. Hormis la représentation faciale, la principale difficulté d'un système, qui se veut être général, est la mise en œuvre d'un modèle générique indépendamment de l'identité de la personne, de la géométrie et de la taille des visages. La démarche qu'on propose repose sur l'élaboration d'un référentiel prototypique à partir d'un recalage par SIFT-flow dont on démontre, dans cette thèse, la supériorité par rapport à un alignement conventionnel utilisant la position des yeux. Dans une deuxième approche, on fait appel à un modèle géométrique à travers lequel les primitives faciales sont représentées par un filtrage de Gabor. Motivé par le fait que les expressions faciales sont non seulement ambigües et incohérentes d'une personne à une autre mais aussi dépendantes du contexte lui-même, à travers cette approche, on présente un système personnalisé de reconnaissance d'expressions faciales, dont la performance globale dépend directement de la performance du suivi d'un ensemble de points caractéristiques du visage. Ce suivi est effectué par une forme modifiée d'une technique d'estimation de disparité faisant intervenir la phase de Gabor. Dans cette thèse, on propose une redéfinition de la mesure de confiance et introduisons une procédure itérative et conditionnelle d'estimation du déplacement qui offrent un suivi plus robuste que les méthodes originales.

Le visage de la douleur : informations efficientes pour la reconnaissance et impacts sur l’observateur.

L’expression faciale de la douleur occupe un rôle central dans la communication de la douleur et dans l’estimation de l’intensité de la douleur vécue par autrui. Les propriétés du visage d’une personne en souffrance ont été investiguées principalement à l’aide de méthodes descriptives (e.g. FACS). L’introduction fait le point sur les connaissances de l’expression faciale de douleur et de la communication de cette expérience sur les plans comportemental et cérébral et souligne que les mécanismes et stratégies visuels utilisés par l’observateur pour parvenir à détecter la douleur dans le visage d’autrui demeurent très peu connus. L’étude des processus impliqués dans la reconnaissance de l’expression de la douleur est essentielle pour comprendre la communication de la douleur et éventuellement expliquer des phénomènes ayant des impacts cliniques considérables, tel que l’effet classique de sous-estimation de la douleur d’autrui. L’article 1 vise à établir à l’aide d’une méthode directe (Bubbles) les informations visuelles utilisées efficacement par l’observateur lorsqu’il doit catégoriser la douleur parmi les émotions de base. Les résultats montrent que parmi l’ensemble des caractéristiques du visage typique de la douleur, peu d’informations sont vraiment efficaces pour parvenir à cette discrimination et que celles qui le sont encodent la partie affective- motivationnelle de l’expérience d’autrui. L’article 2 investigue le pouvoir de ces régions privilégiées du visage de la douleur dans la modulation d’une expérience nociceptive chez l’observateur afin de mieux comprendre les mécanismes impliqués dans une telle modulation. En effet, s’il est connu que des stimuli ayant une valence émotionnelle négative, y compris des expressions faciales de douleur, peuvent augmenter les réponses spinales (réflexes) et supra-spinales (ex.: perceptives) de la douleur, l’information visuelle suffisante pour permettre l’activation des voies modulatrices demeure inconnue. Les résultats montrent qu’en voyant les régions diagnostiques pour la reconnaissance de l’expression faciale de douleur, la douleur perçue par l’observateur suite à une stimulation nociceptive est plus grande que lorsqu’il voit les régions les moins corrélées avec une bonne reconnaissance de la douleur. L’exploration post-expérimentale des caractéristiques de nos stimuli suggère que cette modulation n’est pas explicable par l’induction d’un état émotionnel négatif, appuyant ainsi un rôle prépondérant de la communication de la douleur dans la modulation vicariante de l’expérience douloureuse de l’observateur. Les mesures spinales ne sont toutefois pas modulées par ces manipulations et suggèrent ainsi que ce ne sont pas des voies cérébro-spinale qui sont impliquées dans ce phénomène.

L’utilisation de l’information visuelle en reconnaissance d’expressions faciales d’émotion

L’aptitude à reconnaitre les expressions faciales des autres est cruciale au succès des interactions sociales. L’information visuelle nécessaire à la catégorisation des expressions faciales d’émotions de base présentées de manière statique est relativement bien connue. Toutefois, l’information utilisée pour discriminer toutes les expressions faciales de base entre elle demeure encore peu connue, et ce autant pour les expressions statiques que dynamiques. Plusieurs chercheurs assument que la région des yeux est particulièrement importante pour arriver à « lire » les émotions des autres. Le premier article de cette thèse vise à caractériser l’information utilisée par le système visuel pour discriminer toutes les expressions faciales de base entre elles, et à vérifier l’hypothèse selon laquelle la région des yeux est cruciale pour cette tâche. La méthode des Bulles (Gosselin & Schyns, 2001) est utilisée avec des expressions faciales statiques (Exp. 1) et dynamiques (Exp. 2) afin de trouver quelles régions faciales sont utilisées (Exps. 1 et 2), ainsi que l’ordre temporel dans lequel elles sont utilisées (Exp. 2). Les résultats indiquent que, contrairement à la croyance susmentionnée, la région de la bouche est significativement plus utile que la région des yeux pour discriminer les expressions faciales de base. Malgré ce rôle prépondérant de la bouche, c’est toute de même la région des yeux qui est sous-utilisée chez plusieurs populations cliniques souffrant de difficultés à reconnaitre les expressions faciales. Cette observation pourrait suggérer que l’utilisation de la région des yeux varie en fonction de l’habileté pour cette tâche. Le deuxième article de cette thèse vise donc à vérifier comment les différences individuelles en reconnaissance d’expressions faciales sont reliées aux stratégies d’extraction de l’information visuelle pour cette tâche. Les résultats révèlent une corrélation positive entre l’utilisation de la région de la bouche et l’habileté, suggérant la présence de différences qualitatives entre la stratégie des patients et celle des normaux. De plus, une corrélation positive est retrouvée entre l’utilisation de l’œil gauche et l’habileté des participants, mais aucune corrélation n’est retrouvée entre l’utilisation de l’œil droit et l’habileté. Ces résultats indiquent que la stratégie des meilleurs participants ne se distingue pas de celle des moins bons participants simplement par une meilleure utilisation de l’information disponible dans le stimulus : des différences qualitatives semblent exister même au sein des stratégies des participants normaux.

Reconnaissance émotionnelle faciale et psychopathie : un protocole exploratoire à l’aide de personnages virtuels animés

La présente recherche est constituée de deux études. Dans l’étude 1, il s’agit d’améliorer la validité écologique des travaux sur la reconnaissance émotionnelle faciale (REF) en procédant à la validation de stimuli qui permettront d’étudier cette question en réalité virtuelle. L’étude 2 vise à documenter la relation entre le niveau de psychopathie et la performance à une tâche de REF au sein d’un échantillon de la population générale. Pour ce faire, nous avons créé des personnages virtuels animés de différentes origines ethniques exprimant les six émotions fondamentales à différents niveaux d’intensité. Les stimuli, sous forme statique et dynamique, ont été évalués par des étudiants universitaires. Les résultats de l’étude 1 indiquent que les stimuli virtuels, en plus de comporter plusieurs traits distinctifs, constituent un ensemble valide pour étudier la REF. L’étude 2 a permis de constater qu’un score plus élevé à l’échelle de psychopathie, spécifiquement à la facette de l’affect plat, est associé à une plus grande sensibilité aux expressions émotionnelles, particulièrement pour la tristesse. Inversement, un niveau élevé de tendances criminelles est, pour sa part, associé à une certaine insensibilité générale et à un déficit spécifique pour le dégoût. Ces résultats sont spécifiques aux participants masculins. Les données s’inscrivent dans une perspective évolutive de la psychopathie. L’étude met en évidence l’importance d’étudier l’influence respective des facettes de la personnalité psychopathique, ce même dans des populations non-cliniques. De plus, elle souligne la manifestation différentielle des tendances psychopathiques chez les hommes et chez les femmes.

L’influence du vieillissement normal et pathologique sur le traitement des expressions faciales et du jugement de confiance

Déterminer si quelqu’un est digne de confiance constitue, tout au long de notre vie, une décision à la base de nos interactions sociales quotidiennes. Des études récentes chez les jeunes adultes ont proposé que le jugement de confiance basé sur un visage constituerait une extension des processus de reconnaissance des expressions faciales, particulièrement de la colère et de la joie (Todorov, 2008). Bien que le jugement de confiance soit d’une grande importance tout au long de notre vie, à notre connaissance, aucune étude n’a tenté d’explorer l’évolution de ce processus au cours du vieillissement. Pourtant, sachant que les personnes âgées saines sont moins efficaces que les jeunes adultes pour reconnaître les expressions faciales émotionnelles (Ruffman et al., 2008; Calder et al., 2003), des différences pourraient exister dans les capacités de ces deux groupes d’âge à poser un jugement de confiance. Le présent travail a permis d’explorer, pour une première fois, les processus perceptifs sous-jacents au jugement de confiance chez une population âgée saine ainsi que chez une population présentant une démence fronto-temporale. Les résultats démontrent que les représentations de colère, de joie et de confiance sont similaires chez les jeunes et les âgés sains et suggèrent qu’il existe bel et bien un lien entre le jugement de confiance et les jugements de joie et de colère. De plus, ils révèlent que ce lien persiste au cours vieillissement, mais que les adultes âgés sains se fient davantage à leur représentation de la colère que les jeunes adultes pour déterminer si un visage est digne de confiance ou non. Enfin, les patients présentant une démence fronto-temporale possèdent des représentations différentes des âgés sains en ce qui concerne la colère, la joie et la confiance, et ils semblent se fier davantage à leur représentation de la joie que les âgés sains pour déterminer le niveau de confiance d’un visage.

Leveraging noisy side information for disentangling of factors of variation in a supervised setting

Ce mémoire est composé de trois articles et présente les résultats de travaux de recherche effectués dans le but d'améliorer les techniques actuelles permettant d'utiliser des données associées à certaines tâches dans le but d'aider à l'entraînement de réseaux de neurones sur une tâche différente. Les deux premiers articles présentent de nouveaux ensembles de données créés pour permettre une meilleure évaluation de ce type de techniques d'apprentissage machine. Le premier article introduit une suite d'ensembles de données pour la tâche de reconnaissance automatique de chiffres écrits à la main. Ces ensembles de données ont été générés à partir d'un ensemble de données déjà existant, MNIST, auquel des nouveaux facteurs de variation ont été ajoutés. Le deuxième article introduit un ensemble de données pour la tâche de reconnaissance automatique d'expressions faciales. Cet ensemble de données est composé d'images de visages qui ont été collectées automatiquement à partir du Web et ensuite étiquetées. Le troisième et dernier article présente deux nouvelles approches, dans le contexte de l'apprentissage multi-tâches, pour tirer avantage de données pour une tâche donnée afin d'améliorer les performances d'un modèle sur une tâche différente. La première approche est une généralisation des neurones Maxout récemment proposées alors que la deuxième consiste en l'application dans un contexte supervisé d'une technique permettant d'inciter des neurones à apprendre des fonctions orthogonales, à l'origine proposée pour utilisation dans un contexte semi-supervisé.

Réactions des bébés au chant et à la parole : impacts sur l’attention et l’affect

Les parents à travers le monde chantent et parlent à leurs bébés. Ces deux types de vocalisations aux enfants préverbaux partagent plusieurs similarités de même que des différences, mais leurs conséquences sur les bébés demeurent méconnues. L’objectif de cette thèse était de documenter l’efficacité relative du chant et de la parole à capter l’attention des bébés sur de courtes périodes de temps (Étude 1) ainsi qu’à réguler l’affect des bébés en maintenant un état de satisfaction sur une période de temps prolongée (Étude 2). La première étude a exploré les réactions attentionnelles des bébés exposés à des enregistrements audio non familiers de chant et de parole. Lors de l’expérience 1, des bébés de 4 à 13 mois ont été exposés à de la parole joyeuse s’adressant au bébé (séquences de syllabes) et des berceuses fredonnées par la même femme. Ils ont écouté significativement plus longtemps la parole, qui contenait beaucoup plus de variabilité acoustique et d’expressivité que les berceuses. Dans l’expérience 2, des bébés d’âges comparables n’ont montré aucune écoute différentielle face à une version parlée ou chantée d’une chanson pour enfant turque, les deux versions étant exprimées de façon joyeuse / heureuse. Les bébés de l’expérience 3, ayant entendu la version chantée de la chanson turque ainsi qu’une version parlée de façon affectivement neutre ou s’adressant à l’adulte, ont écouté significativement plus longtemps la version chantée. Dans l’ensemble, la caractéristique vocale joyeuse plutôt que le mode vocal (chanté versus parlé) était le principal déterminant de l’attention du bébé, indépendamment de son âge. Dans la seconde étude, la régulation affective des bébés a été explorée selon l’exposition à des enregistrements audio non familiers de chant ou de parole. Les bébés ont été exposés à du chant ou de la parole jusqu’à ce qu’ils rencontrent un critère d’insatisfaction exprimée dans le visage. Lors de l’expérience 1, des bébés de 7 à 10 mois ont écouté des enregistrements de paroles s’adressant au bébé, de paroles s’adressant à l’adulte ou du chant dans une langue non familière (turque). Les bébés ont écouté le chant près de deux fois plus longtemps que les paroles avant de manifester de l’insatisfaction. Lors de l’expérience 2, des bébés ont été exposés à des enregistrements de paroles ou de chants issus d’interactions naturelles entre la mère et son bébé, dans une langue familière. Comme dans l’expérience 1, le chant s’adressant au bébé était considérablement plus efficace que les paroles pour retarder l’apparition du mécontentement. La construction temporelle du chant, avec notamment son rythme régulier, son tempo stable et ses répétitions, pourrait jouer un rôle important dans la régulation affective, afin de soutenir l’attention, rehausser la familiarité ou promouvoir l’écoute prédictive et l’entraînement. En somme, les études présentées dans cette thèse révèlent, pour la première fois, que le chant est un outil parental puissant, tout aussi efficace que la parole pour capter l’attention et plus efficace que la parole pour maintenir les bébés dans un état paisible. Ces découvertes soulignent l’utilité du chant dans la vie quotidienne et l’utilité potentielle du chant dans des contextes thérapeutiques variés impliquant des bébés.

De la maltraitance à l’enfance aux comportements d’agression à l’âge adulte : quel est le rôle de la réactivité émotionnelle et comportementale?

En dépit des efforts déployés pour diminuer la prévalence de la maltraitance à l’enfance, celle-ci serait associée à des difficultés non négligeables, dont la manifestation d’agression. La réactivité émotionnelle et comportementale, incluant la colère, la peur et l’évitement, est proposée comme mécanisme expliquant la relation unissant la maltraitance à l’agression. Quatre objectifs sont poursuivis à cette fin, soit d’examiner la relation notée entre: (1) la maltraitance et l’agression, (2) la maltraitance et la colère, la peur, ainsi que l’évitement, (3) la colère, la peur, ainsi que l’évitement et l’agression et (4) tester formellement le rôle médiateur et modérateur de la colère, la peur et l’évitement à cette relation. Les données de 160 hommes âgés de 18 à 35 ans ayant été exposés ou non à de la maltraitance ont été colligées par le biais de questionnaires et d’une tâche de provocation sociale permettant de mesurer les expressions faciales de colère et de peur, ainsi que les comportements d’évitement. Les résultats suggèrent que la maltraitance et les comportements d’évitement sont associés à l’agression. La maltraitance ne serait toutefois pas liée à la colère, à la peur et à l’évitement. Alors que les résultats suggèrent que ces indices n’aient pas de rôles médiateurs dans la relation entre la maltraitance et l’agression, la réactivité aux plans de la colère et de l’évitement magnifierait cette relation. Ainsi, les résultats invitent à prendre en compte les expériences de maltraitance et l’intensité de la réactivité émotionnelle et comportementale dans les interventions afin de cibler les individus plus à risque d’avoir recours à l’agression.

Examining the impact of trait anxiety on the recognition of facial emotional expressions

Question : Cette thèse comporte deux articles portant sur l’étude d’expressions faciales émotionnelles. Le processus de développement d’une nouvelle banque de stimuli émotionnels fait l’objet du premier article, alors que le deuxième article utilise cette banque pour étudier l’effet de l’anxiété de trait sur la reconnaissance des expressions statiques. Méthodes : Un total de 1088 clips émotionnels (34 acteurs X 8 émotions X 4 exemplaire) ont été alignés spatialement et temporellement de sorte que les yeux et le nez de chaque acteur occupent le même endroit dans toutes les vidéos. Les vidéos sont toutes d’une durée de 500ms et contiennent l’Apex de l’expression. La banque d’expressions statiques fut créée à partir de la dernière image des clips. Les stimuli ont été soumis à un processus de validation rigoureux. Dans la deuxième étude, les expressions statiques sont utilisées conjointement avec la méthode Bubbles dans le but d’étudier la reconnaissance des émotions chez des participants anxieux. Résultats : Dans la première étude, les meilleurs stimuli ont été sélectionnés [2 (statique & dynamique) X 8 (expressions) X 10 (acteurs)] et forment la banque d’expressions STOIC. Dans la deuxième étude, il est démontré que les individus présentant de l'anxiété de trait utilisent préférentiellement les basses fréquences spatiales de la région buccale du visage et ont une meilleure reconnaissance des expressions de peur. Discussion : La banque d’expressions faciales STOIC comporte des caractéristiques uniques qui font qu’elle se démarque des autres. Elle peut être téléchargée gratuitement, elle contient des vidéos naturelles et tous les stimuli ont été alignés, ce qui fait d’elle un outil de choix pour la communauté scientifique et les cliniciens. Les stimuli statiques de STOIC furent utilisés pour franchir une première étape dans la recherche sur la perception des émotions chez des individus présentant de l’anxiété de trait. Nous croyons que l’utilisation des basses fréquences est à la base des meilleures performances de ces individus, et que l’utilisation de ce type d’information visuelle désambigüise les expressions de peur et de surprise. Nous pensons également que c’est la névrose (chevauchement entre l'anxiété et la dépression), et non l’anxiété même qui est associée à de meilleures performances en reconnaissance d’expressions faciales de la peur. L’utilisation d’instruments mesurant ce concept devrait être envisagée dans de futures études.

Recognition of Facial Expressions with Autoencoders and Convolutional-Nets

Les humains communiquent via différents types de canaux: les mots, la voix, les gestes du corps, des émotions, etc. Pour cette raison, un ordinateur doit percevoir ces divers canaux de communication pour pouvoir interagir intelligemment avec les humains, par exemple en faisant usage de microphones et de webcams. Dans cette thèse, nous nous intéressons à déterminer les émotions humaines à partir d’images ou de vidéo de visages afin d’ensuite utiliser ces informations dans différents domaines d’applications. Ce mémoire débute par une brève introduction à l'apprentissage machine en s’attardant aux modèles et algorithmes que nous avons utilisés tels que les perceptrons multicouches, réseaux de neurones à convolution et autoencodeurs. Elle présente ensuite les résultats de l'application de ces modèles sur plusieurs ensembles de données d'expressions et émotions faciales. Nous nous concentrons sur l'étude des différents types d’autoencodeurs (autoencodeur débruitant, autoencodeur contractant, etc) afin de révéler certaines de leurs limitations, comme la possibilité d'obtenir de la coadaptation entre les filtres ou encore d’obtenir une courbe spectrale trop lisse, et étudions de nouvelles idées pour répondre à ces problèmes. Nous proposons également une nouvelle approche pour surmonter une limite des autoencodeurs traditionnellement entrainés de façon purement non-supervisée, c'est-à-dire sans utiliser aucune connaissance de la tâche que nous voulons finalement résoudre (comme la prévision des étiquettes de classe) en développant un nouveau critère d'apprentissage semi-supervisé qui exploite un faible nombre de données étiquetées en combinaison avec une grande quantité de données non-étiquetées afin d'apprendre une représentation adaptée à la tâche de classification, et d'obtenir une meilleure performance de classification. Finalement, nous décrivons le fonctionnement général de notre système de détection d'émotions et proposons de nouvelles idées pouvant mener à de futurs travaux.