Modélisation des émotions de l’apprenant et interventions implicites pour les systèmes tutoriels intelligents

La modélisation de l’expérience de l’utilisateur dans les Interactions Homme-Machine est un enjeu important pour la conception et le développement des systèmes adaptatifs intelligents. Dans ce contexte, une attention particulière est portée sur les réactions émotionnelles de l’utilisateur, car elles ont une influence capitale sur ses aptitudes cognitives, comme la perception et la prise de décision. La modélisation des émotions est particulièrement pertinente pour les Systèmes Tutoriels Émotionnellement Intelligents (STEI). Ces systèmes cherchent à identifier les émotions de l’apprenant lors des sessions d’apprentissage, et à optimiser son expérience d’interaction en recourant à diverses stratégies d’interventions. Cette thèse vise à améliorer les méthodes de modélisation des émotions et les stratégies émotionnelles utilisées actuellement par les STEI pour agir sur les émotions de l’apprenant. Plus précisément, notre premier objectif a été de proposer une nouvelle méthode pour détecter l’état émotionnel de l’apprenant, en utilisant différentes sources d’informations qui permettent de mesurer les émotions de façon précise, tout en tenant compte des variables individuelles qui peuvent avoir un impact sur la manifestation des émotions. Pour ce faire, nous avons développé une approche multimodale combinant plusieurs mesures physiologiques (activité cérébrale, réactions galvaniques et rythme cardiaque) avec des variables individuelles, pour détecter une émotion très fréquemment observée lors des sessions d’apprentissage, à savoir l’incertitude. Dans un premier lieu, nous avons identifié les indicateurs physiologiques clés qui sont associés à cet état, ainsi que les caractéristiques individuelles qui contribuent à sa manifestation. Puis, nous avons développé des modèles prédictifs permettant de détecter automatiquement cet état à partir des différentes variables analysées, à travers l’entrainement d’algorithmes d’apprentissage machine. Notre deuxième objectif a été de proposer une approche unifiée pour reconnaître simultanément une combinaison de plusieurs émotions, et évaluer explicitement l’impact de ces émotions sur l’expérience d’interaction de l’apprenant. Pour cela, nous avons développé une plateforme hiérarchique, probabiliste et dynamique permettant de suivre les changements émotionnels de l'apprenant au fil du temps, et d’inférer automatiquement la tendance générale qui caractérise son expérience d’interaction à savoir : l’immersion, le blocage ou le décrochage. L’immersion correspond à une expérience optimale : un état dans lequel l'apprenant est complètement concentré et impliqué dans l’activité d’apprentissage. L’état de blocage correspond à une tendance d’interaction non optimale où l'apprenant a de la difficulté à se concentrer. Finalement, le décrochage correspond à un état extrêmement défavorable où l’apprenant n’est plus du tout impliqué dans l’activité d’apprentissage. La plateforme proposée intègre trois modalités de variables diagnostiques permettant d’évaluer l’expérience de l’apprenant à savoir : des variables physiologiques, des variables comportementales, et des mesures de performance, en combinaison avec des variables prédictives qui représentent le contexte courant de l’interaction et les caractéristiques personnelles de l'apprenant. Une étude a été réalisée pour valider notre approche à travers un protocole expérimental permettant de provoquer délibérément les trois tendances ciblées durant l’interaction des apprenants avec différents environnements d’apprentissage. Enfin, notre troisième objectif a été de proposer de nouvelles stratégies pour influencer positivement l’état émotionnel de l’apprenant, sans interrompre la dynamique de la session d’apprentissage. Nous avons à cette fin introduit le concept de stratégies émotionnelles implicites : une nouvelle approche pour agir subtilement sur les émotions de l’apprenant, dans le but d’améliorer son expérience d’apprentissage. Ces stratégies utilisent la perception subliminale, et plus précisément une technique connue sous le nom d’amorçage affectif. Cette technique permet de solliciter inconsciemment les émotions de l’apprenant, à travers la projection d’amorces comportant certaines connotations affectives. Nous avons mis en œuvre une stratégie émotionnelle implicite utilisant une forme particulière d’amorçage affectif à savoir : le conditionnement évaluatif, qui est destiné à améliorer de façon inconsciente l’estime de soi. Une étude expérimentale a été réalisée afin d’évaluer l’impact de cette stratégie sur les réactions émotionnelles et les performances des apprenants.

The autotelic experience : a design approach to user experience

Si les principes d’utilisabilité guident la conception de solutions de design interactif pour s’assurer que celles-ci soient « utilisables », quels principes guident la conception d’objets interactifs pour s’assurer que l’expérience subjective de l’usager (UX) soit adéquate et mémorable? Que manque-t-il au cadre de l‘UX pour expliquer, comprendre, et anticiper en tant que designer une expérience mémorable (‘an experience’; Dewey, 1934)? La question centrale est issue d’une double problématique : (1) le cadre théorique de l’UX est incomplet, et (2) les processus et capacités des designers ne sont pas considérés et utilisés à leur pleine capacité en conception UX. Pour répondre à cette question, nous proposons de compléter les modèles de l’UX avec la notion d’expérience autotélique qui appartient principalement à deux cadres théoriques ayant bien cerné l’expérience subjective, soit l’expérience optimale (ou Flow) de Csikszentmihalyi (1988) et l’expérience esthétique selon Schaeffer (2001). L’autotélie est une dimension interne du Flow alors qu’elle couvre toute l’expérience esthétique. L’autotélie est une expérience d’éveil au moment même de l’interaction. Cette prise de conscience est accompagnée d’une imperceptible tension de vouloir faire durer ce moment pour faire durer le plaisir qu’il génère. Trois études exploratoires ont été faites, s’appuyant sur une analyse faite à partir d’un cadre théorique en trois parties : le Flow, les signes d’activité non verbale (les gestes physiques) et verbale (le discours) ont été évalués pour voir comment ceux-ci s’associent. Nos résultats tendent à prouver que les processus spatiaux jouent un rôle de premier plan dans l’expérience autotélique et par conséquent dans une UX optimale. De plus, ils suggèrent que les expériences pragmatique et autotélique sont ancrées dans un seul et même contenu, et que leur différence tient au type d’attention que le participant porte sur l’interaction, l’attention ordinaire ou de type autotélique. Ces résultats nous ont menés à proposer un modèle pour la conception UX. L’élément nouveau, resté jusqu’alors inaperçu, consiste à s’assurer que l’interface (au sens large) appelle une attitude réceptive à l’inattendu, pour qu’une information puisse déclencher les processus spatiaux, offrant une opportunité de passer de l’attention ordinaire à l’attention autotélique. Le nouveau modèle ouvre la porte à une meilleure valorisation des habiletés et processus du designer au sein de l’équipe multidisciplinaire en conception UX.