Évaluation des jeux Kinect à l’aide du suivi physiologique, du suivi oculaire et des réactions faciales du joueur.

Les données sont analysées par le logiciel conçu par François Courtemanche et Féthi Guerdelli. L'expérimentation des jeux a eu lieu au Laboratoire de recherche en communication multimédia de l'Université de Montréal.

Exploitation des genres de textes pour assister les pratiques textuelles dans les environnements numériques de travail : le cas du courriel chez des cadres et des secrétaires dans une municipalité et une administration fédérale canadiennes

Notre recherche a pour but de déterminer comment les genres textuels peuvent être exploités dans le design des environnements numériques de travail afin de faciliter l’accomplissement des pratiques textuelles de cadres et de secrétaires dans une municipalité et une administration fédérale canadiennes. À cet effet, le premier objectif consiste à évaluer l’aptitude des environnements numériques de travail à supporter les pratiques textuelles (lecture, écriture et manipulation des textes) de ces employés. Le deuxième objectif est de décrire les rôles des genres textuels au cours des pratiques textuelles. Avec l’exemple du courriel, le troisième objectif vise à examiner comment le genre peut être exploité dans une perspective d’assistance à la réalisation des pratiques textuelles dans les environnements numériques de travail. Cette recherche de nature qualitative comporte une méthodologie en deux étapes. La première étape consiste en un examen minutieux des pratiques textuelles, des difficultés rencontrées au cours de celles-ci, du rôle du genre dans les environnements numériques de travail, ainsi que des indices sollicités au cours de la gestion du courriel. Trois modes de collecte des données qualitatives sont utilisés auprès de 17 cadres et de 17 secrétaires issus de deux administrations publiques : l’entrevue semi-dirigée, le journal de bord et l’enquête cognitive. Les résultats sont examinés à l’aide de stratégies d’analyse de contenu qualitative. La deuxième phase comprend la mise au point d’une chaîne de traitement du courriel, visant à étayer notre réflexion sur le genre textuel et son exploitation dans la conception des environnements numériques de travail. Un corpus de 1703 messages est élaboré à partir d’un échantillon remis par deux cadres gouvernementaux. Les résultats permettent d’abord de dresser un portrait général des pratiques de lecture, d’écriture et de manipulation des textes communes et spécifiques aux cadres et aux secrétaires. L’importance du courriel, qui constitue environ 40% des systèmes notés dans les journaux de bord, est soulignée. Les difficultés rencontrées dans les environnements numériques de travail sont également décrites. Dans un deuxième temps, les rôles du genre au cours des pratiques textuelles sont examinés en fonction d’une matrice tenant à la fois compte de ses dimensions individuelles et collectives, ainsi que de ses trois principales facettes ; la forme, le contenu et la fonction. Ensuite, nous présentons un cadre d’analyse des indices affectant la gestion du courriel qui synthétise le processus d’interprétation des messages par le destinataire. Une typologie des patrons de catégorisation des cadres est également définie, puis employée dans une expérimentation statistique visant la description et la catégorisation automatique du courriel. Au terme de ce processus, on observe des comportements linguistiques marqués en fonction des catégories du courriel. Il s’avère également que la catégorisation automatique basée sur le lexique des messages est beaucoup plus performante que la catégorisation non lexicale. À l’issue de cette recherche, nous suggérons d’enrichir le paradigme traditionnel relevant de l’interaction humain-ordinateur par une sémiotique du genre dans les environnements numériques de travail. L’étude propose également une réflexion sur l’appartenance du courriel à un genre, en ayant recours aux concepts théoriques d’hypergenre, de genre et de sous-genre. Le succès de la catégorisation automatique du courriel en fonction de facettes tributaires du genre (le contenu, la forme et la fonction) offre des perspectives intéressantes sur l’application de ce concept au design des environnements numériques de travail en vue de faciliter l’accomplissement des pratiques textuelles par les employés.

Configuration et exploitation d'une machine émotionnelle

Dans ce travail, nous explorons la faisabilité de doter les machines de la capacité de prédire, dans un contexte d'interaction homme-machine (IHM), l'émotion d'un utilisateur, ainsi que son intensité, de manière instantanée pour une grande variété de situations. Plus spécifiquement, une application a été développée, appelée machine émotionnelle, capable de «comprendre» la signification d'une situation en se basant sur le modèle théorique d'évaluation de l'émotion Ortony, Clore et Collins (OCC). Cette machine est apte, également, à prédire les réactions émotionnelles des utilisateurs, en combinant des versions améliorées des k plus proches voisins et des réseaux de neurones. Une procédure empirique a été réalisée pour l'acquisition des données. Ces dernières ont fourni une connaissance consistante aux algorithmes d'apprentissage choisis et ont permis de tester la performance de la machine. Les résultats obtenus montrent que la machine émotionnelle proposée est capable de produire de bonnes prédictions. Une telle réalisation pourrait encourager son utilisation future dans des domaines exploitant la reconnaissance automatique de l'émotion.

Modélisation d'une ontologie et conceptualisation d'une application sémantique dédiée au e-recrutement dans le domaine des technologies de l'information

Ce mémoire présente les recherches et réflexions entourant la conception d’une application à base d’ontologie dédiée au e-recrutement dans le domaine des services de dotation de personnel en technologies de l’information à l’ère du Web Social. Cette application, nommée Combine, vise essentiellement à optimiser et enrichir la Communication Médiée par Ordinateur (CMO) des acteurs du domaine et utilise des concepts issus du paradigme technologique émergent qu’est le Web sémantique. Encore très peu discuté dans une perspective CMO, le présent mémoire se propose donc d’examiner les enjeux communicationnels relatifs à ce nouveau paradigme. Il présente ses principaux concepts, dont la notion d’ontologie qui implique la modélisation formelle de connaissances, et expose le cas de développement de Combine. Il décrit comment cette application fut développée, de l’analyse des besoins à l’évaluation du prototype par les utilisateurs ciblés, tout en révélant les préoccupations, les contraintes et les opportunités rencontrées en cours de route. Au terme de cet examen, le mémoire tend à évaluer de manière critique le potentiel de Combine à optimiser la CMO du domaine d’activité ciblé. Le mémoire dresse au final un portrait plutôt favorable quant à la perception positive des acteurs du domaine d’utiliser un tel type d’application, et aussi quant aux nets bénéfices en frais d’Interactions Humain-Ordinateur (IHO) qu’elle fait miroiter. Il avertit toutefois d’une certaine exacerbation du problème dit « d’engagement ontologique » à considérer lors de la construction d’ontologies modélisant des objets sociaux tels que ceux dont le monde du recrutement est peuplé.

Analyse de mouvements faciaux à partir d'images vidéo

Lors d'une intervention conversationnelle, le langage est supporté par une communication non-verbale qui joue un rôle central dans le comportement social humain en permettant de la rétroaction et en gérant la synchronisation, appuyant ainsi le contenu et la signification du discours. En effet, 55% du message est véhiculé par les expressions faciales, alors que seulement 7% est dû au message linguistique et 38% au paralangage. L'information concernant l'état émotionnel d'une personne est généralement inférée par les attributs faciaux. Cependant, on ne dispose pas vraiment d'instruments de mesure spécifiquement dédiés à ce type de comportements. En vision par ordinateur, on s'intéresse davantage au développement de systèmes d'analyse automatique des expressions faciales prototypiques pour les applications d'interaction homme-machine, d'analyse de vidéos de réunions, de sécurité, et même pour des applications cliniques. Dans la présente recherche, pour appréhender de tels indicateurs observables, nous essayons d'implanter un système capable de construire une source consistante et relativement exhaustive d'informations visuelles, lequel sera capable de distinguer sur un visage les traits et leurs déformations, permettant ainsi de reconnaître la présence ou absence d'une action faciale particulière. Une réflexion sur les techniques recensées nous a amené à explorer deux différentes approches. La première concerne l'aspect apparence dans lequel on se sert de l'orientation des gradients pour dégager une représentation dense des attributs faciaux. Hormis la représentation faciale, la principale difficulté d'un système, qui se veut être général, est la mise en œuvre d'un modèle générique indépendamment de l'identité de la personne, de la géométrie et de la taille des visages. La démarche qu'on propose repose sur l'élaboration d'un référentiel prototypique à partir d'un recalage par SIFT-flow dont on démontre, dans cette thèse, la supériorité par rapport à un alignement conventionnel utilisant la position des yeux. Dans une deuxième approche, on fait appel à un modèle géométrique à travers lequel les primitives faciales sont représentées par un filtrage de Gabor. Motivé par le fait que les expressions faciales sont non seulement ambigües et incohérentes d'une personne à une autre mais aussi dépendantes du contexte lui-même, à travers cette approche, on présente un système personnalisé de reconnaissance d'expressions faciales, dont la performance globale dépend directement de la performance du suivi d'un ensemble de points caractéristiques du visage. Ce suivi est effectué par une forme modifiée d'une technique d'estimation de disparité faisant intervenir la phase de Gabor. Dans cette thèse, on propose une redéfinition de la mesure de confiance et introduisons une procédure itérative et conditionnelle d'estimation du déplacement qui offrent un suivi plus robuste que les méthodes originales.

Histoire formelle du jeu d’aventure sur ordinateur (le cas de l’Amérique du Nord de 1976-1999)

Cette étude s’intéresse à l’évolution formelle du jeu d’aventure de 1976 à 1999. Elle se propose de mieux comprendre les facteurs historiques contribuant à l’apparition du genre, son institution et ses transformations. La recherche est fondée sur l’analyse du discours de la presse spécialisée en jeux d’ordinateur et d’un corpus étendu d’œuvres. L’une des thèses proposées est que l’identité générique du jeu d’aventure est fondée sur une expérience vidéoludique demeurant relativement constante malgré des variations importantes de formes. Cette expérience est assurée par la reproduction des principaux éléments d’une architecture générale de design de jeu inaugurée par Adventure en 1977. Les variations formelles ponctuelles résultent d’une négociation entre la volonté de s’adapter aux changements de contexte de l’écologie du jeu d’ordinateur et la résistance d’une architecture ludique établie. La pertinence d’une histoire d’un genre vidéoludique est justifiée au premier chapitre en fonction de l’état actuel des connaissances sur l’histoire du jeu vidéo et du jeu d’aventure. On y précise également le cadre théorique, la méthodologie et les sources étudiées. Le deuxième chapitre s’intéresse à la genèse d’Adventure de Crowther et Woods (1976; 1977) en fonction des diverses pratiques culturelles dans lesquelles l’œuvre s’inscrit. Cette analyse permet d’en dégager l’architecture ludique. Le troisième chapitre porte sur le « tournant narratif » du jeu d’aventure ayant lieu au début des années 1980. On y décrit différents facteurs historiques poussant le genre vers l’enchâssement d’histoires pré-écrites afin d’en faire un véhicule narratif. Le quatrième chapitre décrit le contexte du « tournant graphique », passage du jeu d’aventure d’une représentation textuelle à un régime visuel, ainsi que ses conséquences expérientielles. Le « tournant ergonomique » décrit au cinquième chapitre traite de l’apparition du modèle « pointer et cliquer » en fonction des avancées des connaissances concernant les interactions humain-machine ainsi que de la maturation du design de jeu comme pratique autonome. Le dernier chapitre relate l’apogée du jeu d’aventure au début de la révolution multimédia sous ses formes de film interactif et « Myst-like » puis du ralentissement – voire de l’arrêt – de son évolution formelle.

Un outil d’évaluation neurocognitive des interactions humain-machine

De plus en plus de recherches sur les Interactions Humain-Machine (IHM) tentent d’effectuer des analyses fines de l’interaction afin de faire ressortir ce qui influence les comportements des utilisateurs. Tant au niveau de l’évaluation de la performance que de l’expérience des utilisateurs, on note qu’une attention particulière est maintenant portée aux réactions émotionnelles et cognitives lors de l’interaction. Les approches qualitatives standards sont limitées, car elles se fondent sur l’observation et des entrevues après l’interaction, limitant ainsi la précision du diagnostic. L’expérience utilisateur et les réactions émotionnelles étant de nature hautement dynamique et contextualisée, les approches d’évaluation doivent l’être de même afin de permettre un diagnostic précis de l’interaction. Cette thèse présente une approche d’évaluation quantitative et dynamique qui permet de contextualiser les réactions des utilisateurs afin d’en identifier les antécédents dans l’interaction avec un système. Pour ce faire, ce travail s’articule autour de trois axes. 1) La reconnaissance automatique des buts et de la structure de tâches de l’utilisateur, à l’aide de mesures oculométriques et d’activité dans l’environnement par apprentissage machine. 2) L’inférence de construits psychologiques (activation, valence émotionnelle et charge cognitive) via l’analyse des signaux physiologiques. 3) Le diagnostic de l‘interaction reposant sur le couplage dynamique des deux précédentes opérations. Les idées et le développement de notre approche sont illustrés par leur application dans deux contextes expérimentaux : le commerce électronique et l’apprentissage par simulation. Nous présentons aussi l’outil informatique complet qui a été implémenté afin de permettre à des professionnels en évaluation (ex. : ergonomes, concepteurs de jeux, formateurs) d’utiliser l’approche proposée pour l’évaluation d’IHM. Celui-ci est conçu de manière à faciliter la triangulation des appareils de mesure impliqués dans ce travail et à s’intégrer aux méthodes classiques d’évaluation de l’interaction (ex. : questionnaires et codage des observations).

Modélisation des émotions de l’apprenant et interventions implicites pour les systèmes tutoriels intelligents

La modélisation de l’expérience de l’utilisateur dans les Interactions Homme-Machine est un enjeu important pour la conception et le développement des systèmes adaptatifs intelligents. Dans ce contexte, une attention particulière est portée sur les réactions émotionnelles de l’utilisateur, car elles ont une influence capitale sur ses aptitudes cognitives, comme la perception et la prise de décision. La modélisation des émotions est particulièrement pertinente pour les Systèmes Tutoriels Émotionnellement Intelligents (STEI). Ces systèmes cherchent à identifier les émotions de l’apprenant lors des sessions d’apprentissage, et à optimiser son expérience d’interaction en recourant à diverses stratégies d’interventions. Cette thèse vise à améliorer les méthodes de modélisation des émotions et les stratégies émotionnelles utilisées actuellement par les STEI pour agir sur les émotions de l’apprenant. Plus précisément, notre premier objectif a été de proposer une nouvelle méthode pour détecter l’état émotionnel de l’apprenant, en utilisant différentes sources d’informations qui permettent de mesurer les émotions de façon précise, tout en tenant compte des variables individuelles qui peuvent avoir un impact sur la manifestation des émotions. Pour ce faire, nous avons développé une approche multimodale combinant plusieurs mesures physiologiques (activité cérébrale, réactions galvaniques et rythme cardiaque) avec des variables individuelles, pour détecter une émotion très fréquemment observée lors des sessions d’apprentissage, à savoir l’incertitude. Dans un premier lieu, nous avons identifié les indicateurs physiologiques clés qui sont associés à cet état, ainsi que les caractéristiques individuelles qui contribuent à sa manifestation. Puis, nous avons développé des modèles prédictifs permettant de détecter automatiquement cet état à partir des différentes variables analysées, à travers l’entrainement d’algorithmes d’apprentissage machine. Notre deuxième objectif a été de proposer une approche unifiée pour reconnaître simultanément une combinaison de plusieurs émotions, et évaluer explicitement l’impact de ces émotions sur l’expérience d’interaction de l’apprenant. Pour cela, nous avons développé une plateforme hiérarchique, probabiliste et dynamique permettant de suivre les changements émotionnels de l'apprenant au fil du temps, et d’inférer automatiquement la tendance générale qui caractérise son expérience d’interaction à savoir : l’immersion, le blocage ou le décrochage. L’immersion correspond à une expérience optimale : un état dans lequel l'apprenant est complètement concentré et impliqué dans l’activité d’apprentissage. L’état de blocage correspond à une tendance d’interaction non optimale où l'apprenant a de la difficulté à se concentrer. Finalement, le décrochage correspond à un état extrêmement défavorable où l’apprenant n’est plus du tout impliqué dans l’activité d’apprentissage. La plateforme proposée intègre trois modalités de variables diagnostiques permettant d’évaluer l’expérience de l’apprenant à savoir : des variables physiologiques, des variables comportementales, et des mesures de performance, en combinaison avec des variables prédictives qui représentent le contexte courant de l’interaction et les caractéristiques personnelles de l'apprenant. Une étude a été réalisée pour valider notre approche à travers un protocole expérimental permettant de provoquer délibérément les trois tendances ciblées durant l’interaction des apprenants avec différents environnements d’apprentissage. Enfin, notre troisième objectif a été de proposer de nouvelles stratégies pour influencer positivement l’état émotionnel de l’apprenant, sans interrompre la dynamique de la session d’apprentissage. Nous avons à cette fin introduit le concept de stratégies émotionnelles implicites : une nouvelle approche pour agir subtilement sur les émotions de l’apprenant, dans le but d’améliorer son expérience d’apprentissage. Ces stratégies utilisent la perception subliminale, et plus précisément une technique connue sous le nom d’amorçage affectif. Cette technique permet de solliciter inconsciemment les émotions de l’apprenant, à travers la projection d’amorces comportant certaines connotations affectives. Nous avons mis en œuvre une stratégie émotionnelle implicite utilisant une forme particulière d’amorçage affectif à savoir : le conditionnement évaluatif, qui est destiné à améliorer de façon inconsciente l’estime de soi. Une étude expérimentale a été réalisée afin d’évaluer l’impact de cette stratégie sur les réactions émotionnelles et les performances des apprenants.

Personnalisation et adaptation d’environnement multimédia pédagogique : le cas de ScienceEnJeu

La personnalisation et l'adaptation d'environnement multimédia pédagogique a pour but de favoriser l'intégration d'application web de formation en fonction de la personnalité de l'apprenant, de sa progression, de ses préférences et de son contexte d'application. Le contrôle de certaines de ces options doit être donné à l'enseignant afin de pouvoir suivre la progression de ses étudiants, de prescrire des activités complémentaires en ce qui est fait en classe et de gérer ses groupes. Nous avons participé au développement et à l'évaluation d'une application pour appuyer le suivi des activités et donner du soutien aux apprenants dans un environnement pédagogique disponible gratuitement en ligne pour l'apprentissage des sciences nommé ScienceEnJeu. ScienceEnJeu est un environnement où l'apprenant peut explorer différents mondes d'apprendre le contenu, comme les mathématiques, l'écologie, la physique, la génomique, etc. Notre système utilise une base de données qui se construit en fonction de conditions comme les activités des utilisateurs dans le jeu et offre la possibilité de lier les activités du jeu à des structures de concepts issues du programme du Ministère de l'éducation de loisirs et du sport (MELS). Une interface permet aux parents ou à l'enseignant de visualiser la progression dans l'environnement d'un étudiant et / ou d'un groupe, voir le modèle de l'élève de superposition sur la structure des activités et des structures de concepts. L'enseignant peut chercher une activité liée à des concepts particuliers et la définir comme une tâche pour son groupe d'étudiants selon un calendrier. Un système de soutien personnalisé fondé sur des règles y est aussi intégré. Ces règles sont des stratégies de soutien construites en fonction de différents paramètres du contexte de l'activité, des préférences de style d'apprentissage de l'élève et de l'aide précédente. De par ces règles, différents avatars animés peuvent être affichés avec des messages qui sont écrits pour soutenir la motivation des élèves selon leur personnalité d'apprenant.

Maternal history of early adversity and child emotional development : investigating intervening factors

L’objectif de cette thèse était de contribuer à l’avancement des connaissances quant aux circonstances permettant une transmission intergénérationnelle du risque émanant de l’adversité maternelle et aux mécanismes sous-tendant cette transmission, dans quatre articles empiriques. Le premier visait à explorer la relation entre un historique d’adversité maternelle, la sécurité d’attachement mère-enfant et le tempérament de l’enfant. Les mères ont complété une entrevue semi-structurée portant sur leurs représentations d’attachement avec leurs parents, à 6 mois, et ont évalué le tempérament de leur enfant à 2 ans. La sécurité d’attachement fut également évaluée à 2 ans. Les résultats ont démontré que les enfants dont les mères rapportaient des niveaux supérieurs d’adversité présentaient de moins bons niveaux d’activité comportementale, uniquement lorsqu’ils avaient un attachement sécurisant avec leur mère. Ces résultats suggèrent une transmission intergénérationnelle des effets d’un historique d’adversité maternelle sur le tempérament des enfants. Le deuxième article visait à investiguer si le transporteur de sérotonine (5-HTTLPR) module la transmission de risque intergénérationnelle de l’adversité maternelle sur le tempérament des enfants. L’historique d’adversité maternelle fut évalué en combinant deux mesures auto-rapportées. Les mères ont également évalué le tempérament de leur enfant à 18 et à 36 mois. Le génotype des enfants fut extrait à 36 mois. Les résultats ont révélé un effet d’interaction entre l’adversité maternelle et le génotype de l’enfant sur le tempérament, suggérant une transmission intergénérationnelle des effets de l’adversité maternelle sur le fonctionnement émotionnel des enfants. Le troisième article visait à explorer la relation entre les difficultés d’adaptation psychosociale des mères, la sensibilité maternelle et les symptômes intériorisés de leurs enfants. Les mères ont complété plusieurs questionnaires desquels un score composite de difficultés d’adaptation psychosociale fut extrait. La sensibilité maternelle fut observée à 12 mois. Les symptômes intériorisés des enfants furent évalués par les deux parents à 2 et à 3 ans. Les résultats ont démontré qu’une augmentation des difficultés maternelles d’adaptation psychosociale étaient associée à davantage de symptômes intériorisés chez les enfants, mais seulement chez ceux dont les mères étaient moins sensibles. Ces résultats ont été observés par les mères à 2 ans et par les deux parents à 3 ans. Ces résultats suggèrent que les enfants peuvent être différemment affectés par l’adaptation émotionnelle de leur mère tout en mettant l’emphase sur le rôle protecteur de la sensibilité maternelle. Le quatrième article visait à investiguer les rôles médiateurs de la dépression et de la sensibilité maternelle dans la relation entre un historique d’adversité maternelle et le tempérament de l’enfant. L’historique d’adversité maternelle fut évalué en combinant deux mesures auto-rapportées. Les mères ont également rapporté leurs symptômes dépressifs à 6 mois. La sensibilité maternelle fut évaluée de façon concomitante. Les mères ont évalué le tempérament de leur enfant à 36 mois. Les résultats ont révélé une transmission intergénérationnelle des effets d’un historique d’adversité maternelle à la génération suivante suivant une médiation séquentielle passant d’abord par la dépression maternelle et ensuite par la sensibilité maternelle. Finalement, les résultats des quatre articles ont été intégrés dans la conclusion générale.

La pensée mixte : une approche de la composition par l'interaction des pensées instrumentale, électroacoustique et informatique

La « pensée mixte » est une approche de la composition caractérisée par l’interaction de trois pensées: la pensée instrumentale, la pensée électroacoustique et la pensée informatique. Elle prend la forme d’un réseau où le compositeur fait des aller-retours entre les trois pensées et réalise des équivalences paramétriques. La pensée instrumentale se rattache à la tradition de l’écriture occidentale, la pensée électroacoustique fait allusion aux pratiques du studio analogique et de la musique acousmatique, et la pensée informatique fait référence aux pratiques numériques de la programmation visuelle et de l’analyse spectrale. Des lieux communs existent où s’opèrent l’interaction des trois pensées: la notion du studio instrumental de Ivo Malec, la notion de musique concrète instrumentale de Helmut Lachenmann, la composition assistée par ordinateur, la musique spectrale, l’approche instrumentale par montage, la musique acousmatique s’inspirant de la tradition musicale écrite et les musiques mixtes. Ces domaines constituent les influences autour desquelles j’ai composé un corpus de deux cycles d’œuvres: Les Larmes du Scaphandre et le Nano-Cosmos. L’analyse des œuvres met en évidence la notion de « pensée mixte » en abordant la pensée électroacoustique dans ma pratique instrumentale, la pensée informatique dans ma pratique musicale, et la pensée instrumentale dans ma pratique électroacoustique.