Modélisation des émotions de l’apprenant et interventions implicites pour les systèmes tutoriels intelligents

La modélisation de l’expérience de l’utilisateur dans les Interactions Homme-Machine est un enjeu important pour la conception et le développement des systèmes adaptatifs intelligents. Dans ce contexte, une attention particulière est portée sur les réactions émotionnelles de l’utilisateur, car elles ont une influence capitale sur ses aptitudes cognitives, comme la perception et la prise de décision. La modélisation des émotions est particulièrement pertinente pour les Systèmes Tutoriels Émotionnellement Intelligents (STEI). Ces systèmes cherchent à identifier les émotions de l’apprenant lors des sessions d’apprentissage, et à optimiser son expérience d’interaction en recourant à diverses stratégies d’interventions. Cette thèse vise à améliorer les méthodes de modélisation des émotions et les stratégies émotionnelles utilisées actuellement par les STEI pour agir sur les émotions de l’apprenant. Plus précisément, notre premier objectif a été de proposer une nouvelle méthode pour détecter l’état émotionnel de l’apprenant, en utilisant différentes sources d’informations qui permettent de mesurer les émotions de façon précise, tout en tenant compte des variables individuelles qui peuvent avoir un impact sur la manifestation des émotions. Pour ce faire, nous avons développé une approche multimodale combinant plusieurs mesures physiologiques (activité cérébrale, réactions galvaniques et rythme cardiaque) avec des variables individuelles, pour détecter une émotion très fréquemment observée lors des sessions d’apprentissage, à savoir l’incertitude. Dans un premier lieu, nous avons identifié les indicateurs physiologiques clés qui sont associés à cet état, ainsi que les caractéristiques individuelles qui contribuent à sa manifestation. Puis, nous avons développé des modèles prédictifs permettant de détecter automatiquement cet état à partir des différentes variables analysées, à travers l’entrainement d’algorithmes d’apprentissage machine. Notre deuxième objectif a été de proposer une approche unifiée pour reconnaître simultanément une combinaison de plusieurs émotions, et évaluer explicitement l’impact de ces émotions sur l’expérience d’interaction de l’apprenant. Pour cela, nous avons développé une plateforme hiérarchique, probabiliste et dynamique permettant de suivre les changements émotionnels de l'apprenant au fil du temps, et d’inférer automatiquement la tendance générale qui caractérise son expérience d’interaction à savoir : l’immersion, le blocage ou le décrochage. L’immersion correspond à une expérience optimale : un état dans lequel l'apprenant est complètement concentré et impliqué dans l’activité d’apprentissage. L’état de blocage correspond à une tendance d’interaction non optimale où l'apprenant a de la difficulté à se concentrer. Finalement, le décrochage correspond à un état extrêmement défavorable où l’apprenant n’est plus du tout impliqué dans l’activité d’apprentissage. La plateforme proposée intègre trois modalités de variables diagnostiques permettant d’évaluer l’expérience de l’apprenant à savoir : des variables physiologiques, des variables comportementales, et des mesures de performance, en combinaison avec des variables prédictives qui représentent le contexte courant de l’interaction et les caractéristiques personnelles de l'apprenant. Une étude a été réalisée pour valider notre approche à travers un protocole expérimental permettant de provoquer délibérément les trois tendances ciblées durant l’interaction des apprenants avec différents environnements d’apprentissage. Enfin, notre troisième objectif a été de proposer de nouvelles stratégies pour influencer positivement l’état émotionnel de l’apprenant, sans interrompre la dynamique de la session d’apprentissage. Nous avons à cette fin introduit le concept de stratégies émotionnelles implicites : une nouvelle approche pour agir subtilement sur les émotions de l’apprenant, dans le but d’améliorer son expérience d’apprentissage. Ces stratégies utilisent la perception subliminale, et plus précisément une technique connue sous le nom d’amorçage affectif. Cette technique permet de solliciter inconsciemment les émotions de l’apprenant, à travers la projection d’amorces comportant certaines connotations affectives. Nous avons mis en œuvre une stratégie émotionnelle implicite utilisant une forme particulière d’amorçage affectif à savoir : le conditionnement évaluatif, qui est destiné à améliorer de façon inconsciente l’estime de soi. Une étude expérimentale a été réalisée afin d’évaluer l’impact de cette stratégie sur les réactions émotionnelles et les performances des apprenants.

Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

Agrégation de tensioactifs anioniques à une interface solide-aqueux induite par l'oxydation d'une monocouche auto-assemblée de ferrocenylalkanethiolates

L'oxydoréduction des monocouches auto-assemblées («Self-assembled monolayers ou SAMs) de ferrocenyldodecanethiolates sur une surface d'or (Fc(CH2)12SAu) dans des solutions aqueuses de n-alkyle sulfate de sodium (6, 8, 10 et 12 atomes de carbone) est étudiée par spectroscopie de résonance des plasmons de surface («Surface Plasmons Resonance ou SPR) couplée avec de la voltampérométrie cyclique (VC). La technique SPR est utilisée pour suivre en temps réel l'adsorption des tensioactifs en fonction du potentiel appliqué. Elle permet de quantifier l'épaisseur et le recouvrement des molécules adsorbées pour déterminer l'organisation des tensioactifs anioniques sur la SAM. La VC est utilisée afin de caractériser l'oxydation du groupement ferrocène en présence des n-alkyle sulfate de sodium qui s'associent à la SAM grâce à l'appariement entre le ferrocénium et le groupement sulfate. Des mélanges binaires d'alkylesulfates de différentes compositions sont utilisés dans le but de déterminer l'organisation induite par une réaction d'oxydoréduction. L'effet de la longueur de la chaîne d'hydrocarbures sur la quantité de tensioactifs anioniques adsorbés ainsi que les affinités relatives d'appariement des anions alkyle sulfate aux ferrocéniums sont rapportés dans ce mémoire. Ces surfaces électrosensibles permettront la détection de molécules amphiphiles et la compréhension du comportement de mélanges binaires de tensioactifs. Ainsi, ces travaux apporteront une avancée sur la modulation électrochimique de l'organisation de matériaux sur des substrats solides basée sur l'appariement d'ions.

From Word Embeddings to Large Vocabulary Neural Machine Translation

Dans ce mémoire, nous examinons certaines propriétés des représentations distribuées de mots et nous proposons une technique pour élargir le vocabulaire des systèmes de traduction automatique neurale. En premier lieu, nous considérons un problème de résolution d'analogies bien connu et examinons l'effet de poids adaptés à la position, le choix de la fonction de combinaison et l'impact de l'apprentissage supervisé. Nous enchaînons en montrant que des représentations distribuées simples basées sur la traduction peuvent atteindre ou dépasser l'état de l'art sur le test de détection de synonymes TOEFL et sur le récent étalon-or SimLex-999. Finalament, motivé par d'impressionnants résultats obtenus avec des représentations distribuées issues de systèmes de traduction neurale à petit vocabulaire (30 000 mots), nous présentons une approche compatible à l'utilisation de cartes graphiques pour augmenter la taille du vocabulaire par plus d'un ordre de magnitude. Bien qu'originalement développée seulement pour obtenir les représentations distribuées, nous montrons que cette technique fonctionne plutôt bien sur des tâches de traduction, en particulier de l'anglais vers le français (WMT'14).

Multimodal image registration of the scoliotic torso for surgical planning

Background This paper presents a method that registers MRIs acquired in prone position, with surface topography (TP) and X-ray reconstructions acquired in standing position, in order to obtain a 3D representation of a human torso incorporating the external surface, bone structures, and soft tissues. Methods TP and X-ray data are registered using landmarks. Bone structures are used to register each MRI slice using an articulated model, and the soft tissue is confined to the volume delimited by the trunk and bone surfaces using a constrained thin-plate spline. Results The method is tested on 3 pre-surgical patients with scoliosis and shows a significant improvement, qualitatively and using the Dice similarity coefficient, in fitting the MRI into the standing patient model when compared to rigid and articulated model registration. The determinant of the Jacobian of the registration deformation shows higher variations in the deformation in areas closer to the surface of the torso. Conclusions The novel, resulting 3D full torso model can provide a more complete representation of patient geometry to be incorporated in surgical simulators under development that aim at predicting the effect of scoliosis surgery on the external appearance of the patient’s torso.

Spectacle and the one-man band : technology, performing bodies, and imaginary spaces

L’étiquette « homme-orchestre » est apposée à une grande variété de musiciens qui se distinguent en jouant seuls une performance qui est normalement interprétée par plusieurs personnes. La diversité qu’a pu prendre au cours du temps cette forme n’est pas prise en compte par la culture populaire qui propose une image relativement constante de cette figure tel que vue dans les films Mary Poppins (1964) de Walt Disney et One-man Band (2005) de Pixar. Il s’agit d’un seul performeur vêtu d’un costume coloré avec une grosse caisse sur le dos, des cymbales entre les jambes, une guitare ou un autre instrument à cordes dans les mains et un petit instrument à vent fixé assez près de sa bouche pour lui permettre d’alterner le chant et le jeu instrumental. Cette thèse propose une analyse de l’homme-orchestre qui va au-delà de sa simple production musicale en situant le phénomène comme un genre spectaculaire qui transmet un contenu symbolique à travers une relation tripartite entre performance divertissante, spectateur et image. Le contenu symbolique est lié aux idées caractéristiques du Siècle des lumières tels que la liberté, l’individu et une relation avec la technologie. Il est aussi incarné simultanément par les performeurs et par la représentation de l’homme-orchestre dans l’imaginaire collectif. En même temps, chaque performance sert à réaffirmer l’image de l’homme-orchestre, une image qui par répétitions est devenue un lieu commun de la culture, existant au-delà d’un seul performeur ou d’une seule performance. L’aspect visuel de l’homme-orchestre joue un rôle important dans ce processus par une utilisation inattendue du corps, une relation causale entre corps, technologie et production musicale ainsi que par l’utilisation de vêtements colorés et d’accessoires non musicaux tels des marionnettes, des feux d’artifice ou des animaux vivants. Ces éléments spectaculaires divertissent les spectateurs, ce qui se traduit, entre autres, par un gain financier pour le performeur. Le divertissement a une fonction phatique qui facilite la communication du contenu symbolique.

Analyse de la traduction d’un texte multimodal : la bande dessinée : le cas de Mujeres alteradas

La présente recherche porte sur la traduction de la bande dessinée. Ce sujet, auparavant négligé par les traductologes, commence à susciter l’intérêt des chercheurs à partir les années 80. Toutefois, la plupart des travaux se sont concentrés sur l’aspect linguistique des BD. Ce mémoire, par contre, aborde la bande dessinée comme un texte multimodal. Il s’inscrit ainsi à la croisée des domaines de la traduction et de la multimodalité telle que proposée dans les travaux de Gunther Kress et Theo Van Leeuwen (2001). L’objectif de cette recherche est d’implanter un outil d’analyse pour la bande dessinée qui permettrait de rendre compte des différents modes intervenant dans le texte. Cet outil, conçu pour la présente recherche, a été développé à partir des travaux de Hatim et Mason (1990, 1997) sur les trois dimensions de la situation de communication : transaction communicative, action pragmatique et interaction sémiotique. L’analyse menée ici porte sur la traduction vers le français de la bande dessinée argentine Mujeres alteradas de Maitena Burundarena, parue sous le titre de Les déjantées.

Multimodal image fusion of anatomical structures for diagnosis, therapy planning and assistance

This paper provides an overview of work done in recent years by our research group to fuse multimodal images of the trunk of patients with Adolescent Idiopathic Scoliosis (AIS) treated at Sainte-Justine University Hospital Center (CHU). We first describe our surface acquisition system and introduce a set of clinical measurements (indices) based on the trunk's external shape, to quantify its degree of asymmetry. We then describe our 3D reconstruction system of the spine and rib cage from biplanar radiographs and present our methodology for multimodal fusion of MRI, X-ray and external surface images of the trunk We finally present a physical model of the human trunk including bone and soft tissue for the simulation of the surgical outcome on the external trunk shape in AIS.

Gender, Authorship and Male Domination : Mary Shelley’s Limited Freedom in "Frankenstein" and "The Last Man"

Ever since Ellen Moer's "Literary Women" (1976), "Frankenstein" has been recognized as a novel in which issues about authorship are intimately bound up with those of gender. The work has frequently been related to the circumstance of Shelley's combining the biological role of mother with the social role of author. [...]

Singlet Oxygen in Microporous Silica Xerogel:Quantum Yield and Oxidation at the Gas–Solid Interface

The quantum yields of singlet oxygen production and lifetimes at the gas–solid interface in silica gel material are determined. Different photosensitizers (PS) are encapsulated in parallelepipedic xerogel monoliths (PS-SG). PS were chosen according to their known photooxidation properties: 9,10-dicyanoanthracene (DCA), 9,10-anthraquinone (ANT), and a benzophenone derivative, 4-benzoyl benzoic acid (4BB). These experiments are mainly based on time-resolved 1O2 phosphorescence detection, and the obtained FD and tD values are compared with those of a reference sensitizer for production, 1H-phenalen-1- one (PN), included in the same xerogel. The trend between their ability to oxidize organic pollutants in the gas phase and their efficiency for production is investigated through photooxidation experiments of a test pollutant dimethylsulfide (DMS). The FD value is high for DCA-SG relative to the PN reference, whereas it is slightly lower for 4BB-SG and for ANT-SG. FD is related to the production of sulfoxide and sulfone as the main oxidation products for DMS photosensitized oxidation. Additional mechanisms, leading to C!S bond cleaveage, appear to mainly occur for the less efficient singlet oxygen sensitizers 4BB-SG and ANTSG.

Design and Development of an Adaptable Frame -Based System for Dravidian Language Processing

This work is aimed at building an adaptable frame-based system for processing Dravidian languages. There are about 17 languages in this family and they are spoken by the people of South India.Karaka relations are one of the most important features of Indian languages. They are the semabtuco-syntactic relations between verbs and other related constituents in a sentence. The karaka relations and surface case endings are analyzed for meaning extraction. This approach is comparable with the borad class of case based grammars.The efficiency of this approach is put into test in two applications. One is machine translation and the other is a natural language interface (NLI) for information retrieval from databases. The system mainly consists of a morphological analyzer, local word grouper, a parser for the source language and a sentence generator for the target language. This work make contributios like, it gives an elegant account of the relation between vibhakthi and karaka roles in Dravidian languages. This mapping is elegant and compact. The same basic thing also explains simple and complex sentence in these languages. This suggests that the solution is not just ad hoc but has a deeper underlying unity. This methodology could be extended to other free word order languages. Since the frame designed for meaning representation is general, they are adaptable to other languages coming in this group and to other applications.

Reviving the Macrobrachium rosenbergii (de Man) Fishery in Vembanad Lake, India

In Vembanad Lake and its confluent rivers (Kerala, India), the catches of Macrobrachium rosenbergii (de Man) were reported to have dwindled to a mere 39 t in the 1980s from average landings of 300 t during the 1960s. This decline is due to the impact of a number of human interventions affecting the ecosystem and, hence, the stocks of M. rosenbergii. Monitoring of landings in 1994-1995 and 1995-1996 indicates an improvement in catches. This paper discusses the reasons for the decline and revival in stocks and suggestions for their replenishment.

Development of Innovative Low Cost Larviculture Technologies of the Giant Fresh Water Prawn,Macrobrachium Rosenbergii(De Man)

School of Industrial Fisheries, Cochin University of Science and Technology

Monte Carlo simulation of interface alloying

An Ising-like model, with interactions ranging up to next-nearest-neighbor pairs, is used to simulate the process of interface alloying. Interactions are chosen to stabilize an intermediate "antiferromagnetic" ordered structure. The dynamics proceeds exclusively by atom-vacancy exchanges. In order to characterize the process, the time evolution of the width of the intermediate ordered region and the diffusion length is studied. Both lengths are found to follow a power-law evolution with exponents depending on the characteristic features of the model.