Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Early adversity, brain development and emotion processing in monozygotic twins

Il existe actuellement de nombreuses preuves démontrant que des facteurs génétiques et environnementaux interagissent pendant des périodes spécifiques du développement pour rendre une personne vulnérable aux troubles psychologiques via diverses adaptations physiologiques. Cette thèse porte sur l'impact de l’adversité prénatale (représentée par le petit poids à la naissance, PPN) et de l’adversité postnatale précoce (symptômes dépressifs maternels et comportements maternels négatifs), sur le développement du cerveau, particulièrement les régions fronto-limbiques impliquées dans le traitement des émotions, pendant l'enfance et l'adolescence. Des jumeaux monozygotes (MZ) sont utilisés, lorsque possible, afin de contrôler pour les effets génétiques. Les chapitres 1 et 2 présentent les résultats de la vérification de l'hypothèse que l’adversité prénatale et postnatale précoce sont associées à une altération du fonctionnement des régions fronto-limbique tels que l’amygdale, l’hippocampe, l’insula, le cortex cingulaire antérieur et le cortex préfrontal, en réponse à des stimuli émotifs chez des enfants et des adolescents. On observe que les symptômes dépressifs maternels sont associés à une activation plus élevée des régions fronto-limbiques des enfants en réponse à la tristesse. Les résultats de l’étude avec des adolescents suggèrent que le PPN, les symptômes dépressifs et les comportements maternels négatifs sont associés à une fonction altérée des régions fronto-limbiques en réponse à des stimuli émotionnels. Chez les jumeaux MZ on observe également que la discordance intra-paire de PPN et de certains comportements maternels est associée à une discordance intra-paire du fonctionnement du cerveau et que ces altérations diffèrent selon le sexe. Le chapitre 3 présente les résultats de la vérification de l'hypothèse que l’adversité prénatale et postnatale précoce sont associées à un volume total réduit du cerveau et de l’hypothèse que les comportements maternels peuvent servir de médiateur ou de modérateur de l'association entre le PPN et le volume du cerveau. Avec des jumeaux MZ à l’adolescence on observe a) que le PPN est effectivement associé à une diminution du volume total du cerveau et b) que la discordance intra-paire de PPN est associée à une discordance du volume du cerveau. En somme, cette thèse présente un ensemble de résultats qui soutiennent deux hypothèses importantes pour comprendre les effets de l’environnement sur le développement du cerveau : que l’environnement prénatal et postnatal précoce ont un impact sur le développement du cerveau indépendamment du code génétique et que les mécanismes impliqués peuvent différer entre les garçons et les filles. Finalement, l’ensemble de ces résultats sont discutés à la lumière des autres travaux de recherche dans ce domaine et des avenues à explorer pour de la recherche ultérieure sont proposées.