On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

The importance of language : the impact of linguistic vitality on intergroup tensions

Cette thèse vise à mieux comprendre les tensions ethniques. Ceci est fait en explorant, dans une étude en quatre parties, l'une de ses caractéristiques les plus importantes mais sévèrement négligées: la langue. S’inspirant des traditions de recherche de la sociolinguistique, de la psychologie sociale et de la science politique, cette thèse fournit une analyse en profondeur de l'influence de la langue sur les relations intergroupes. Elle le fait, spécifiquement, en se concentrant sur l'influence que la vitalité linguistique, la santé sociale d'une langue, a sur les tensions sociales. Cette thèse propose un cadre théorique dans lequel le niveau de vitalité linguistique contribue à générer des griefs culturels qui ont une incidence par la suite sur les relations intergroupes. Le premier article explore la relation macro entre la vitalité linguistique et l'intensité des conflits intergroupes. Les résultats, dérivés de données de l'Atlas UNESCO des langues en danger dans le monde et du projet Minorities at Risk (MAR), démontrent une relation curvilinéaire où les niveaux bas et élevé de vitalité linguistique génèrent une intensité inférieure au niveau modéré de vitalité. Ces résultats confirment que la vitalité linguistique est un déterminant important des tensions ethniques fondées sur la langue d'une manière générale, mais encore davantage pour les pays ayant plusieurs minorités linguistiques. Le deuxième article explore l'influence de la vitalité linguistique sur la confiance politique. Il utilise des données de l'Atlas UNESCO des langues en danger dans le monde ainsi que des données du European Social Survey (ESS). Les résultats soutiennent un modèle de médiation dans lequel la vitalité linguistique influence positivement la confiance politique d'une manière directe ainsi qu’indirectement par le biais de la discrimination perçue. Le troisième article cherche à isoler la séquence socio-psychologique qui relie la vitalité linguistique aux tensions intergroupes. Des données de sondage originales ont été recueillies auprès de francophones du Québec, de l'Ontario, du Nouveau-Brunswick et du Manitoba. Les résultats d’analyses de régression multiple soutiennent une séquence socio-psychologique dans laquelle la menace endogroupe influence les attitudes envers l’exogroupe par le biais de la menace perçue comme étant causée par l’exogroupe. Ainsi, ces constats soulignent l'importance des perceptions de la vitalité linguistique pour les attitudes intergroupes. Le quatrième article, produit en collaboration avec Patrick Fournier et Veronica Benet-Martinez, utilise un protocole expérimental pour déterminer le rôle causal de la vitalité linguistique sur les attitudes intergroupes. Les résultats démontrent que le type d'information, positif ou négatif, au sujet de la vitalité linguistique influence les perceptions de menace envers une langue. Cependant, les résultats quant à l'impact de l’information à propos de la vitalité linguistique sur les attitudes envers l’exogroupe, l’appui à la souveraineté et l'identité subjective sont moins évidents. Cette thèse permet de mieux comprendre les tensions intergroupes en démontrant le rôle important que joue la vitalité linguistique sur des phénomènes macros ainsi que sur les attitudes des individus.

Substrats neuronaux du traitement visuel et sémantique des mots dans le vieillissement normal : apports de la MEG

Bien que l’on ait longtemps considéré que les substrats cérébraux de la mémoire sémantique (MS) demeuraient intacts au cours du vieillissement normal (VN), en raison d’une préservation de la performance des personnes âgées à des épreuves sémantiques, plusieurs études récentes suggèrent que des modifications cérébrales sous-tendant le traitement sémantique opèrent au cours du vieillissement. Celles-ci toucheraient principalement les régions responsables des aspects exécutifs du traitement sémantique, impliqués dans les processus de recherche, de sélection et de manipulation stratégique de l’information sémantique. Cependant, les mécanismes spécifiques régissant la réorganisation cérébrale du traitement sémantique au cours du VN demeurent méconnus, notamment en raison de divergences méthodologiques entre les études. De plus, des données de la littérature suggèrent que des modifications cérébrales associées au vieillissement pourraient également avoir lieu en relation avec les aspects perceptifs visuels du traitement des mots. Puisque le processus de lecture des mots représente un processus interactif et dynamique entre les fonctions perceptuelles de bas niveau et les fonctions de plus haut niveau tel que la MS, il pourrait exister des modifications liées à l’âge au plan des interactions cérébrales entre les aspects perceptifs et sémantiques du traitement des mots. Dans son ensemble, l’objectif de la présente thèse était de caractériser les modifications cérébrales ainsi que le décours temporel du signal cérébral qui sont associés au traitement sémantique ainsi qu’au traitement perceptif des mots en lien avec le VN, ainsi que les relations et les modulations entre les processus sémantiques et perceptifs au cours du VN, en utilisant la magnétoencéphalographie (MEG) comme technique d’investigation. Dans un premier temps (chapitre 2), les patrons d’activation cérébrale d’un groupe de participants jeunes et d’un groupe de participants âgés sains ont été comparés alors qu’ils effectuaient une tâche de jugement sémantique sur des mots en MEG, en se concentrant sur le signal autour de la N400, une composante associée au traitement sémantique. Les résultats démontrent que des modifications cérébrales liées à l’âge touchent principalement les structures impliquées dans les aspects exécutifs du traitement sémantique. Une activation plus importante du cortex préfrontal inférieur (IPC) a été observée chez les participants jeunes que chez les participants âgés, alors que ces derniers activaient davantage les régions temporo-pariétales que les jeunes adultes. Par ailleurs, le lobe temporal antérieur (ATL) gauche, considéré comme une région centrale et amodale du traitement sémantique, était également davantage activé par les participants âgés que par les jeunes adultes. Dans un deuxième temps (chapitre 3), les patrons d’activation cérébrale d’un groupe de participants jeunes et d’un groupe de participants âgés sains ont été comparés en se concentrant sur le signal associé au traitement perceptif visuel, soit dans les 200 premières millisecondes du traitement des mots. Les résultats montrent que des modifications cérébrales liées à l’âge touchent le gyrus fusiforme mais aussi le réseau sémantique, avec une plus grande activation pour le groupe de participants âgés, malgré une absence de différence d’activation dans le cortex visuel extrastrié entre les deux groupes. Les implications théoriques des résultats de ces deux études sont ensuite discutées, et les limites et perspectives futures sont finalement adressées (chapitre 4).

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Abitbol : un langage sur mesure pour la métaprogrammation

Ce mémoire a pour thèse que les fonctions devraient être transparentes lors de la phase de métaprogrammation. En effet, la métaprogrammation se veut une possibilité pour le programmeur d’étendre le compilateur. Or, dans un style de programmation fonctionnelle, la logique du programme se retrouve dans les définitions des diverses fonctions le composant. Puisque les fonctions sont généralement opaques, l’impossibilité d’accéder à cette logique limite les applications possibles de la phase de métaprogrammation. Nous allons illustrer les avantages que procurent les fonctions transparentes pour la métaprogrammation. Nous donnerons notamment l’exemple du calcul symbolique et un exemple de nouvelles optimisations désormais possibles. Nous illustrerons également que la transparence des fonctions permet de faire le pont entre les datatypes du programme et les fonctions. Nous allons également étudier ce qu'implique la présence de fonctions transparentes au sein d'un langage. Nous nous concentrerons sur les aspects reliés à l'implantation de ces dernières, aux performances et à la facilité d'utilisation. Nous illustrerons nos propos avec le langage Abitbol, un langage créé sur mesure pour la métaprogrammation.

Linguistic imperialism : a study of language and yoruba rituals in Wole Soyinka’s Death and the king’s horseman

L’objectif de ce mémoire est de démontrer le rôle important de la langue dans la pièce de théâtre Death and the King’s Horseman par l’auteur nigérian Wole Soyinka. Le premier chapitre traite les implications de l'écriture d'un texte postcolonial dans la langue anglaise et revisite les débats linguistiques des années 1950 et 1960. En plus de l'anglais, ce mémoire observe l'utilisation d'autres formes de communication telles que l'anglais, le pidgin nigérian, les dialectes locaux et les métaphores Yoruba. Par conséquent, l'intersection entre la langue et la culture devient évidente à travers la description des rituels. La dernière partie de ce mémoire explore l'objectif principal de Soyinka de créer une «essence thrénodique». Avec l'utilisation de masques rituels, de la danse et de la musique, il développe un type de dialogue qui dépasse les limites de la forme écrite et est accessible seulement à ceux qui sont équipés de sensibilités culturelles Yoruba.

Early-onset and late-onset Alzheimer’s disease are associated with distinct patterns of memory impairment

The goal of this study was to investigate the specific patterns of memory breakdown in patients suffering from early-onset Alzheimer’s disease (EOAD) and late-onset Alzheimer’s disease (LOAD). Twenty EOAD patients, twenty LOAD patients, twenty matched younger controls, and twenty matched older controls participated in this study. All participants underwent a detailed neuropsychological assessment, an MRI scan, an FDG-PET scan, and AD patients had biomarkers as supporting evidence of both amyloïdopathy and neuronal injury. Results of the neuropsychological assessment showed that both EOAD and LOAD groups were impaired in the domains of memory, executive functions, language, praxis, and visuoconstructional abilities, when compared to their respective control groups. EOAD and LOAD groups, however, showed distinct patterns of memory impairment. Even though both groups were similarly affected on measures of episodic, short term and working memory, in contrast semantic memory was significantly more impaired in LOAD than in EOAD patients. The EOAD group was not more affected than the LOAD group in any memory domain. EOAD patients, however, showed significantly poorer performance in other cognitive domains including executive functions and visuoconstructional abilities. A more detailed analysis of the pattern of semantic memory performance among patient groups revealed that the LOAD was more profoundly impaired, in tasks of both spontaneous recall and semantic recognition. Voxel-Based Morphometry (VBM) analyses showed that impaired semantic performance in patients was associated with reduced gray matter volume in the anterior temporal lobe region, while PET-FDG analyses revealed that poorer semantic performance was associated with greater hypometabolism in the left temporoparietal region, both areas reflecting key regions of the semantic network. Results of this study indicate that EOAD and LOAD patients present with distinct patterns of memory impairment, and that a genuine semantic impairment may represent one of the clinical hallmarks of LOAD.

La représentation auditive motrice reflétée par la négativité de discordance chez l’enfant présentant un trouble du spectre de l’autisme

Il est maintenant bien établi que le cerveau humain est doté d’un système de neurones qui s’active tant à la perception qu’à l’exécution d’une action. Les neurones miroirs, ainsi que le système qu’ils forment avec des structures adjacentes appelées système neurones miroirs (SNM), ont été relié à la compréhension d’action et pourrait être impliqué dans les fonctions sociales de haut niveau tel que l’empathie et l’imitation. Dans la foulée spéculative reliant le SNM à la sphère sociale, le dysfonctionnement de ce système a rapidement gagné intérêt dans la genèse des anomalies du domaine social chez les personnes présentant le Trouble du spectre de l’autisme (TSA). Néanmoins, l’hypothèse voulant que le dysfonctionnement social des TSA repose sur une atteinte du SNM est controversée. En effet, les études soutenant cette hypothèse nécessitent des fonctions cognitives et sociales qui peuvent contribuer à l’obtention de résultats atypiques, telles que la compréhension des consignes, l’attention sur des stimuli sociaux ou la réalisation d’acte moteur. Récemment, un protocole auditif de négativité de discordance (MMN) utilisant des stimuli reliés à l’action humaine a été utilisé pour mesurer l’activité du SNM. Cette technique semble prometteuse dans la mesure où elle ne nécessite pas de capacités attentionnelles ou langagières, elle est brève et demande un montage minimal d’électrodes. Le premier article avait comme objectif principal de mesurer la validité de convergence du protocole MMN relié à l’action avec celui du rythme mu, le protocole le plus utilisé pour enregistrer l’activité miroir à l’aide de l’électroencéphalographie (EEG). Les modes de stimulation ont été délivrées en bloc successif à un groupe de 12 adultes en santé. Alors que les deux techniques ont modulé efficacement les régions fronto-centrales et centrales respectivement, mais ne sont pas corrélées, nous avons conclu qu’il est possible 2 qu’elles mesurent des aspects différents du SNM. Le deuxième article avait comme objectif principal de mesurer l’activité du SNM à l’aide du protocole MMN relié à l’action chez 10 enfants présentant un TSA ainsi que chez 12 enfants neurotypiques dans la même tranche d’âge (5-7ans). Chez les enfants TSA, nous avons montré un patron de latence inversée, comparativement aux enfants du groupe contrôle; ils traitaient plus rapidement les sons contrôles que les sons reliés à l’action humaine, alors que la tendance inverse était observée chez les contrôles. De plus, bien que les deux groupes différaient quant aux sons d’action, ils ne différaient pas quant aux sons contrôles. Quant à l’amplitude, les enfants TSA se distinguaient du groupe contrôle par une amplitude restreinte du son d’action provenant de la bouche. Par ailleurs, les mesures neurophysiologiques et neuropsychologiques n’étaient pas corrélées. En sommes, basé sur la prémisse que ce protocole MMN pourrait mesurer l’activité du SNM, cette thèse a comme but d’améliorer les connaissances quant à son utilisation chez l’adulte et l’enfant neurotypique ainsi que chez l’enfant TSA. Celui-ci pourrait ultimement être utilisé comme un biomarqueur potentiel du TSA.

Language plurality as power struggle, or: Translating politics in Canada

For this paper, heterolingualism or language plurality will be considered as the presence in a single text or in a social environment of both French and English, Canada’s official languages. Language plurality will here be studied from an institutional viewpoint: the influence of the Canadian government on the translation of political speeches. The first part of this article will establish that political speeches are written in a bilingual environment where the two official languages are often in contact. This bilingualism, however, is often homogenised when it comes to speech delivery and publication. Therefore, the second part focuses on the speeches’ paratextual

Effets de la stimulation magnétique transcrânienne dans la maladie de Parkinson avec déficits cognitifs légers

Beaucoup de patients atteints de la maladie de Parkinson (MP) peuvent souffrir de troubles cognitifs dès les étapes initiales de la maladie et jusqu’à 80% d’entre eux vont développer une démence. Des altérations fonctionnelles au niveau du cortex préfrontal dorsolatéral (CPFDL), possiblement en relation avec le noyau caudé, seraient à l’origine de certains de ces déficits cognitifs. Des résultats antérieurs de notre groupe ont montré une augmentation de l’activité et de la connectivité dans la boucle cortico-striatale cognitive suite à la stimulation magnétique transcrânienne (SMT) utilisant des paramètres « theta burst » intermittent (iTBS) sur le CPFDL gauche. Pour cette étude, 24 patients atteints de la MP avec des troubles cognitifs ont été séparées en 2 groupes : le groupe iTBS active (N=15) et le groupe sham (stimulation simulée, N=9). Une batterie neuropsychologique détaillée évaluant cinq domaines cognitifs (attention, fonctions exécutives, langage, mémoire et habiletés visuo-spatiales) a été administrée lors des jours 1, 8, 17 et 37. Le protocole iTBS a été appliqué sur le CPFDL gauche durant les jours 2, 4 et 7. Les scores z ont été calculés pour chaque domaine cognitif et pour la cognition globale. Les résultats ont montré une augmentation significative de la cognition globale jusqu’à 10 jours suivant l’iTBS active, particulièrement au niveau de l’attention, des fonctions exécutives et des habiletés visuo-spatiales. Cet effet sur la cognition globale n’est pas répliqué dans le groupe sham. Ces résultats suggèrent donc que l’iTBS peut moduler la performance cognitive chez les patients atteints de MP avec des déficits cognitifs.