On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Criblage génétique et caractérisation fonctionnelle des mutations dans les différentes sous-unités du récepteur GABAA associées à l'épilepsie génétique généralisée

Les épilepsies génétiques généralisées (ÉGGs) sont un groupe de syndromes épileptiques hétérogènes qui se manifestent habituellement durant les périodes de l’enfance et de l’adolescence. Les ÉGGs représentent 30% de toutes les épilepsies. Il n’existe présentement aucun remède à l’épilepsie génétique généralisée. Au sein de ce groupe d’épilepsies, les sujets sont le plus souvent dépourvus de lésions cérébrales, ce qui signifie que les facteurs génétiques jouent un rôle important dans l’étiologie de la maladie. Au cours des dernières années, plusieurs gènes impliqués dans des formes familiales d’ÉGG ont été identifiés. La majorité d'entre elles codent pour des canaux ioniques incluant le récepteur-ligand GABAA (RGABAA). De ce groupe, des mutations ont été identifiées dans quatre sous-unités du récepteur GABAA. Dans un premier temps, l’objectif général de cette thèse vise l’évaluation de la composante génétique de notre cohorte d’ÉGG expliquée par les gènes codant pour les sous-unités du récepteur GABAA. Puis, dans un second souffle, le rôle des variants identifiés est défini et analysé afin de mieux cerner leurs impacts dans la pathogénèse de ce phénotype. La première partie du projet consiste en une analyse exhaustive des mutations existantes dans la partie codante des 19 gènes GABRA pour des patients atteints d’ÉGG. En criblant des familles québécoises avec ÉGG, nous avons identifié 22 variants rares incluant 19 faux-sens et 3 non-sens dans 14 sous-unités du RGABAA. En séquençant ces gènes dans une grande cohorte de cas et de contrôles, nous avons établi le profil des variations rares pour ceux-ci. Ces données suggèrent qu’une proportion significative (8%) des patients atteints d’ÉGG ont des variants rares sur les gènes du RGABAA. La deuxième partie porte directement sur certains gènes identifiés lors de la première partie. De ce groupe, cinq nouvelles mutations ont été découvertes dans des gènes déjà associés à l’épilepsie (GABRA1 et GABRG2). Nous avons constaté l’impact de ces mutations dans les mécanismes génétiques de l’épilepsie, en mesurant les effets des variants sur la structure et la fonction du récepteur GABAA. La troisième partie se concentre sur notre hypothèse, voulant que les RGABAA mutants altèrent l’effet du GABA durant le développement du système nerveux central (SNC). L’objectif principal vise à déterminer la contribution relative de chacune des sous-unités mutées dans le développement du SNC. Ainsi, nous avons démontré qu’une telle perte de fonction a un impact significatif sur le développement des synapses GABAergiques et glutamatergiques ainsi que sur la plasticité des circuits corticaux. Nos résultats nous ont permis de préciser comment les mutations dans les gènes GABRA peuvent mener à l’ÉGG. Éventuellement, la caractérisation moléculaire de ces mutations contribuera à l’élaboration de nouveaux outils diagnostiques et facilitera la mise au point de traitements mieux ciblés pour les gens atteints de cette condition neurologique chronique.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Études génétiques moléculaires des gènes de la polarité planaire cellulaire dans les anomalies du tube neural chez l’Homme

Les anomalies du tube neural (ATN) sont des malformations congénitales parmi les plus fréquentes chez l’humain en touchant 1-2 nouveau-nés par 1000 naissances. Elles résultent d’un défaut de fermeture du tube neural pendant l’embryogenèse. Les formes les plus courantes d'ATN chez l'homme sont l'anencéphalie et le spina-bifida. Leur étiologie est complexe impliquant à la fois des facteurs environnementaux et des facteurs génétiques. Un dérèglement dans la signalisation Wnt, incluant la signalisation canonique Wnt/β-caténine et non-canonique de la polarité planaire cellulaire (PCP), peut causer respectivement le cancer ou les anomalies du tube neural (ATN). Les deux voies semblent s’antagoniser mutuellement. Dans cette étude, nous investiguons les rôles de Lrp6 et deANKRD6, entant qu’interrupteurs moléculaires entre les deux voies de signalisation Wnt, et CELSR1, en tant que membre de la PCP, chez la souris mutante Skax26m1Jus, générée par l’agent mutagène N-Ethyl-N-Nitrosuera, et dans une cohorte de patients humains ATN. Pour Lrp6, nous avons démontré que Skax26m1Jus représente un allèle hypermorphe de Lrp6 avec une augmentation de l’activité de la signalisation Wnt/canonique et une diminution de l’activité JNK induite par la voie PCP. Nous avons également montré que Lrp6Skax26m1Jus interagit génétiquement avec un mutant PCP (Vangl2Lp) où les doubles hétérozygotes ont montré une fréquence élevée d’ATN et des défauts dans la polarité des cellules ciliées de la cochlée. Particulièrement, notre étude démontre l'association des nouvelles et rares mutations faux-sens dans LRP6 avec les ATN humaines. Nous montrons que trois mutations de LRP6 causent une activité canonique réduite et non-canonique élevée. Pour ANKRD6, nous avons identifié quatre nouvelles et rares mutations faux-sens chez 0,8% des patients ATN et deux chez 1,3% des contrôles. Notamment, seulement deux, des six mutations validées (p.Pro548Leu et p.Arg632His) ont démontré un effet significatif sur l’activité de ANKRD6 selon un mode hypomorphique. Pour CELSR1, nous avons identifié une mutation non-sens dans l'exon 1 qui supprime la majeure partie de la protéine et une délétionde 12 pb. Cette perte de nucléotides ne change pas le cadre de lecture et élimine un motif putatif de phosphorylation par la PKC " SSR ". Nous avons également détecté un total de 13 nouveaux et rares variants faux-sens qui avaient été prédits comme étant pathogènes in silico. Nos données confirment le rôle inhibiteur de Lrp6 dans la signalisation PCP pendant la neurulation et indiquent aussi que les mutations faux-sens identifiées chez LRP6 et ANKRD6 pourraient affecter un équilibre réciproque et un antagonisme très sensible à un dosage précis entre les deux voies Wnt. Ces variants peuvent aussi agir comme facteurs prédisposants aux ATN. En outre, nos résultats impliquent aussi CELSR1 comme un facteur de risque pour les anomalies du tube neural ou l’agénésie caudale. Nos résultats fournissent des preuves supplémentaires que la voie de signalisation PCP a un rôle pathogène dans ces malformations congénitales et un outil important pour mieux comprendre leurs mécanismes moléculaires.

Longitudinal assessment of neural activity in Parkinson’s disease with mild cognitive impairment using task based fMRI

La maladie de Parkinson (PD) a été uniquement considérée pour ses endommagements sur les circuits moteurs dans le cerveau. Il est maintenant considéré comme un trouble multisystèmique, avec aspects multiples non moteurs y compris les dommages intérêts pour les circuits cognitifs. La présence d’un trouble léger de la cognition (TCL) de PD a été liée avec des changements structurels de la matière grise, matière blanche ainsi que des changements fonctionnels du cerveau. En particulier, une activité significativement réduite a été observée dans la boucle corticostriatale ‘cognitive’ chez des patients atteints de PD-TCL vs. PD non-TCL en utilisant IRMf. On sait peu de cours de ces modèles fonctionnels au fil du temps. Dans cette étude, nous présentons un suivi longitudinal de 24 patients de PD non démente qui a subi une enquête neuropsychologique, et ont été séparés en deux groupes - avec et sans TCL (TCL n = 11, non-TCL n = 13) en fonction du niveau 2 des recommandations de la Movement Disrders Society pour le diagnostic de PD-TCL. Ensuite, chaque participant a subi une IRMf en effectuant la tâche de Wisconsin pendant deux sessions, 19 mois d'intervalle. Nos résultats longitudinaux montrent qu'au cours de la planification de période de la tâche, les patients PD non-TCL engageant les ressources normales du cortex mais ils ont activé en plus les zones corticales qui sont liés à la prise de décision tel que cortex médial préfrontal (PFC), lobe pariétal et le PFC supérieure, tandis que les PD-TCL ont échoué pour engager ces zones en temps 2. Le striatum n'était pas engagé pour les deux groupes en temps 1 et pour le groupe TCL en temps 2. En outre, les structures médiales du lobe temporal étaient au fil du temps sous recrutés pour TCL et Non-TCL et étaient positivement corrélés avec les scores de MoCA. Le cortex pariétal, PFC antérieur, PFC supérieure et putamen postérieur étaient négativement corrélés avec les scores de MoCA en fil du temps. Ces résultats révèlent une altération fonctionnelle pour l’axe ganglial-thalamo-corticale au début de PD, ainsi que des niveaux différents de participation corticale pendant une déficience cognitive. Cette différence de recrutement corticale des ressources pourrait refléter longitudinalement des circuits déficients distincts de trouble cognitive légère dans PD.

From Word Embeddings to Large Vocabulary Neural Machine Translation

Dans ce mémoire, nous examinons certaines propriétés des représentations distribuées de mots et nous proposons une technique pour élargir le vocabulaire des systèmes de traduction automatique neurale. En premier lieu, nous considérons un problème de résolution d'analogies bien connu et examinons l'effet de poids adaptés à la position, le choix de la fonction de combinaison et l'impact de l'apprentissage supervisé. Nous enchaînons en montrant que des représentations distribuées simples basées sur la traduction peuvent atteindre ou dépasser l'état de l'art sur le test de détection de synonymes TOEFL et sur le récent étalon-or SimLex-999. Finalament, motivé par d'impressionnants résultats obtenus avec des représentations distribuées issues de systèmes de traduction neurale à petit vocabulaire (30 000 mots), nous présentons une approche compatible à l'utilisation de cartes graphiques pour augmenter la taille du vocabulaire par plus d'un ordre de magnitude. Bien qu'originalement développée seulement pour obtenir les représentations distribuées, nous montrons que cette technique fonctionne plutôt bien sur des tâches de traduction, en particulier de l'anglais vers le français (WMT'14).

Neural changes associated with semantic processing in healthy aging despite intact behavioral performance

Semantic memory recruits an extensive neural network including the left inferior prefrontal cortex (IPC) and the left temporoparietal region, which are involved in semantic control processes, as well as the anterior temporal lobe region (ATL) which is considered to be involved in processing semantic information at a central level. However, little is known about the underlying neuronal integrity of the semantic network in normal aging. Young and older healthy adults carried out a semantic judgment task while their cortical activity was recorded using magnetoencephalography (MEG). Despite equivalent behavioral performance, young adults activated the left IPC to a greater extent than older adults, while the latter group recruited the temporoparietal region bilaterally and the left ATL to a greater extent than younger adults. Results indicate that significant neuronal changes occur in normal aging, mainly in regions underlying semantic control processes, despite an apparent stability in performance at the behavioral level.

Metabolomics analysis in rats with thiamine deficiency identifies key metabolites in vulnerable brain regions and suggests neural stem progenitor cells play a role in ameliorating metabolic dysfunction

La documentation scientifique fait état de la présence, chez l’adulte, de cellules souches et progénitrices neurales (CSPN) endogènes dans les zones sous-ventriculaire et sous-granulaire du cerveau ainsi que dans le gyrus denté de l’hippocampe. De plus, un postulat selon lequel il serait également possible de retrouver ce type de cellules dans la moelle épinière et le néocortex des mammifères adultes a été énoncé. L’encéphalopathie de Wernicke, un trouble neurologique grave toutefois réversible qui entraîne un dysfonctionnement, voire une défaillance du cerveau, est causée principalement par une carence importante en thiamine (CT). Des observations récentes laissent envisager que les facteurs en cause dans la prolifération et la différenciation des CSPN pourraient également jouer un rôle important lors d’un épisode de CT. L’hypothèse, selon laquelle l’identification de nouveaux métabolites entrant dans le mécanisme ou la séquence de réactions se soldant en une CT pourraient en faciliter la compréhension, a été émise au moyen d'une démarche en cours permettant d’établir le profil des modifications métaboliques qui surviennent en de telles situations. Cette approche a été utilisée pour constater les changements métaboliques survenus au niveau du foyer cérébral dans un modèle de rats déficients en thiamine (rats DT), particulièrement au niveau du thalamus et du colliculus inférieur (CI). La greffe de CSPN a quant à elle été envisagée afin d’apporter de nouvelles informations sur la participation des CSPN lors d’un épisode de CT et de déterminer les bénéfices thérapeutiques potentiels offerts par cette intervention. Les sujets de l’étude étaient répartis en quatre groupes expérimentaux : un premier groupe constitué de rats dont la CT était induite par la pyrithiamine (rats DTiP), un deuxième groupe constitué de rats-contrôles nourris ensemble (« pair-fed control rats » ou rats PFC) ainsi que deux groupes de rats ayant subi une greffe de CSPN, soit un groupe de rats DTiP greffés et un dernier groupe constitué de rats-contrôles (rats PFC) greffés. Les échantillons de foyers cérébraux (thalamus et CI) des quatre groupes de rats ont été prélevés et soumis à des analyses métabolomiques non ciblées ainsi qu’à une analyse visuelle par microscopie à balayage électronique (SEM). Une variété de métabolites-clés a été observée chez les groupes de rats déficients en thiamine (rats DTiP) en plus de plusieurs métabolites dont la documentation ne faisait pas mention. On a notamment constaté la présence d’acides biliaires, d’acide cynurénique et d’acide 1,9— diméthylurique dans le thalamus, alors que la présence de taurine et de carnosine a été observée dans le colliculus inférieur. L’étude a de plus démontré une possible implication des CSPN endogènes dans les foyers cérébraux du thalamus et du colliculus inférieur en identifiant les métabolites-clés ciblant les CSPN. Enfin, les analyses par SEM ont montré une amélioration notable des tissus à la suite de la greffe de CSPN. Ces constatations suggèrent que l’utilisation de CSPN pourrait s’avérer une avenue thérapeutique intéressante pour soulager la dégénérescence symptomatique liée à une grave carence en thiamine chez l’humain.