Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Études génétiques moléculaires des gènes de la polarité planaire cellulaire dans les anomalies du tube neural chez l’Homme

Les anomalies du tube neural (ATN) sont des malformations congénitales parmi les plus fréquentes chez l’humain en touchant 1-2 nouveau-nés par 1000 naissances. Elles résultent d’un défaut de fermeture du tube neural pendant l’embryogenèse. Les formes les plus courantes d'ATN chez l'homme sont l'anencéphalie et le spina-bifida. Leur étiologie est complexe impliquant à la fois des facteurs environnementaux et des facteurs génétiques. Un dérèglement dans la signalisation Wnt, incluant la signalisation canonique Wnt/β-caténine et non-canonique de la polarité planaire cellulaire (PCP), peut causer respectivement le cancer ou les anomalies du tube neural (ATN). Les deux voies semblent s’antagoniser mutuellement. Dans cette étude, nous investiguons les rôles de Lrp6 et deANKRD6, entant qu’interrupteurs moléculaires entre les deux voies de signalisation Wnt, et CELSR1, en tant que membre de la PCP, chez la souris mutante Skax26m1Jus, générée par l’agent mutagène N-Ethyl-N-Nitrosuera, et dans une cohorte de patients humains ATN. Pour Lrp6, nous avons démontré que Skax26m1Jus représente un allèle hypermorphe de Lrp6 avec une augmentation de l’activité de la signalisation Wnt/canonique et une diminution de l’activité JNK induite par la voie PCP. Nous avons également montré que Lrp6Skax26m1Jus interagit génétiquement avec un mutant PCP (Vangl2Lp) où les doubles hétérozygotes ont montré une fréquence élevée d’ATN et des défauts dans la polarité des cellules ciliées de la cochlée. Particulièrement, notre étude démontre l'association des nouvelles et rares mutations faux-sens dans LRP6 avec les ATN humaines. Nous montrons que trois mutations de LRP6 causent une activité canonique réduite et non-canonique élevée. Pour ANKRD6, nous avons identifié quatre nouvelles et rares mutations faux-sens chez 0,8% des patients ATN et deux chez 1,3% des contrôles. Notamment, seulement deux, des six mutations validées (p.Pro548Leu et p.Arg632His) ont démontré un effet significatif sur l’activité de ANKRD6 selon un mode hypomorphique. Pour CELSR1, nous avons identifié une mutation non-sens dans l'exon 1 qui supprime la majeure partie de la protéine et une délétionde 12 pb. Cette perte de nucléotides ne change pas le cadre de lecture et élimine un motif putatif de phosphorylation par la PKC " SSR ". Nous avons également détecté un total de 13 nouveaux et rares variants faux-sens qui avaient été prédits comme étant pathogènes in silico. Nos données confirment le rôle inhibiteur de Lrp6 dans la signalisation PCP pendant la neurulation et indiquent aussi que les mutations faux-sens identifiées chez LRP6 et ANKRD6 pourraient affecter un équilibre réciproque et un antagonisme très sensible à un dosage précis entre les deux voies Wnt. Ces variants peuvent aussi agir comme facteurs prédisposants aux ATN. En outre, nos résultats impliquent aussi CELSR1 comme un facteur de risque pour les anomalies du tube neural ou l’agénésie caudale. Nos résultats fournissent des preuves supplémentaires que la voie de signalisation PCP a un rôle pathogène dans ces malformations congénitales et un outil important pour mieux comprendre leurs mécanismes moléculaires.

Longitudinal assessment of neural activity in Parkinson’s disease with mild cognitive impairment using task based fMRI

La maladie de Parkinson (PD) a été uniquement considérée pour ses endommagements sur les circuits moteurs dans le cerveau. Il est maintenant considéré comme un trouble multisystèmique, avec aspects multiples non moteurs y compris les dommages intérêts pour les circuits cognitifs. La présence d’un trouble léger de la cognition (TCL) de PD a été liée avec des changements structurels de la matière grise, matière blanche ainsi que des changements fonctionnels du cerveau. En particulier, une activité significativement réduite a été observée dans la boucle corticostriatale ‘cognitive’ chez des patients atteints de PD-TCL vs. PD non-TCL en utilisant IRMf. On sait peu de cours de ces modèles fonctionnels au fil du temps. Dans cette étude, nous présentons un suivi longitudinal de 24 patients de PD non démente qui a subi une enquête neuropsychologique, et ont été séparés en deux groupes - avec et sans TCL (TCL n = 11, non-TCL n = 13) en fonction du niveau 2 des recommandations de la Movement Disrders Society pour le diagnostic de PD-TCL. Ensuite, chaque participant a subi une IRMf en effectuant la tâche de Wisconsin pendant deux sessions, 19 mois d'intervalle. Nos résultats longitudinaux montrent qu'au cours de la planification de période de la tâche, les patients PD non-TCL engageant les ressources normales du cortex mais ils ont activé en plus les zones corticales qui sont liés à la prise de décision tel que cortex médial préfrontal (PFC), lobe pariétal et le PFC supérieure, tandis que les PD-TCL ont échoué pour engager ces zones en temps 2. Le striatum n'était pas engagé pour les deux groupes en temps 1 et pour le groupe TCL en temps 2. En outre, les structures médiales du lobe temporal étaient au fil du temps sous recrutés pour TCL et Non-TCL et étaient positivement corrélés avec les scores de MoCA. Le cortex pariétal, PFC antérieur, PFC supérieure et putamen postérieur étaient négativement corrélés avec les scores de MoCA en fil du temps. Ces résultats révèlent une altération fonctionnelle pour l’axe ganglial-thalamo-corticale au début de PD, ainsi que des niveaux différents de participation corticale pendant une déficience cognitive. Cette différence de recrutement corticale des ressources pourrait refléter longitudinalement des circuits déficients distincts de trouble cognitive légère dans PD.

Role of the Protein Tyrosine Kinase 7 gene in human neural tube defects

Les anomalies du tube neural (ATN) sont des anomalies développementales où le tube neural reste ouvert (1-2/1000 naissances). Afin de prévenir cette maladie, une connaissance accrue des processus moléculaires est nécessaire. L’étiologie des ATN est complexe et implique des facteurs génétiques et environnementaux. La supplémentation en acide folique est reconnue pour diminuer les risques de développer une ATN de 50-70% et cette diminution varie en fonction du début de la supplémentation et de l’origine démographique. Les gènes impliqués dans les ATN sont largement inconnus. Les études génétiques sur les ATN chez l’humain se sont concentrées sur les gènes de la voie métabolique des folates du à leur rôle protecteur dans les ATN et les gènes candidats inférés des souris modèles. Ces derniers ont montré une forte association entre la voie non-canonique Wnt/polarité cellulaire planaire (PCP) et les ATN. Le gène Protein Tyrosine Kinase 7 est un membre de cette voie qui cause l’ATN sévère de la craniorachischisis chez les souris mutantes. Ptk7 interagit génétiquement avec Vangl2 (un autre gène de la voie PCP), où les doubles hétérozygotes montrent une spina bifida. Ces données font de PTK7 comme un excellent candidat pour les ATN chez l’humain. Nous avons re-séquencé la région codante et les jonctions intron-exon de ce gène dans une cohorte de 473 patients atteints de plusieurs types d’ATN. Nous avons identifié 6 mutations rares (fréquence allélique <1%) faux-sens présentes chez 1.1% de notre cohorte, dont 3 sont absentes dans les bases de données publiques. Une variante, p.Gly348Ser, a agi comme un allèle hypermorphique lorsqu'elle est surexprimée dans le modèle de poisson zèbre. Nos résultats impliquent la mutation de PTK7 comme un facteur de risque pour les ATN et supporte l'idée d'un rôle pathogène de la signalisation PCP dans ces malformations.

From Word Embeddings to Large Vocabulary Neural Machine Translation

Dans ce mémoire, nous examinons certaines propriétés des représentations distribuées de mots et nous proposons une technique pour élargir le vocabulaire des systèmes de traduction automatique neurale. En premier lieu, nous considérons un problème de résolution d'analogies bien connu et examinons l'effet de poids adaptés à la position, le choix de la fonction de combinaison et l'impact de l'apprentissage supervisé. Nous enchaînons en montrant que des représentations distribuées simples basées sur la traduction peuvent atteindre ou dépasser l'état de l'art sur le test de détection de synonymes TOEFL et sur le récent étalon-or SimLex-999. Finalament, motivé par d'impressionnants résultats obtenus avec des représentations distribuées issues de systèmes de traduction neurale à petit vocabulaire (30 000 mots), nous présentons une approche compatible à l'utilisation de cartes graphiques pour augmenter la taille du vocabulaire par plus d'un ordre de magnitude. Bien qu'originalement développée seulement pour obtenir les représentations distribuées, nous montrons que cette technique fonctionne plutôt bien sur des tâches de traduction, en particulier de l'anglais vers le français (WMT'14).

Neural changes associated with semantic processing in healthy aging despite intact behavioral performance

Semantic memory recruits an extensive neural network including the left inferior prefrontal cortex (IPC) and the left temporoparietal region, which are involved in semantic control processes, as well as the anterior temporal lobe region (ATL) which is considered to be involved in processing semantic information at a central level. However, little is known about the underlying neuronal integrity of the semantic network in normal aging. Young and older healthy adults carried out a semantic judgment task while their cortical activity was recorded using magnetoencephalography (MEG). Despite equivalent behavioral performance, young adults activated the left IPC to a greater extent than older adults, while the latter group recruited the temporoparietal region bilaterally and the left ATL to a greater extent than younger adults. Results indicate that significant neuronal changes occur in normal aging, mainly in regions underlying semantic control processes, despite an apparent stability in performance at the behavioral level.

Metabolomics analysis in rats with thiamine deficiency identifies key metabolites in vulnerable brain regions and suggests neural stem progenitor cells play a role in ameliorating metabolic dysfunction

La documentation scientifique fait état de la présence, chez l’adulte, de cellules souches et progénitrices neurales (CSPN) endogènes dans les zones sous-ventriculaire et sous-granulaire du cerveau ainsi que dans le gyrus denté de l’hippocampe. De plus, un postulat selon lequel il serait également possible de retrouver ce type de cellules dans la moelle épinière et le néocortex des mammifères adultes a été énoncé. L’encéphalopathie de Wernicke, un trouble neurologique grave toutefois réversible qui entraîne un dysfonctionnement, voire une défaillance du cerveau, est causée principalement par une carence importante en thiamine (CT). Des observations récentes laissent envisager que les facteurs en cause dans la prolifération et la différenciation des CSPN pourraient également jouer un rôle important lors d’un épisode de CT. L’hypothèse, selon laquelle l’identification de nouveaux métabolites entrant dans le mécanisme ou la séquence de réactions se soldant en une CT pourraient en faciliter la compréhension, a été émise au moyen d'une démarche en cours permettant d’établir le profil des modifications métaboliques qui surviennent en de telles situations. Cette approche a été utilisée pour constater les changements métaboliques survenus au niveau du foyer cérébral dans un modèle de rats déficients en thiamine (rats DT), particulièrement au niveau du thalamus et du colliculus inférieur (CI). La greffe de CSPN a quant à elle été envisagée afin d’apporter de nouvelles informations sur la participation des CSPN lors d’un épisode de CT et de déterminer les bénéfices thérapeutiques potentiels offerts par cette intervention. Les sujets de l’étude étaient répartis en quatre groupes expérimentaux : un premier groupe constitué de rats dont la CT était induite par la pyrithiamine (rats DTiP), un deuxième groupe constitué de rats-contrôles nourris ensemble (« pair-fed control rats » ou rats PFC) ainsi que deux groupes de rats ayant subi une greffe de CSPN, soit un groupe de rats DTiP greffés et un dernier groupe constitué de rats-contrôles (rats PFC) greffés. Les échantillons de foyers cérébraux (thalamus et CI) des quatre groupes de rats ont été prélevés et soumis à des analyses métabolomiques non ciblées ainsi qu’à une analyse visuelle par microscopie à balayage électronique (SEM). Une variété de métabolites-clés a été observée chez les groupes de rats déficients en thiamine (rats DTiP) en plus de plusieurs métabolites dont la documentation ne faisait pas mention. On a notamment constaté la présence d’acides biliaires, d’acide cynurénique et d’acide 1,9— diméthylurique dans le thalamus, alors que la présence de taurine et de carnosine a été observée dans le colliculus inférieur. L’étude a de plus démontré une possible implication des CSPN endogènes dans les foyers cérébraux du thalamus et du colliculus inférieur en identifiant les métabolites-clés ciblant les CSPN. Enfin, les analyses par SEM ont montré une amélioration notable des tissus à la suite de la greffe de CSPN. Ces constatations suggèrent que l’utilisation de CSPN pourrait s’avérer une avenue thérapeutique intéressante pour soulager la dégénérescence symptomatique liée à une grave carence en thiamine chez l’humain.