Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

A robust algorithm for segmenting fluorescence images and its application to single-molecule counting

La microscopie par fluorescence de cellules vivantes produit de grandes quantités de données. Ces données sont composées d’une grande diversité au niveau de la forme des objets d’intérêts et possèdent un ratio signaux/bruit très bas. Pour concevoir un pipeline d’algorithmes efficaces en traitement d’image de microscopie par fluorescence, il est important d’avoir une segmentation robuste et fiable étant donné que celle-ci constitue l’étape initiale du traitement d’image. Dans ce mémoire, je présente MinSeg, un algorithme de segmentation d’image de microscopie par fluorescence qui fait peu d’assomptions sur l’image et utilise des propriétés statistiques pour distinguer le signal par rapport au bruit. MinSeg ne fait pas d’assomption sur la taille ou la forme des objets contenus dans l’image. Par ce fait, il est donc applicable sur une grande variété d’images. Je présente aussi une suite d’algorithmes pour la quantification de petits complexes dans des expériences de microscopie par fluorescence de molécules simples utilisant l’algorithme de segmentation MinSeg. Cette suite d’algorithmes a été utilisée pour la quantification d’une protéine nommée CENP-A qui est une variante de l’histone H3. Par cette technique, nous avons trouvé que CENP-A est principalement présente sous forme de dimère.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

The use of artificial intelligence algorithms to guide surgical treatment of adolescent idiopathic scoliosis

La scoliose idiopathique de l’adolescent (SIA) est une déformation tri-dimensionelle du rachis. Son traitement comprend l’observation, l’utilisation de corsets pour limiter sa progression ou la chirurgie pour corriger la déformation squelettique et cesser sa progression. Le traitement chirurgical reste controversé au niveau des indications, mais aussi de la chirurgie à entreprendre. Malgré la présence de classifications pour guider le traitement de la SIA, une variabilité dans la stratégie opératoire intra et inter-observateur a été décrite dans la littérature. Cette variabilité s’accentue d’autant plus avec l’évolution des techniques chirurgicales et de l’instrumentation disponible. L’avancement de la technologie et son intégration dans le milieu médical a mené à l’utilisation d’algorithmes d’intelligence artificielle informatiques pour aider la classification et l’évaluation tridimensionnelle de la scoliose. Certains algorithmes ont démontré être efficace pour diminuer la variabilité dans la classification de la scoliose et pour guider le traitement. L’objectif général de cette thèse est de développer une application utilisant des outils d’intelligence artificielle pour intégrer les données d’un nouveau patient et les évidences disponibles dans la littérature pour guider le traitement chirurgical de la SIA. Pour cela une revue de la littérature sur les applications existantes dans l’évaluation de la SIA fut entreprise pour rassembler les éléments qui permettraient la mise en place d’une application efficace et acceptée dans le milieu clinique. Cette revue de la littérature nous a permis de réaliser que l’existence de “black box” dans les applications développées est une limitation pour l’intégration clinique ou la justification basée sur les évidence est essentielle. Dans une première étude nous avons développé un arbre décisionnel de classification de la scoliose idiopathique basé sur la classification de Lenke qui est la plus communément utilisée de nos jours mais a été critiquée pour sa complexité et la variabilité inter et intra-observateur. Cet arbre décisionnel a démontré qu’il permet d’augmenter la précision de classification proportionnellement au temps passé à classifier et ce indépendamment du niveau de connaissance sur la SIA. Dans une deuxième étude, un algorithme de stratégies chirurgicales basé sur des règles extraites de la littérature a été développé pour guider les chirurgiens dans la sélection de l’approche et les niveaux de fusion pour la SIA. Lorsque cet algorithme est appliqué à une large base de donnée de 1556 cas de SIA, il est capable de proposer une stratégie opératoire similaire à celle d’un chirurgien expert dans prêt de 70% des cas. Cette étude a confirmé la possibilité d’extraire des stratégies opératoires valides à l’aide d’un arbre décisionnel utilisant des règles extraites de la littérature. Dans une troisième étude, la classification de 1776 patients avec la SIA à l’aide d’une carte de Kohonen, un type de réseaux de neurone a permis de démontrer qu’il existe des scoliose typiques (scoliose à courbes uniques ou double thoracique) pour lesquelles la variabilité dans le traitement chirurgical varie peu des recommandations par la classification de Lenke tandis que les scolioses a courbes multiples ou tangentielles à deux groupes de courbes typiques étaient celles avec le plus de variation dans la stratégie opératoire. Finalement, une plateforme logicielle a été développée intégrant chacune des études ci-dessus. Cette interface logicielle permet l’entrée de données radiologiques pour un patient scoliotique, classifie la SIA à l’aide de l’arbre décisionnel de classification et suggère une approche chirurgicale basée sur l’arbre décisionnel de stratégies opératoires. Une analyse de la correction post-opératoire obtenue démontre une tendance, bien que non-statistiquement significative, à une meilleure balance chez les patients opérés suivant la stratégie recommandée par la plateforme logicielle que ceux aillant un traitement différent. Les études exposées dans cette thèse soulignent que l’utilisation d’algorithmes d’intelligence artificielle dans la classification et l’élaboration de stratégies opératoires de la SIA peuvent être intégrées dans une plateforme logicielle et pourraient assister les chirurgiens dans leur planification préopératoire.

Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Études génétiques moléculaires des gènes de la polarité planaire cellulaire dans les anomalies du tube neural chez l’Homme

Les anomalies du tube neural (ATN) sont des malformations congénitales parmi les plus fréquentes chez l’humain en touchant 1-2 nouveau-nés par 1000 naissances. Elles résultent d’un défaut de fermeture du tube neural pendant l’embryogenèse. Les formes les plus courantes d'ATN chez l'homme sont l'anencéphalie et le spina-bifida. Leur étiologie est complexe impliquant à la fois des facteurs environnementaux et des facteurs génétiques. Un dérèglement dans la signalisation Wnt, incluant la signalisation canonique Wnt/β-caténine et non-canonique de la polarité planaire cellulaire (PCP), peut causer respectivement le cancer ou les anomalies du tube neural (ATN). Les deux voies semblent s’antagoniser mutuellement. Dans cette étude, nous investiguons les rôles de Lrp6 et deANKRD6, entant qu’interrupteurs moléculaires entre les deux voies de signalisation Wnt, et CELSR1, en tant que membre de la PCP, chez la souris mutante Skax26m1Jus, générée par l’agent mutagène N-Ethyl-N-Nitrosuera, et dans une cohorte de patients humains ATN. Pour Lrp6, nous avons démontré que Skax26m1Jus représente un allèle hypermorphe de Lrp6 avec une augmentation de l’activité de la signalisation Wnt/canonique et une diminution de l’activité JNK induite par la voie PCP. Nous avons également montré que Lrp6Skax26m1Jus interagit génétiquement avec un mutant PCP (Vangl2Lp) où les doubles hétérozygotes ont montré une fréquence élevée d’ATN et des défauts dans la polarité des cellules ciliées de la cochlée. Particulièrement, notre étude démontre l'association des nouvelles et rares mutations faux-sens dans LRP6 avec les ATN humaines. Nous montrons que trois mutations de LRP6 causent une activité canonique réduite et non-canonique élevée. Pour ANKRD6, nous avons identifié quatre nouvelles et rares mutations faux-sens chez 0,8% des patients ATN et deux chez 1,3% des contrôles. Notamment, seulement deux, des six mutations validées (p.Pro548Leu et p.Arg632His) ont démontré un effet significatif sur l’activité de ANKRD6 selon un mode hypomorphique. Pour CELSR1, nous avons identifié une mutation non-sens dans l'exon 1 qui supprime la majeure partie de la protéine et une délétionde 12 pb. Cette perte de nucléotides ne change pas le cadre de lecture et élimine un motif putatif de phosphorylation par la PKC " SSR ". Nous avons également détecté un total de 13 nouveaux et rares variants faux-sens qui avaient été prédits comme étant pathogènes in silico. Nos données confirment le rôle inhibiteur de Lrp6 dans la signalisation PCP pendant la neurulation et indiquent aussi que les mutations faux-sens identifiées chez LRP6 et ANKRD6 pourraient affecter un équilibre réciproque et un antagonisme très sensible à un dosage précis entre les deux voies Wnt. Ces variants peuvent aussi agir comme facteurs prédisposants aux ATN. En outre, nos résultats impliquent aussi CELSR1 comme un facteur de risque pour les anomalies du tube neural ou l’agénésie caudale. Nos résultats fournissent des preuves supplémentaires que la voie de signalisation PCP a un rôle pathogène dans ces malformations congénitales et un outil important pour mieux comprendre leurs mécanismes moléculaires.

Longitudinal assessment of neural activity in Parkinson’s disease with mild cognitive impairment using task based fMRI

La maladie de Parkinson (PD) a été uniquement considérée pour ses endommagements sur les circuits moteurs dans le cerveau. Il est maintenant considéré comme un trouble multisystèmique, avec aspects multiples non moteurs y compris les dommages intérêts pour les circuits cognitifs. La présence d’un trouble léger de la cognition (TCL) de PD a été liée avec des changements structurels de la matière grise, matière blanche ainsi que des changements fonctionnels du cerveau. En particulier, une activité significativement réduite a été observée dans la boucle corticostriatale ‘cognitive’ chez des patients atteints de PD-TCL vs. PD non-TCL en utilisant IRMf. On sait peu de cours de ces modèles fonctionnels au fil du temps. Dans cette étude, nous présentons un suivi longitudinal de 24 patients de PD non démente qui a subi une enquête neuropsychologique, et ont été séparés en deux groupes - avec et sans TCL (TCL n = 11, non-TCL n = 13) en fonction du niveau 2 des recommandations de la Movement Disrders Society pour le diagnostic de PD-TCL. Ensuite, chaque participant a subi une IRMf en effectuant la tâche de Wisconsin pendant deux sessions, 19 mois d'intervalle. Nos résultats longitudinaux montrent qu'au cours de la planification de période de la tâche, les patients PD non-TCL engageant les ressources normales du cortex mais ils ont activé en plus les zones corticales qui sont liés à la prise de décision tel que cortex médial préfrontal (PFC), lobe pariétal et le PFC supérieure, tandis que les PD-TCL ont échoué pour engager ces zones en temps 2. Le striatum n'était pas engagé pour les deux groupes en temps 1 et pour le groupe TCL en temps 2. En outre, les structures médiales du lobe temporal étaient au fil du temps sous recrutés pour TCL et Non-TCL et étaient positivement corrélés avec les scores de MoCA. Le cortex pariétal, PFC antérieur, PFC supérieure et putamen postérieur étaient négativement corrélés avec les scores de MoCA en fil du temps. Ces résultats révèlent une altération fonctionnelle pour l’axe ganglial-thalamo-corticale au début de PD, ainsi que des niveaux différents de participation corticale pendant une déficience cognitive. Cette différence de recrutement corticale des ressources pourrait refléter longitudinalement des circuits déficients distincts de trouble cognitive légère dans PD.

Role of the Protein Tyrosine Kinase 7 gene in human neural tube defects

Les anomalies du tube neural (ATN) sont des anomalies développementales où le tube neural reste ouvert (1-2/1000 naissances). Afin de prévenir cette maladie, une connaissance accrue des processus moléculaires est nécessaire. L’étiologie des ATN est complexe et implique des facteurs génétiques et environnementaux. La supplémentation en acide folique est reconnue pour diminuer les risques de développer une ATN de 50-70% et cette diminution varie en fonction du début de la supplémentation et de l’origine démographique. Les gènes impliqués dans les ATN sont largement inconnus. Les études génétiques sur les ATN chez l’humain se sont concentrées sur les gènes de la voie métabolique des folates du à leur rôle protecteur dans les ATN et les gènes candidats inférés des souris modèles. Ces derniers ont montré une forte association entre la voie non-canonique Wnt/polarité cellulaire planaire (PCP) et les ATN. Le gène Protein Tyrosine Kinase 7 est un membre de cette voie qui cause l’ATN sévère de la craniorachischisis chez les souris mutantes. Ptk7 interagit génétiquement avec Vangl2 (un autre gène de la voie PCP), où les doubles hétérozygotes montrent une spina bifida. Ces données font de PTK7 comme un excellent candidat pour les ATN chez l’humain. Nous avons re-séquencé la région codante et les jonctions intron-exon de ce gène dans une cohorte de 473 patients atteints de plusieurs types d’ATN. Nous avons identifié 6 mutations rares (fréquence allélique <1%) faux-sens présentes chez 1.1% de notre cohorte, dont 3 sont absentes dans les bases de données publiques. Une variante, p.Gly348Ser, a agi comme un allèle hypermorphique lorsqu'elle est surexprimée dans le modèle de poisson zèbre. Nos résultats impliquent la mutation de PTK7 comme un facteur de risque pour les ATN et supporte l'idée d'un rôle pathogène de la signalisation PCP dans ces malformations.

From Word Embeddings to Large Vocabulary Neural Machine Translation

Dans ce mémoire, nous examinons certaines propriétés des représentations distribuées de mots et nous proposons une technique pour élargir le vocabulaire des systèmes de traduction automatique neurale. En premier lieu, nous considérons un problème de résolution d'analogies bien connu et examinons l'effet de poids adaptés à la position, le choix de la fonction de combinaison et l'impact de l'apprentissage supervisé. Nous enchaînons en montrant que des représentations distribuées simples basées sur la traduction peuvent atteindre ou dépasser l'état de l'art sur le test de détection de synonymes TOEFL et sur le récent étalon-or SimLex-999. Finalament, motivé par d'impressionnants résultats obtenus avec des représentations distribuées issues de systèmes de traduction neurale à petit vocabulaire (30 000 mots), nous présentons une approche compatible à l'utilisation de cartes graphiques pour augmenter la taille du vocabulaire par plus d'un ordre de magnitude. Bien qu'originalement développée seulement pour obtenir les représentations distribuées, nous montrons que cette technique fonctionne plutôt bien sur des tâches de traduction, en particulier de l'anglais vers le français (WMT'14).

A heuristic algorithm for the Capacitated Vehicle Routing Problem with Synchronized Pick-ups and Drop-offs : a case study for medications delivery and supervision in DR Congo

Dans des contextes de post-urgence tels que le vit la partie occidentale de la République Démocratique du Congo (RDC), l’un des défis cruciaux auxquels font face les hôpitaux ruraux est de maintenir un niveau de médicaments essentiels dans la pharmacie. Sans ces médicaments pour traiter les maladies graves, l’impact sur la santé de la population est significatif. Les hôpitaux encourent également des pertes financières dues à la péremption lorsque trop de médicaments sont commandés. De plus, les coûts du transport des médicaments ainsi que du superviseur sont très élevés pour les hôpitaux isolés ; les coûts du transport peuvent à eux seuls dépasser ceux des médicaments. En utilisant la province du Bandundu, RDC pour une étude de cas, notre recherche tente de déterminer la faisabilité (en termes et de la complexité du problème et des économies potentielles) d’un problème de routage synchronisé pour la livraison de médicaments et pour les visites de supervision. Nous proposons une formulation du problème de tournées de véhicules avec capacité limitée qui gère plusieurs exigences nouvelles, soit la synchronisation des activités, la préséance et deux fréquences d’activités. Nous mettons en œuvre une heuristique « cluster first, route second » avec une base de données géospatiales qui permet de résoudre le problème. Nous présentons également un outil Internet qui permet de visualiser les solutions sur des cartes. Les résultats préliminaires de notre étude suggèrent qu’une solution synchronisée pourrait offrir la possibilité aux hôpitaux ruraux d’augmenter l’accessibilité des services médicaux aux populations rurales avec une augmentation modique du coût de transport actuel.

Neural changes associated with semantic processing in healthy aging despite intact behavioral performance

Semantic memory recruits an extensive neural network including the left inferior prefrontal cortex (IPC) and the left temporoparietal region, which are involved in semantic control processes, as well as the anterior temporal lobe region (ATL) which is considered to be involved in processing semantic information at a central level. However, little is known about the underlying neuronal integrity of the semantic network in normal aging. Young and older healthy adults carried out a semantic judgment task while their cortical activity was recorded using magnetoencephalography (MEG). Despite equivalent behavioral performance, young adults activated the left IPC to a greater extent than older adults, while the latter group recruited the temporoparietal region bilaterally and the left ATL to a greater extent than younger adults. Results indicate that significant neuronal changes occur in normal aging, mainly in regions underlying semantic control processes, despite an apparent stability in performance at the behavioral level.

Metabolomics analysis in rats with thiamine deficiency identifies key metabolites in vulnerable brain regions and suggests neural stem progenitor cells play a role in ameliorating metabolic dysfunction

La documentation scientifique fait état de la présence, chez l’adulte, de cellules souches et progénitrices neurales (CSPN) endogènes dans les zones sous-ventriculaire et sous-granulaire du cerveau ainsi que dans le gyrus denté de l’hippocampe. De plus, un postulat selon lequel il serait également possible de retrouver ce type de cellules dans la moelle épinière et le néocortex des mammifères adultes a été énoncé. L’encéphalopathie de Wernicke, un trouble neurologique grave toutefois réversible qui entraîne un dysfonctionnement, voire une défaillance du cerveau, est causée principalement par une carence importante en thiamine (CT). Des observations récentes laissent envisager que les facteurs en cause dans la prolifération et la différenciation des CSPN pourraient également jouer un rôle important lors d’un épisode de CT. L’hypothèse, selon laquelle l’identification de nouveaux métabolites entrant dans le mécanisme ou la séquence de réactions se soldant en une CT pourraient en faciliter la compréhension, a été émise au moyen d'une démarche en cours permettant d’établir le profil des modifications métaboliques qui surviennent en de telles situations. Cette approche a été utilisée pour constater les changements métaboliques survenus au niveau du foyer cérébral dans un modèle de rats déficients en thiamine (rats DT), particulièrement au niveau du thalamus et du colliculus inférieur (CI). La greffe de CSPN a quant à elle été envisagée afin d’apporter de nouvelles informations sur la participation des CSPN lors d’un épisode de CT et de déterminer les bénéfices thérapeutiques potentiels offerts par cette intervention. Les sujets de l’étude étaient répartis en quatre groupes expérimentaux : un premier groupe constitué de rats dont la CT était induite par la pyrithiamine (rats DTiP), un deuxième groupe constitué de rats-contrôles nourris ensemble (« pair-fed control rats » ou rats PFC) ainsi que deux groupes de rats ayant subi une greffe de CSPN, soit un groupe de rats DTiP greffés et un dernier groupe constitué de rats-contrôles (rats PFC) greffés. Les échantillons de foyers cérébraux (thalamus et CI) des quatre groupes de rats ont été prélevés et soumis à des analyses métabolomiques non ciblées ainsi qu’à une analyse visuelle par microscopie à balayage électronique (SEM). Une variété de métabolites-clés a été observée chez les groupes de rats déficients en thiamine (rats DTiP) en plus de plusieurs métabolites dont la documentation ne faisait pas mention. On a notamment constaté la présence d’acides biliaires, d’acide cynurénique et d’acide 1,9— diméthylurique dans le thalamus, alors que la présence de taurine et de carnosine a été observée dans le colliculus inférieur. L’étude a de plus démontré une possible implication des CSPN endogènes dans les foyers cérébraux du thalamus et du colliculus inférieur en identifiant les métabolites-clés ciblant les CSPN. Enfin, les analyses par SEM ont montré une amélioration notable des tissus à la suite de la greffe de CSPN. Ces constatations suggèrent que l’utilisation de CSPN pourrait s’avérer une avenue thérapeutique intéressante pour soulager la dégénérescence symptomatique liée à une grave carence en thiamine chez l’humain.

Corrélats neuronaux de la mémoire de travail en magnétoencéphalographie à l’état de repos.

Purpose: There are few studies demonstrating the link between neural oscillations in magnetoencephalography (MEG) at rest and cognitive performance. Working memory is one of the most studied cognitive processes and is the ability to manipulate information on items kept in short-term memory. Heister & al. (2013) showed correlation patterns between brain oscillations at rest in MEG and performance in a working memory task (n-back). These authors showed that delta/theta activity in fronto-parietal areas is related to working memory performance. In this study, we use resting state MEG oscillations to validate these correlations with both of verbal (VWM) and spatial (SWM) working memory, and test their specificity in comparison with other cognitive abilities. Methods: We recorded resting state MEG and used clinical neuropsychological tests to assess working memory performance in 18 volunteers (6 males and 12 females). The other neuropsychological tests of the WAIS-IV were used as control tests to assess the specificity of the correlation patterns with working memory. We calculated means of Power Spectrum Density for different frequency bands (delta, 1-4Hz; theta, 4-8Hz; alpha, 8-13Hz; beta, 13-30Hz; gamma1, 30-59Hz; gamma2, 61-90Hz; gamma3, 90-120Hz; large gamma, 30-120Hz) and correlated MEG power normalised for the maximum in each frequency band at the sensor level with working memory performance. We then grouped the sensors showing a significant correlation by using a cluster algorithm. Results: We found positive correlations between both types of working memory performance and clusters in the bilateral posterior and right fronto-temporal regions for the delta band (r2 =0.73), in the fronto-middle line and right temporal regions for the theta band (r2 =0.63) as well as in the parietal regions for the alpha band (r2 =0.78). Verbal working memory and spatial working memory share a common fronto-parietal cluster of sensors but also show specific clusters. These clusters are specific to working memory, as compared to those obtained for other cognitive abilities and right posterior parietal areas, specially in slow frequencies, appear to be specific to working memory process. Conclusions: Slow frequencies (1-13Hz) but more precisely in delta/theta bands (1-8Hz), recorded at rest with magnetoencephalography, predict working memory performance and support the role of a fronto-parietal network in working memory.