Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

Tutelle au mineur - Quand les mots sont source de maux

Article publié avec l'autorisation de la Chambre des notaires du Québec

La biotechnologie source ouverte : Perspectives et enjeux

Yann Joly, étudiant au doctorat en droit à l'Université McGill (Montréal)

Expression des nétrines dans la rétine de souris adulte

Les nétrines sont une petite famille de protéines de guidage axonal qui peuvent attirer des axones ou en repousser d’autres lors du développement neuronal. Lors du développement de la rétine, les axones des cellules ganglionnaires de la rétine (CGR) sont attirés vers une source de nétrines au niveau du disque optique leur permettant de quitter la rétine et de former le nerf optique. Afin de pouvoir caractériser le rôle des nétrines dans le système visuel adulte, nous avons investigué l’expression des nétrines et leurs récepteurs dans la rétine de souris adulte. Alors qu’aucune expression de la nétrine-1 n’a été détectée dans la rétine adulte, l’expression de la nétrine-3 a été abondamment détectée au niveau des CGR et des cellules amacrines. Nous démontrons aussi que les récepteurs des nétrines sont exprimés dans la rétine adulte. Alors que DCC semble être confiné au niveau des axones des CGR, néogénine est retrouvé dans les dendrites des CGR et des cellules horizontales. Quant aux protéines de la famille des récepteurs homologues à UNC-5, UNC5B a été détecté dans les somas des CGR et UNC5C dans les cellules de Müller. La découverte que nétrine-3 et ses récepteurs sont abondamment exprimés dans plusieurs types cellulaires de la rétine adulte leur suggère un rôle dans le fonctionnement du système visuel mature.

Effets de la vibration des muscles sur les mécanismes neuronaux et la fonction du membre supérieur et inférieur des personnes ayant une hémiparésie chronique

Cette thèse vise à répondre à trois questions fondamentales: 1) La diminution de l’excitabilité corticospinale et le manque d’inhibition intracorticale observés suite à la stimulation magnétique transcrânienne (SMT) du cortex moteur de la main atteinte de sujets hémiparétiques sont-ils aussi présents suite à la SMT du cortex moteur de la jambe atteinte? 2) Est-ce que les altérations dans l’excitabilité corticomotrice sont corrélées aux déficits et incapacités motrices des personnes ayant subi un accident vasculaire cérébral depuis plus de 6 mois? 3) La vibration musculaire, étant la source d’une forte afférence sensorielle, peut-elle moduler l’excitabilité corticomotrice et améliorer la performance motrice de ces personnes? Premièrement, afin d’appuyer notre choix d’intervention et d’évaluer le potentiel de la vibration mécanique locale pour favoriser la réadaptation des personnes ayant une atteinte neurologique, nous avons réalisé une révision en profondeur de ses applications et intérêts cliniques à partir d’informations trouvées dans la littérature scientifique (article 1). La quantité importante d’information sur les effets physiologiques de la vibration contraste avec la pauvreté des études qui ont évalué son effet thérapeutique. Nous avons trouvé que, malgré le manque d’études, les résultats sur son utilisation sont encourageants et positifs et aucun effet adverse n’a été rapporté. Dans les trois autres articles qui composent cette thèse, l’excitabilité des circuits corticospinaux et intracorticaux a été étudiée chez 27 sujets hémiparétiques et 20 sujets sains sans atteintes neurologiques. Les fonctions sensorimotrices ont aussi été évaluées par des tests cliniques valides et fidèles. Tel qu’observé à la main chez les sujets hémiparétiques, nous avons trouvé, par rapport aux sujets sains, une diminution de l’excitabilité corticospinale ainsi qu’un manque d’inhibition intracorticale suite à la SMT du cortex moteur de la jambe atteinte (article 2). Les sujets hémiparétiques ont également montré un manque de focus de la commande motrice lors de l’activation volontaire des fléchisseurs plantaires. Ceci était caractérisé par une augmentation de l’excitabilité nerveuse des muscles agonistes, mais aussi généralisée aux synergistes et même aux antagonistes. De plus, ces altérations ont été corrélées aux déficits moteurs au membre parétique. Le but principal de cette thèse était de tester les effets potentiels de la vibration des muscles de la main (article 3) et de la cuisse (article 4) sur les mécanismes neuronaux qui contrôlent ces muscles. Nous avons trouvé que la vibration augmente l’amplitude de la réponse motrice des muscles vibrés, même chez des personnes n’ayant pas de réponse motrice au repos ou lors d’une contraction volontaire. La vibration a également diminué l’inhibition intracorticale enregistrée au quadriceps parétique (muscle vibré). La diminution n’a cependant pas été significative au niveau de la main. Finalement, lors d’un devis d’investigation croisé, la vibration de la main ou de la jambe parétique a résulté en une amélioration spécifique de la dextérité manuelle ou de la coordination de la jambe, respectivement. Au membre inférieur, la vibration du quadriceps a également diminuée la spasticité des patients. Les résultats obtenus dans cette thèse sont très prometteurs pour la rééducation de la personne hémiparétique car avec une seule séance de vibration, nous avons obtenu des améliorations neurophysiologiques et cliniques.

Déploiement automatique d’une application de routage téléphonique d’une langue source vers une langue cible

Les modèles de compréhension statistiques appliqués à des applications vocales nécessitent beaucoup de données pour être entraînés. Souvent, une même application doit pouvoir supporter plusieurs langues, c’est le cas avec les pays ayant plusieurs langues officielles. Il s’agit donc de gérer les mêmes requêtes des utilisateurs, lesquelles présentent une sémantique similaire, mais dans plusieurs langues différentes. Ce projet présente des techniques pour déployer automatiquement un modèle de compréhension statistique d’une langue source vers une langue cible. Ceci afin de réduire le nombre de données nécessaires ainsi que le temps relié au déploiement d’une application dans une nouvelle langue. Premièrement, une approche basée sur les techniques de traduction automatique est présentée. Ensuite une approche utilisant un espace sémantique commun pour comparer plusieurs langues a été développée. Ces deux méthodes sont comparées pour vérifier leurs limites et leurs faisabilités. L’apport de ce projet se situe dans l’amélioration d’un modèle de traduction grâce à l’ajout de données très proche de l’application ainsi que d’une nouvelle façon d’inférer un espace sémantique multilingue.

Computational prediction of neural progenitor cell fates

Understanding how stem and progenitor cells choose between alternative cell fates is a major challenge in developmental biology. Efforts to tackle this problem have been hampered by the scarcity of markers that can be used to predict cell division outcomes. Here we present a computational method, based on algorithmic information theory, to analyze dynamic features of living cells over time. Using this method, we asked whether rat retinal progenitor cells (RPCs) display characteristic phenotypes before undergoing mitosis that could foretell their fate. We predicted whether RPCs will undergo a self-renewing or terminal division with 99% accuracy, or whether they will produce two photoreceptors or another combination of offspring with 87% accuracy. Our implementation can segment, track and generate predictions for 40 cells simultaneously on a standard computer at 5 min per frame. This method could be used to isolate cell populations with specific developmental potential, enabling previously impossible investigations.

Formulation interactive des requêtes pour l’analyse et la compréhension du code source

Nous proposons une approche basée sur la formulation interactive des requêtes. Notre approche sert à faciliter des tâches d’analyse et de compréhension du code source. Dans cette approche, l’analyste utilise un ensemble de filtres de base (linguistique, structurel, quantitatif, et filtre d’interactivité) pour définir des requêtes complexes. Ces requêtes sont construites à l’aide d’un processus interactif et itératif, où des filtres de base sont choisis et exécutés, et leurs résultats sont visualisés, changés et combinés en utilisant des opérateurs prédéfinis. Nous avons évalués notre approche par l’implantation des récentes contributions en détection de défauts de conception ainsi que la localisation de fonctionnalités dans le code. Nos résultats montrent que, en plus d’être générique, notre approche aide à la mise en œuvre des solutions existantes implémentées par des outils automatiques.

Effet de la source du sélénium sur le statut du sélénium, de la GSH-Px et sur le système immunitaire des bovins de boucherie

Résumé L’objectif de cette étude était de déterminer les effets de la source de sélénium sur les concentrations de Se et de GSH-Px des vaches de boucherie (n =33) et leurs veaux et sur des paramètres immunitaires des veaux. Deux groupes de vaches ont reçu 3 mg/j/animal de Se organique ou inorganique dans le minéral. Le troisième groupe n'a pas été supplémenté en Se et leurs veaux ont été divisés en deux sous-groupes, l’un des deux a reçu une injection de sélénite de sodium (0,087 mg/Kg) à la naissance. Le Se et la GSH-Px ont été respectivement mesurés par HPLC-UV et par cinétique enzymatique. La phagocytose, la flambée respiratoire et le ratio CD4:CD8ont été évalués par des kits commerciaux et les IgG totales ont été mesurés par immunodiffusion radiale. La supplémentation de Se a augmenté significativement le Se sérique et colostral (P<0,02) et la GSH-Px(P≤0,04) pour les vaches et leurs veaux avec un effet significativement plus élevé pour le Se organique. Le Se du lait a augmenté de façon significative uniquement avec la source organique du Se (P≤0,0007). L’injection du Se chez les veaux a permis une augmentation significative mais temporaire (P<0,0001) du Se sérique. La supplémentation en Se n’a pas influencé les paramètres immunitaires mesurés (P>0,01, non significatif après correction de Bonferroni). Nous concluons que la supplémentation en Se améliore le niveau du Se colostral, lacté et sérique ainsi que la GSH-Px pour les vaches et leurs veaux sans effet sur les paramètres immunitaires mesurés des veaux. Mots clés: Sélénium, veaux de boucherie, phagocytose, flambée respiratoire, anticorps, ratio CD4:CD8, GSH-Px.

Incorporating complex cells into neural networks for pattern classification

Dans le domaine des neurosciences computationnelles, l'hypothèse a été émise que le système visuel, depuis la rétine et jusqu'au cortex visuel primaire au moins, ajuste continuellement un modèle probabiliste avec des variables latentes, à son flux de perceptions. Ni le modèle exact, ni la méthode exacte utilisée pour l'ajustement ne sont connus, mais les algorithmes existants qui permettent l'ajustement de tels modèles ont besoin de faire une estimation conditionnelle des variables latentes. Cela nous peut nous aider à comprendre pourquoi le système visuel pourrait ajuster un tel modèle; si le modèle est approprié, ces estimé conditionnels peuvent aussi former une excellente représentation, qui permettent d'analyser le contenu sémantique des images perçues. Le travail présenté ici utilise la performance en classification d'images (discrimination entre des types d'objets communs) comme base pour comparer des modèles du système visuel, et des algorithmes pour ajuster ces modèles (vus comme des densités de probabilité) à des images. Cette thèse (a) montre que des modèles basés sur les cellules complexes de l'aire visuelle V1 généralisent mieux à partir d'exemples d'entraînement étiquetés que les réseaux de neurones conventionnels, dont les unités cachées sont plus semblables aux cellules simples de V1; (b) présente une nouvelle interprétation des modèles du système visuels basés sur des cellules complexes, comme distributions de probabilités, ainsi que de nouveaux algorithmes pour les ajuster à des données; et (c) montre que ces modèles forment des représentations qui sont meilleures pour la classification d'images, après avoir été entraînés comme des modèles de probabilités. Deux innovations techniques additionnelles, qui ont rendu ce travail possible, sont également décrites : un algorithme de recherche aléatoire pour sélectionner des hyper-paramètres, et un compilateur pour des expressions mathématiques matricielles, qui peut optimiser ces expressions pour processeur central (CPU) et graphique (GPU).

Effect of mindfulness meditation on the neural substrates of emotion processing and resting state in experienced and beginner meditators

La méditation par le ‘mindfulness’ favorise la stabilité émotionelle, mais les mécanismes neuroneux qui sous-tendent ces effets sont peu connus. Ce projet investiga l’effet du ‘mindfulness’ sur les réponses cérébrales et subjectives à des images négatives, positives et neutres chez des méditants expérimentés et des débutants au moyen de l’imagerie par résonance magnétique fonctionnelle (IRMf). Le ‘mindfulness’ atténua l’intensité émotionelle via différents mécanismes cérébraux pour chaque groupe. Comparés aux méditants, les débutants manifestèrent une déactivation de l’amygdale en réponse aux stimuli émotifs durant le ‘mindfulness’. Comparés aux débutants, les méditants exhibèrent une déactivation de régions du réseau du mode par défaut (RMD) pendant le ‘mindfulness’ pour tous stimuli (cortex médian préfrontal [CMP], cortex cingulaire postérieur [CCP]). Le RMD est constitué de régions fonctionnellement connectées, activées au repos et déactivées lors de tâches explicites. Cependant, nous ne connaissons pas les impacts de l’entraînement par la méditation sur la connectivité entre régions du RMD et si ces effets persistent au-delà d’un état méditatif. La connectivité fonctionnelle entre régions du RMD chez les méditants et débutants au repos fut investiguée au moyen de l’IRMf. Comparés aux débutants, les méditants montrèrent une connectivité affaiblie entre subdivisions du CMP, et une connectivité accrue entre le lobule pariétal inférieur et trois regions du RMD. Ces résultats reflètent que les bienfaits immédiats du ‘mindfulness’ sur la psychopathologie pourraient être dûs à une déactivation de régions limbiques impliquées dans la réactivité émotionelle. De plus, les bienfaits à long-terme de la méditation sur la stabilité émotionelle pourrait être dûs à une déactivation de régions corticales et cingulaires impliquées dans l’évaluation de la signification émotive et une connectivité altérée entre régions du RMD à l’état de repos.

Analyse génétique moléculaire du gène de la voie non-canonique Frizzled/Dishevelled PRICKLE1 dans les anomalies du tube neural chez l’humain

La voie de la polarité planaire cellulaire (PCP), aussi connue sous le nom de la voie non-canonique du Frizzled/Dishevelled, contrôle le processus morphogénétique de l'extension convergente (CE) qui est essentiel pour la gastrulation et la formation du tube neural pendant l'embryogenèse. La signalisation du PCP a été récemment associée avec des anomalies du tube neural (ATN) dans des modèles animaux et chez l'humain. Prickle1 est une protéine centrale de la voie PCP, exprimée dans la ligne primitive et le mésoderme pendant l'embryogenèse de la souris. La perte ou le gain de fonction de Prickle1 mène à des mouvements de CE fautifs chez le poisson zèbre et la grenouille. PRICKLE1 interagit directement avec deux autres membres de la voie PCP, Dishevelled et Strabismus/Vang. Dans notre étude, nous avons investigué le rôle de PRICKLE1 dans l'étiologie des ATN dans une cohorte de 810 patients par le re-séquençage de son cadre de lecture et des jonctions exon-intron. Le potentiel pathogénique des mutations ainsi identifiées a été évalué par des méthodes bioinformatiques, suivi par une validation fonctionnelle in vivo dans un système poisson zèbre. Nous avons identifié dans notre cohorte un total de 9 nouvelles mutations dont sept: p.Ile69Thr, p.Asn81His, p.Thr275Met, p.Arg682Cys et p.Ser739Phe, p.Val550Met et p.Asp771Asn qui affectent des acides aminés conservés. Ces mutations ont été prédites in silico d’affecter la fonction de la protéine et sont absentes dans une large cohorte de contrôles de même origine ethnique. La co-injection de ces variantes avec le gène prickle1a de type sauvage chez l’embryon de poisson zèbre a démontré qu’une mutation, p.Arg682Cys, modifie dans un sens négatif le phénotype du défaut de la CE produit par pk1 de type sauvage. Notre étude démontre que PK1 peut agir comme facteur prédisposant pour les ATN chez l’humain et élargit encore plus nos connaissances sur le rôle des gènes de la PCP dans la pathogenèse de ces malformations.

Temporal patterns of memory source incorporations into dreams and their relationships to dreamed locus of control

Les incorporations des mémoires épisodiques dans les rêves apparaissent en formes fragmentées et suivent un modèle temporel distinct qui suit une courbe sinusoïdale. Ce modèle est caractérisé par les incorporations immédiates, qui apparaissent 1-2 jours après l’événement (effet de résidus diurnes), et les incorporations tardives, qui apparaissent 5-7 jours après l’événement (effet de délai). Ces deux effets sont considérés comme des liens entre les processus de consolidation de la mémoire et la formation du rêve. Cette courbe temporelle a été observée pour une variété de stimuli expérimentaux. Cependant, aucune étude à date n’a démontré que le contenu des rêves réagit aux événements diurnes d’une manière plus générale et non-spécifique. Le but de notre étude était d’examiner si deux événements qualitativement distincts, un séjour nocturne au laboratoire (LAB), considéré comme un événement interpersonnel, et une tâche de réalité virtuelle (RV), considérée comme un événement non-interpersonnel, sont intégrés de façon différente dans le contenu onirique. Selon nos hypothèses, 1) les éléments spécifiques liés au LAB et à RV seraient incorporés dans les rêves avec des patrons tendances temporels différents, et 2) les incorporations spécifiques seraient associées à des changements plus généraux dans le locus de contrôle (LoC) du rêve. Vingt-six participants ont passé une nuit dans le laboratoire, ont été exposé à une tâche de RV, et ont rempli un journal de rêve pendant 10 jours. Les rapports de rêve ont été cotés pour les éléments spécifiques portant sur LAB et sur RV, et pour l'évolution générale de LoC du rêve. Nos deux hypothèses ont été confirmées: 1) les incorporations de LAB et RV sont négativement corrélées et apparaissent dans le rêve selon des modèles temporels différents. Les incorporations du LAB ont suivi une courbe sinusoïdale en forme de U, avec un effet de résidu diurne et un effet de délai. Les incorporations de RV ont suivi un patron différent, et ont eu un maximum d’incorporations au jour 4. 2) les scores du LoC du rêve étaient plus externes pour le jour 1 (max incorporations du LAB) et plus internes pour le jour 4 (max incorporations de RV). Ces modèles d'incorporation distincts peuvent refléter des différences dans la façon dont les deux événements ont été traités par les processus de consolidation de la mémoire. Dans ce cas, une expérience interpersonnelle (LAB) était incorporée plus tôt dans le temps. Les résultats suggèrent que LoC du rêve reflète les processus de mémoire plus généraux, qui affectent le contenu du rêve entier, et qui sont partiellement indépendants des incorporations spécifiques.