Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

La survenue des catastrophes naturelles : classification des variables explicatives par les réseaux de neurones

Durant les dernières décennies, l’occurrence des catastrophes naturelles a été fortement à la hausse. En effet, les catastrophes naturelles sont devenues de plus en plus fréquentes. En fait, ces risques dévastateurs ont touché durant les années précédentes différents pays dans des zones très diversifiées et continueront très probablement à être de réelles menaces dans le monde. Puisqu’aucun pays n’est à l’abri des catastrophes naturelles, il s’avère alors utile d’étudier les facteurs déterminants de leur survenue notamment avec la restriction de leurs périodes de retour et donc l’augmentation de leurs chances d’occurrence. Il nous a donc semblé opportun de tester les facteurs sous-jacents de la survenue des catastrophes naturelles. Notre travail se base sur l’application d’un réseau neuronal de type perceptron multicouche pour prédire le nombre des catastrophes naturelles à partir des variables les plus connues théoriquement. Ainsi, nous allons utiliser ce modèle neuronal pour effectuer l’analyse de sensitivité. Cette dernière permet de classer les variables explicatives selon l’importance de leur contribution dans la détermination du nombre de catastrophes naturelles comptabilisées durant la période d’étude. Les résultats obtenus ont montré que le réseau retenu peut prédire le nombre des catastrophes naturelles. De même, les différentes variables possèdent un effet considérable sur la sortie du réseau neuronal mais selon différents ordres d’importance. De ce fait, toutes ces variables contribuent à l’explication d’un problème aussi complexe comme la survenue des catastrophes naturelles.

Organisation et modulation du réseau neuronal de la respiration chez la lamproie.

Les mécanismes neuronaux contrôlant la respiration sont présentement explorés à l’aide de plusieurs modèles animaux incluant le rat et la grenouille. Nous avons utilisé la lamproie comme modèle animal nous permettant de caractériser les réseaux de neurones du tronc cérébral qui génèrent et modulent le rythme respiratoire. Nous avons d’abord caractérisé une nouvelle population de neurones, dans le groupe respiratoire paratrigéminal (pTRG), une région du tronc cérébral essentielle à la genèse du rythme respiratoire chez la lamproie. Les neurones de cette région sont actifs en phase avec le rythme respiratoire. Nous avons montré que ces neurones possèdent une arborisation axonale complexe, incluant des projections bilatérales vers les groupes de motoneurones du tronc cérébral qui activent les branchies ainsi que des connexions reliant les pTRG de chaque côté du tronc cérébral. Ces résultats montrent que le pTRG contient un groupe de cellules qui active les motoneurones respiratoires des deux côtés et qui pourrait être impliqué dans la synchronisation bilatérale du rythme respiratoire. Nous avons ensuite étudié les mécanismes neuronaux par lesquels le rythme respiratoire est augmenté en lien avec l’effort physique. Nous avons montré que la région locomotrice du mésencéphale (MLR), en plus de son rôle dans la locomotion, active les centres respiratoires pendant la nage, et même en anticipation. Les neurones de la MLR projetant vers les centres locomoteurs et respiratoires sont ségrégés anatomiquement, les neurones localisés plus dorsalement étant ceux qui possèdent des projections vers les centres respiratoires. Nous avons aboli la contribution de la partie dorsale de la MLR aux changements respiratoires en injectant des bloqueurs des récepteurs glutamatergiques localement, sur des préparations semi-intactes. Nous avons montré que lors d’épisodes de nage, une majeure partie de l’effet respiratoire est abolie par ces injections, suggérant un rôle prépondérant des neurones de cette région dans l’augmentation respiratoire pendant la locomotion. Nos résultats confirment que le rythme respiratoire est généré par une région rostrolatérale du pons de la lamproie et montrent que des connexions des centres locomoteurs arrivent directement à cette région et pourraient être impliquées dans l’augmentation respiratoire reliée à l’effort physique.

Les réseaux de neurones et la prévision des taux de change quotidiens.

Rapport de recherche

Réseau de recherche E-Inclusion, thème 3 : Audiovision interactive et adaptable, projet 3.1, rapport final

Le Réseau de recherche E-Inclusion a pour but de permettre à tous les Canadiens d’accéder au contenu informationnel de documents audiovisuels. Le thème 3 du projet, Audiovision interactive et adaptable, avait pour but d'offrir des lignes directrices à l'intention de producteurs de films et d'émissions de télévision concernant le contenu de textes d'audiovision, et de mesurer l'utilité potentielle, pour la production de textes d'audiovision à partir de mots-clés générés dans d'autres contextes.

Les tiers, vecteurs du réseau social. Les personnes et les biens dans le Code civil du Québec.

Un résumé en anglais est également disposnible.

Le transgouvernementalisme : une gouvernance publique en réseau pour mieux contrer les effets pervers de la globalisation

Présentation audio du 11 septembre 2007, dans le cadre des séminaires étudiants au CRDP "Sécurité, normativités et mondialisation 2007-2008"

Contrat de communication électronique de longue durée entre commerçants utilisant un « réseau ouvert »

Un résumé en anglais est également disponible.

La protection des artistes interprètes et exécutants à l'heure des médias de réseau

"Mémoire présenté à la Faculté des études supérieures en vue de l'obtention du grade de Maître en droit (LL.M.)"

L'évaluation des archives audiovisuelles : un aperçu de la pratique au Réseau TVA

Travail de recherche sur le thème de l’évaluation des archives à l’ère du numérique réalisé à l’hiver 2009 dans le cadre du cours BLT6112 L’évaluation des archives sous la direction du professeur Yvon Lemay.

Substance P, récepteurs NK1 et neurones à sérotonine : relations anatomiques et fonctionnelles dans le noyau raphe dorsalis

Nous avons étudié les relations anatomiques entre les systèmes de neurotransmission à substance P (SP) et à sérotonine (5-hydroxytryptamine, 5-HT) dans le noyau du raphé dorsal (NRD) du rongeur, afin de mieux comprendre les interactions entre ces systèmes durant la régulation de l’humeur. Le NRD reçoit une innervation SP provenant de l’habenula, et le blocage pharmacologique des récepteurs neurokinine-1 (rNK1) de la SP aurait des effets antidépresseurs. Chez le rongeur, le traitement par les antagonistes des rNK1 s’accompagne d’une désensibilisation des autorécepteurs 5-HT1A de la 5-HT et d’une hausse de l’activité des neurones 5-HT dans le NRD, suggérant des interactions locales entre ces deux systèmes. Dans un premier temps, nous avons démontré par doubles marquages immunocytochimiques en microscopies optique, confocale et électronique, la présence du rNK1 dans une sous-population de neurones 5-HT du NRD caudal. Lors de l’analyse en microscopie électronique, nous avons pu constater que les rNK1 étaient principalement cytoplasmiques dans les neurones 5-HT et membranaires sur les neurones non 5-HT du noyau. Grâce à d’autres doubles marquages, nous avons aussi pu identifier les neurones non-5-HT porteurs de rNK1 comme étant GABAergiques. Nous avons ensuite combiné l’immunomarquage de la SP avec celui du rNK1, dans le but d’examiner les relations entre les terminaisons (varicosités *) axonales SP et les neurones 5-HT (pourvus de rNK1 cytoplasmiques du NRD caudal. En simple marquage de la SP, nous avons pu estimer à 41% la fréquence avec laquelle les terminaisons SP font synapse. Dans le matériel doublement marqué pour la SP et son récepteur, les terminaisons SP ont été fréquemment retrouvées en contact direct ou à proximité des dendrites munies de rNK1 cytoplasmiques, mais toujours éloignées des dendrites à rNK1 membranaires. Pour tester l’hypothèse d’une internalisation soutenue des rNK1 par la SP dans les neurones 5-HT, nous avons ensuite examiné la localisation subcellulaire du récepteur chez le rat traité avec un antagoniste du rNK1, le RP67580. La densité du marquage des rNK1 a été mesurée dans le cytoplasme et sur la membrane des deux types de dendrites (5-HT: rNK1 cytoplasmiques; non 5-HT: rNK1 membranaires). Une heure après une injection unique de l’antagoniste, la distribution du rNK1 est apparue inchangée dans les deux types de neurones (5-HT et non 5-HT). Par contre, après un traitement quotidien de 7 ou 21 jours avec l’antagoniste, nous avons mesuré une augmentation significative des densités cytoplasmique et membranaire du rNK1 dans les neurones 5-HT, sans aucun changement dans les neurones non 5-HT. Ces traitements ont aussi augmenté l’expression du gène rNK1 dans le NRD. Enfin, nous avons mesuré une hausse de la densité membranaire du rNK1 dans les neurones 5-HT, sans hausse de densité cytoplasmique, par suite d’une lésion bilatérale de l’habenula. Ces résultats confortent l’hypothèse d’une activation et d’une internalisation soutenues des rNK1 par la SP dans les neurones 5-HT du NRD caudal. Ils suggèrent aussi que le trafic des rNK1 dans les neurones 5-HT du NRD représente un mécanisme cellulaire en contrôle de l’activation du système 5-HT par les afférences SP en provenance de l’habenula.

Modulation de l’expression du transporteur vésiculaire du glutamate : implication dans la plasticité des neurones dopaminergiques

De nombreuses études ont établi que la majorité des neurones libèrent plus qu’une substance chimique. Il est bien connu que les neurones peuvent co-exprimer et co-libérer des neuropeptides en plus de leur neurotransmetteur, mais des évidences de la co-libération de deux petits neurotransmetteurs à action rapide se sont accumulées récemment. Des enregistrements électrophysiologiques ont aussi montré que des neurones sérotoninergiques et dopaminergiques isolés peuvent libérer du glutamate quand ils sont placés en culture. De plus, la présence de glutamate et de glutaminase a été détectée dans des neurones sérotoninergiques, dopaminergiques et noradrénergiques par immunomarquage sur des tranches de cerveau. Malheureusement, en considérant le rôle métabolique du glutamate, sa détection immunologique n’est pas suffisante pour assurer le phénotype glutamatergique d’un neurone. Récemment, la découverte de trois transporteurs vésiculaires du glutamate (VGLUT1-3) a grandement facilité l’identification des neurones glutamatergiques. Ces transporteurs sont nécessaires pour la libération de glutamate et constituent les premiers marqueurs morphologiques du phénotype glutamatergique. Il a été démontré que des neurones noradrénergiques expriment VGLUT2 et que des neurones sérotoninergiques expriment VGLUT3. Mais aucune évidence d’expression d’un des sous-types de VGLUT n’a été reportée pour les neurones dopaminergiques. Le but de notre travail était d’identifier quel sous-type de VGLUT est exprimé par les neurones dopaminergiques mésencéphaliques, et de déterminer si le phénotype glutamatergique de ces neurones peut être modulé dans des conditions particulières. Premièrement, nous avons utilisé des microcultures pour isoler les neurones dopaminergiques et des doubles marquages immunocytochimiques pour observer l’expression de VGLUT dans les neurones positifs pour la tyrosine hydroxylase (TH). Nous avons montré que la majorité (80%) des neurones TH+ isolés exprime spécifiquement VGLUT2. Cette expression est précoce au cours du développement in vitro et limitée aux projections axonales des neurones dopaminergiques. Toutefois, cette forte expression in vitro contraste avec la non-détection de ce transporteur dans les rats adultes in vivo. Nous avons décidé ensuite de regarder si l’expression de VGLUT2 pouvait être régulée pendant le développement cérébral de jeunes rats et sous des conditions traumatiques, par double hybridation in situ. Entre 14 et 16 jours embryonnaires, les marquages de VGLUT2 et de TH montraient une superposition significative qui n’était pas retrouvée à des stades ultérieurs. Dans le mésencéphale de jeunes rats postnataux, nous avons détecté l’ARNm de VGLUT2 dans environs 1-2% des neurones exprimant l’ARNm de TH dans la substance noire et l’aire tegmentaire ventrale (ATV). Pour explorer la régulation de l’expression de VGLUT2 dans des conditions traumatiques, nous avons utilisé la 6-hydroxydopamine (6-OHDA) pour léser les neurones dopaminergiques dans les jeunes rats. Dix jours après la chirurgie, nous avons trouvé que 27% des neurones dopaminergiques survivants dans l’ATV exprimaient l’ARNm de VGLUT2 dans les rats 6-OHDA. Finalement, nous avons observé la colocalisation de la protéine VGLUT2 dans les terminaisons TH positives par microscopie électronique. Dans les rats normaux, la protéine VGLUT2 est retrouvée dans 28% des terminaisons axonales TH dans le noyau accumbens. Dans les rats lésés à la 6-OHDA, nous avons observé une diminution considérable des terminaisons TH positives, et une augmentation dans la proportion (37%) des terminaisons dopaminergiques présentant du VGLUT2. Nos résultats suggèrent que le phénotype glutamatergique des neurones dopaminergiques est régulé au cours du développement, peut être réactivé dans des états pathologiques, et que ces neurones peuvent libérer du glutamate dans conditions spécifiques.