Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Les différences sexuelles dans l’activation cérébrale durant l’accomplissement de la tâche de rotation mentale chez les patients atteints de schizophrénie

Dans la population générale plusieurs études ont démontré que les hommes ont, par comparaison aux femmes, de meilleures performances dans les tâches de rotation mentale à trois dimensions. A l’aide de l’imagerie par résonnance magnétique fonctionnelle, on a pu observer que l’exécution de cette tâche de rotation mentale s’accompagnait d’une activation du cortex pariétal chez l’homme mais du cortex prefrontal chez la femme. Ces différences entre les deux sexes suggèrent un fonctionnement neuronal différent dans l’appréhension des habiletés cognitives et comportementales. De fait, de nombreuses études ont signalé des différences notables entre les deux sexes quant à leur fonctionnement cérébral tant sur le plan émotionnel que de leurs habiletés visuo spatiales. La schizophrénie est un trouble grave et persistant de la santé mentale dont l’origine est certes multifactorielle et dont les facteurs de protection sont partiellement biologiques, psychologiques et sociales. Cette maladie requiert une approche thérapeutique à la fois clinique médicamenteuse, psychologique et sociale visant à une réintégration des malades dans leur communauté. Le pronostic de cette maladie varie en fonction du sexe ainsi que les atteintes neurologiques, neuropsychologiques et socioculturelles. Il est donc surprenant que l’exploration des mécanismes neuronaux sous-tendant les anomalies fonctionnelles cognitivo-comportementales n’ait point, en schizophrénie, adressé à date la fonctionnalité différente de l’homme et de la femme. Une étude pilote, réalisée dans mon laboratoire d’accueil, ayant suggéré chez le schizophrène, lors du traitement cognitif de stimuli émotionnels, une altération du dimorphisme sexuel observé dans la population normale, il devenait impératif de confirmer ces observations. Ce mémoire vise à vérifier par résonnance magnétique fonctionnelle l’activité neuronale cérébrale témoignant de la performance neuropsychologique de schizophrènes des deux sexes et de la comparer à celle de sujets témoins sains appareillés pour l’âge, la dominance hémisphérique et le statut familial socio-économique. A cette fin, nous avons enregistré, lors d’une tâche de rotation mentale à trois dimensions, les variables neurocognitives traduisant la validité des réponses ainsi que leur rapidité d’exécution. Simultanément, nous avons enregistré, par résonnance magnétique fonctionnelle, les sites d’activation cérébrale ainsi que leur degré d’activation corticale. Les données expérimentales, neurocognitives et cérébro-fonctionnelles, furent analysées en comparant les deux sexes d’une part et les deux états de santé d’autre part. Les résultats de ce mémoire ont fait l’objet de deux articles qui sont inclus. Les résultats obtenus confirment l’hypothèse d’un dimorphisme homme/femme dans la population générale ainsi que chez le schizophrène. Ces résultats appuient aussi l’hypothèse de l’altération, chez le schizophrène, du dimorphisme observé dans la population générale.

Analyse de l’activité neuronale dans le ganglion stellaire en relation avec la fonction cardiaque

Quatre microélectrodes ont été insérées dans le ganglion stellaire gauche (GS) de préparations canines in vivo pour évaluer la décharge des potentiels d’action dans les neurones situés dans ce ganglion périphérique durant un état cardiovasculaire stable et suivant des injections systémiques et locales de nicotine. Durant les périodes de contrôle, des changements mineurs ont été observés dans la pression artérielle systolique, dans le rythme cardiaque et dans le temps de conduction atrio-ventriculaire. L’activité générée par les neurones du GS est demeurée relativement constante à l’intérieure de chaque chien, mais variait entre les préparations. L’administration de nicotine systémique a altéré les variables physiologiques et augmenté l’activité neuronale. Même si différents changements au niveau des variables physiologiques ont été observés entre les animaux, ces changements demeuraient relativement constants pour un même animal. La dynamique de la réponse neuronale était similaire, mais l’amplitude et la durée variaient entre et au sein des chiens. L’injection de nicotine dans une artère à proximité du GS a provoqué une augmentation marquée des potentiels d’action sans faire changer les variables physiologiques. La technique d’enregistrement permet donc de suivre le comportement de multiples populations de neurones intrathoraciques situés dans le GS. La relation entre l’activation neuronale du GS et les changements physiologiques sont stables pour chaque chien, mais varient entre les animaux. Cela suggère que le poids relatif des boucles de rétroaction impliquées dans la régulation cardiovasculaire peut être une caractéristique propre à chaque animal.

Systèmes superintégrables avec spin et intégrales du mouvement d’ordre deux

Ce mémoire est une partie d’un programme de recherche qui étudie la superintégrabilité des systèmes avec spin. Plus particulièrement, nous nous intéressons à un hamiltonien avec interaction spin-orbite en trois dimensions admettant une intégrale du mouvement qui est un polynôme matriciel d’ordre deux dans l’impulsion. Puisque nous considérons un hamiltonien invariant sous rotation et sous parité, nous classifions les intégrales du mouvement selon des multiplets irréductibles de O(3). Nous calculons le commutateur entre l’hamiltonien et un opérateur général d’ordre deux dans l’impulsion scalaire, pseudoscalaire, vecteur et pseudovecteur. Nous donnons la classification complète des systèmes admettant des intégrales du mouvement scalaire et vectorielle. Nous trouvons une condition nécessaire à remplir pour le potentiel sous forme d’une équation différentielle pour les cas pseudo-scalaire et pseudo-vectoriel. Nous utilisons la réduction par symétrie pour obtenir des solutions particulières de ces équations.

Effets des variations œstrogéniques féminines sur les potentiels évoqués cognitifs durant une tâche de rotation mentale

Il apparaît, suite aux résultats de plusieurs études comportementales et d’imagerie cérébrale, que les hormones gonadiques peuvent moduler le fonctionnement cérébral chez la femme. Les asymétries cérébrales fonctionnelles (ACFs), en particulier, changeraient en fonction du niveau de progestérone et d’œstrogène. On a également observé que lorsque le taux d’œstrogène est bas, les performances aux tâches impliquant l’hémisphère droit sont améliorées. Par contre, les preuves de l’action physiologique de ces deux hormones sur le cerveau ne sont pas très nombreuses. Le peu d’études d’électrophysiologie cognitive qui ont porté sur les effets du cycle menstruel ont rapporté que la composante P300 y serait sensible. Aucune n’a cependant utilisé une tâche d’habileté spatiale ou de rotation mentale qui sont connues pour impliquer davantage l’hémisphère droit. Le but de la présente étude est de documenter les changements électrocorticaux reliés aux variations hormonales lors d’une tâche de rotation mentale. Notre hypothèse de départ est que le taux d’œstrogène influencera l’activité électrocorticale et la latéralisation. Les potentiels évoqués cognitifs ont été comparés chez les mêmes femmes (n=12) lors d’une tâche de rotation mentale, répétée à deux périodes du cycle menstruel. Nos résultats démontrent que la condition de rotation induit une latéralisation de l’activité pariétale, vers l’hémisphère gauche, quand le niveau d’œstrogène est bas. Par contre, lorsque le niveau d’œstrogène est élevé, il n’y a aucune latéralisation. Par ailleurs, nous avons observé une augmentation de l’amplitude de la P300 lors du niveau oestrogénique élevé. En conclusion, les fluctuations oestrogéniques du cycle menstruel ont un impact sur la latéralisation de l’activité électrocorticale, lors d’un effort de rotation mentale.

Modélisation dynamo des cycles d’activité stellaire

Des décennies d’observation ont permis d’obtenir différentes relations liées à l’activité stellaire. Cependant, il est difficile de reproduire numériquement celles-ci à partir de modèles dynamo, puisqu’il n’y a pas de consensus sur le processus réellement présent dans les étoiles. Nous tentons de reproduire certaines de ces relations avec un modèle global 3D hydrodynamique qui nous fournit le profil de rotation différentielle et le tenseur-α utilisés en entrée dans un modèle de dynamo αΩ. Nous reproduisons ainsi efficacement la corrélation positive entre le rapport P_cyc⁄P_rot et P_rot^(-1). Par contre, nous échouons à reproduire les relations liant ω_cyc⁄Ω et l’énergie magnétique au nombre de Rossby. Cela laisse croire que la variation de P_cyc⁄P_rot avec la période de rotation est une caractéristique robuste du modèle αΩ, mais que l’effet-α ne serait pas le processus principal limitant l’amplitude du cycle. Cette saturation découlerait plutôt de la réaction magnétique sur l’écoulement à grande échelle.

Analyse de groupe d’un modèle de la plasticité idéale planaire et sur les solutions en termes d’invariants de Riemann pour les systèmes quasilinéaires du premier ordre

Les objets d’étude de cette thèse sont les systèmes d’équations quasilinéaires du premier ordre. Dans une première partie, on fait une analyse du point de vue du groupe de Lie classique des symétries ponctuelles d’un modèle de la plasticité idéale. Les écoulements planaires dans les cas stationnaire et non-stationnaire sont étudiés. Deux nouveaux champs de vecteurs ont été obtenus, complétant ainsi l’algèbre de Lie du cas stationnaire dont les sous-algèbres sont classifiées en classes de conjugaison sous l’action du groupe. Dans le cas non-stationnaire, une classification des algèbres de Lie admissibles selon la force choisie est effectuée. Pour chaque type de force, les champs de vecteurs sont présentés. L’algèbre ayant la dimension la plus élevée possible a été obtenues en considérant les forces monogéniques et elle a été classifiée en classes de conjugaison. La méthode de réduction par symétrie est appliquée pour obtenir des solutions explicites et implicites de plusieurs types parmi lesquelles certaines s’expriment en termes d’une ou deux fonctions arbitraires d’une variable et d’autres en termes de fonctions elliptiques de Jacobi. Plusieurs solutions sont interprétées physiquement pour en déduire la forme de filières d’extrusion réalisables. Dans la seconde partie, on s’intéresse aux solutions s’exprimant en fonction d’invariants de Riemann pour les systèmes quasilinéaires du premier ordre. La méthode des caractéristiques généralisées ainsi qu’une méthode basée sur les symétries conditionnelles pour les invariants de Riemann sont étendues pour être applicables à des systèmes dans leurs régions elliptiques. Leur applicabilité est démontrée par des exemples de la plasticité idéale non-stationnaire pour un flot irrotationnel ainsi que les équations de la mécanique des fluides. Une nouvelle approche basée sur l’introduction de matrices de rotation satisfaisant certaines conditions algébriques est développée. Elle est applicable directement à des systèmes non-homogènes et non-autonomes sans avoir besoin de transformations préalables. Son efficacité est illustrée par des exemples comprenant un système qui régit l’interaction non-linéaire d’ondes et de particules. La solution générale est construite de façon explicite.

Size invariant measures of association: characterization and difficulties

A measure of association is row-size invariant if it is unaffected by the multiplication of all entries in a row of a cross-classification table by a same positive number. It is class-size invariant if it is unaffected by the multiplication of all entries in a class (i.e., a row or a column). We prove that every class-size invariant measure of association as-signs to each m x n cross-classification table a number which depends only on the cross-product ratios of its 2 x 2 subtables. We propose a monotonicity axiom requiring that the degree of association should increase after shifting mass from cells of a table where this mass is below its expected value to cells where it is above .provided that total mass in each class remains constant. We prove that no continuous row-size invariant measure of association is monotonic if m ≥ 4. Keywords: association, contingency tables, margin-free measures, size invariance, monotonicity, transfer principle.

Caractérisation des réponses du PMLS au mouvement de deuxième ordre (modulé par le contraste)

La perception visuelle ne se résume pas à la simple perception des variations de la quantité de lumière qui atteint la rétine. L’image naturelle est en effet composée de variation de contraste et de texture que l’on qualifie d’information de deuxième ordre (en opposition à l’information de premier ordre : luminance). Il a été démontré chez plusieurs espèces qu’un mouvement de deuxième ordre (variation spatiotemporelle du contraste ou de la texture) est aisément détecté. Les modèles de détection du mouvement tel le modèle d’énergie d’Adelson et Bergen ne permettent pas d’expliquer ces résultats, car le mouvement de deuxième ordre n’implique aucune variation de la luminance. Il existe trois modèles expliquant la détection du mouvement de deuxième ordre : la présence d’une circuiterie de type filter-rectify-filter, un mécanisme de feature-tracking ou simplement l’existence de non-linéarités précoces dans le traitement visuel. Par ailleurs, il a été proposé que l’information visuelle de deuxième ordre soit traitée par une circuiterie neuronale distincte de celle qui traite du premier ordre. Bon nombre d’études réfutent cependant cette théorie et s’entendent sur le fait qu’il n’y aurait qu’une séparation partielle à bas niveau. Les études électrophysiologiques sur la perception du mouvement de deuxième ordre ont principalement été effectuées chez le singe et le chat. Chez le chat, toutefois, seules les aires visuelles primaires (17 et 18) ont été extensivement étudiées. L’implication dans le traitement du deuxième ordre de l’aire dédiée à la perception du mouvement, le Sulcus syprasylvien postéro-médian latéral (PMLS), n’est pas encore connue. Pour ce faire, nous avons étudié les profils de réponse des neurones du PMLS évoqués par des stimuli dont la composante dynamique était de deuxième ordre. Les profils de réponses au mouvement de deuxième ordre sont très similaires au premier ordre, bien que moins sensibles. Nos données suggèrent que la perception du mouvement par le PMLS serait de type form-cue invariant. En somme, les résultats démontrent que le PMLS permet un traitement plus complexe du mouvement du deuxième ordre et sont en accord avec son rôle privilégié dans la perception du mouvement.

Invariant discretizations of partial differential equations

Un algorithme permettant de discrétiser les équations aux dérivées partielles (EDP) tout en préservant leurs symétries de Lie est élaboré. Ceci est rendu possible grâce à l'utilisation de dérivées partielles discrètes se transformant comme les dérivées partielles continues sous l'action de groupes de Lie locaux. Dans les applications, beaucoup d'EDP sont invariantes sous l'action de transformations ponctuelles de Lie de dimension infinie qui font partie de ce que l'on désigne comme des pseudo-groupes de Lie. Afin d'étendre la méthode de discrétisation préservant les symétries à ces équations, une discrétisation des pseudo-groupes est proposée. Cette discrétisation a pour effet de transformer les symétries ponctuelles en symétries généralisées dans l'espace discret. Des schémas invariants sont ensuite créés pour un certain nombre d'EDP. Dans tous les cas, des tests numériques montrent que les schémas invariants approximent mieux leur équivalent continu que les différences finies standard.