Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Size invariant measures of association: characterization and difficulties

A measure of association is row-size invariant if it is unaffected by the multiplication of all entries in a row of a cross-classification table by a same positive number. It is class-size invariant if it is unaffected by the multiplication of all entries in a class (i.e., a row or a column). We prove that every class-size invariant measure of association as-signs to each m x n cross-classification table a number which depends only on the cross-product ratios of its 2 x 2 subtables. We propose a monotonicity axiom requiring that the degree of association should increase after shifting mass from cells of a table where this mass is below its expected value to cells where it is above .provided that total mass in each class remains constant. We prove that no continuous row-size invariant measure of association is monotonic if m ≥ 4. Keywords: association, contingency tables, margin-free measures, size invariance, monotonicity, transfer principle.

Invariant discretizations of partial differential equations

Un algorithme permettant de discrétiser les équations aux dérivées partielles (EDP) tout en préservant leurs symétries de Lie est élaboré. Ceci est rendu possible grâce à l'utilisation de dérivées partielles discrètes se transformant comme les dérivées partielles continues sous l'action de groupes de Lie locaux. Dans les applications, beaucoup d'EDP sont invariantes sous l'action de transformations ponctuelles de Lie de dimension infinie qui font partie de ce que l'on désigne comme des pseudo-groupes de Lie. Afin d'étendre la méthode de discrétisation préservant les symétries à ces équations, une discrétisation des pseudo-groupes est proposée. Cette discrétisation a pour effet de transformer les symétries ponctuelles en symétries généralisées dans l'espace discret. Des schémas invariants sont ensuite créés pour un certain nombre d'EDP. Dans tous les cas, des tests numériques montrent que les schémas invariants approximent mieux leur équivalent continu que les différences finies standard.

Exact Skewness-Kurtosis Tests for Multivariate Normality and Goodness-of-fit in Multivariate Regressions with Application to Asset Pricing Models

We study the problem of testing the error distribution in a multivariate linear regression (MLR) model. The tests are functions of appropriately standardized multivariate least squares residuals whose distribution is invariant to the unknown cross-equation error covariance matrix. Empirical multivariate skewness and kurtosis criteria are then compared to simulation-based estimate of their expected value under the hypothesized distribution. Special cases considered include testing multivariate normal, Student t; normal mixtures and stable error models. In the Gaussian case, finite-sample versions of the standard multivariate skewness and kurtosis tests are derived. To do this, we exploit simple, double and multi-stage Monte Carlo test methods. For non-Gaussian distribution families involving nuisance parameters, confidence sets are derived for the the nuisance parameters and the error distribution. The procedures considered are evaluated in a small simulation experi-ment. Finally, the tests are applied to an asset pricing model with observable risk-free rates, using monthly returns on New York Stock Exchange (NYSE) portfolios over five-year subperiods from 1926-1995.

Ciblage exosomal et effet de HLA-DM sur la présentation antigénique par le complexe majeur d'histocompatibilité de classe II

Les molécules du complexe majeur d'histocompatibilité de classe II (CMH II) sont exprimées exclusivement à la surface des cellules présentatrices d'antigènes et servent à stimuler les cellules CD4+ initiant une réponse immunitaire. Le chargement peptidique sur HLA-DR se produit dans les endosomes tardifs et les lysosomes sous l'action de HLA-DM. Cette molécule de classe II non-classique enlève les fragments peptidiques de la chaîne invariante (Ii) restés associés aux molécules de classe II (CLIP) et édite leur répertoire d'antigènes présentés. En utilisant une forme mutante de HLA-DM (HLA-DMy) qui s'accumule à la surface plasmique, nous avons observé que HLA-DMy augmente les chargements de peptides exogènes et aussi la réponse des cellules T en comparaison avec HLA-DM sauvage. Il a été démontré que des molécules chimiques, comme le n-propanol, pouvait avoir le même effet que HLA-DM en remplaçant les peptides associés aux molécules de classe II de la surface cellulaire. De plus, HLA-DMy et le n-propanol ont présenté un effet additif sur la présentation de peptides exogènes. Certaines protéines de la voie endocytique, comme HLA-DR, HLA-DM, HLA-DO et Ii sont ciblés aux compartiments multivésiculaires (MVB) et peuvent être ciblées aux exosomes. Suite à une fusion entre les MVB et la membrane plasmique, les exosomes sont relâchés dans le milieu extracellulaire. Nous avons déterminé que le motif tyrosine de HLA-DMβ et son interaction avec HLA-DR n'affectaient pas le ciblage aux exosomes, sauf la molécule HLA-DO. Cette étude nous a permis de démontrer que HLA-DMy augmente la quantité de peptides exogènes chargés sur les CPA et que HLA-DM et HLA-DMy sont incorporés dans les exosomes.

Régulation des chaperons de la présentation antigénique par ubiquitination

La chaîne invariante forme un complexe nonamérique avec les molécules classiques du CMH de classe II. HLA-DM et HLA-DO, des molécules non-classiques de classe II, sont aussi impliquées dans la présentation des peptides antigéniques aux lymphocytes T. Ces molécules chaperones de la présentation antigénique modulent la capacité d’une cellule à présenter des antigènes par les moloécules classiques du CMH de classe II. La régulation transcriptionnelle des molécules chaperones, tout comme celle des autres molécules du CMH de classe II, est assurée par le transactivateur CIITA. La molécule HLA-DR peut être régulée négativement de manière post-traductionnelle par ubiquitination grâce à l’enzyme E3 ubiquitine ligase MARCH1. Celle-ci est induite par l’interleukine-10 dans les monocytes. L’objectif de ce projet était de déterminer si l’ubiquitination par MARCH1 peut aussi réguler l’expression des molécules chaperones de la présentation antigénique. Les expériences furent réalisées dans le contexte de co-transfections en cellules HEK293T. L’expression des molécules fut évaluée par immunomarquages et cytométrie de flux. Il a été montré que l’isoforme p33 de la chaîne invariante est régulé négativement en présence de MARCH1 à partir de la surface cellulaire, causant ainsi sa dégradation. Tel que démontré par l’utilisation d’un mutant dépourvu de queue cytoplasmique, cette dernière région n’est pas indispensable à ce phénomène. Une hypothèse est qu’une molécule non-identifiée, associée à Ii, serait ubiquitinée par MARCH1, l’entraînant dans sa régulation négative. Il fut déterminer que cette molécule n’était pas CXCR2, un récepteur pouvant être impliqué, avec la chaîne invariante et CD44, en tant que récepteur de MIF (Macrophage Inhibitory Factor). Il fut aussi montré que HLA-DO peut être ciblé par MARCH1 mais ceci ne semble pas être un phénomène dominant; l’expression des complexes DO/DM n’étant pas affectée bien qu’ils entrent en interaction avec MARCH1. L’expression de HLA-DM n’est pas affectée par MARCH1. Il n’a toutefois pas été déterminé hors de tout doute si MARCH1 peut modifier DM; des résultats obtenus avec une queue cytoplasmique de DM possédant une lysine laissant suggérer qu’il est possible que MARCH1 interagisse avec DM. Dans l’ensemble, les travaux démontrent que l’ubiquitination par MARCH1 joue un rôle dans la régulation post-transcriptionnelle de la chaîne invariante p33 mais pas HLA-DO et HLA-DM.

Quotients d'une variété algébrique par un groupe algébrique linéairement réductif et ses sous-groupes maximaux unipotents

La construction d'un quotient, en topologie, est relativement simple; si $G$ est un groupe topologique agissant sur un espace topologique $X$, on peut considérer l'application naturelle de $X$ dans $X/G$, l'espace d'orbites muni de la topologie quotient. En géométrie algébrique, malheureusement, il n'est généralement pas possible de munir l'espace d'orbites d'une structure de variété. Dans le cas de l'action d'un groupe linéairement réductif $G$ sur une variété projective $X$, la théorie géométrique des invariants nous permet toutefois de construire un morphisme de variété d'un ouvert $U$ de $X$ vers une variété projective $X//U$, se rapprochant autant que possible d'une application quotient, au sens topologique du terme. Considérons par exemple $X\subseteq P^{n}$, une $k$-variété projective sur laquelle agit un groupe linéairement réductif $G$ et supposons que cette action soit induite par une action linéaire de $G$ sur $A^{n+1}$. Soit $\widehat{X}\subseteq A^{n+1}$, le cône affine au dessus de $\X$. Par un théorème de la théorie classique des invariants, il existe alors des invariants homogènes $f_{1},...,f_{r}\in C[\widehat{X}]^{G}$ tels que $$C[\widehat{X}]^{G}= C[f_{1},...,f_{r}].$$ On appellera le nilcone, que l'on notera $N$, la sous-variété de $\X$ définie par le locus des invariants $f_{1},...,f_{r}$. Soit $Proj(C[\widehat{X}]^{G})$, le spectre projectif de l'anneau des invariants. L'application rationnelle $$\pi:X\dashrightarrow Proj(C[f_{1},...,f_{r}])$$ induite par l'inclusion de $C[\widehat{X}]^{G}$ dans $C[\widehat{X}]$ est alors surjective, constante sur les orbites et sépare les orbites autant qu'il est possible de le faire; plus précisément, chaque fibre contient exactement une orbite fermée. Pour obtenir une application régulière satisfaisant les mêmes propriétés, il est nécessaire de jeter les points du nilcone. On obtient alors l'application quotient $$\pi:X\backslash N\rightarrow Proj(C[f_{1},...,f_{r}]).$$ Le critère de Hilbert-Mumford, dû à Hilbert et repris par Mumford près d'un demi-siècle plus tard, permet de décrire $N$ sans connaître les $f_{1},...,f_{r}$. Ce critère est d'autant plus utile que les générateurs de l'anneau des invariants ne sont connus que dans certains cas particuliers. Malgré les applications concrètes de ce théorème en géométrie algébrique classique, les démonstrations que l'on en trouve dans la littérature sont généralement données dans le cadre peu accessible des schémas. L'objectif de ce mémoire sera, entre autres, de donner une démonstration de ce critère en utilisant autant que possible les outils de la géométrie algébrique classique et de l'algèbre commutative. La version que nous démontrerons est un peu plus générale que la version originale de Hilbert \cite{hilbert} et se retrouve, par exemple, dans \cite{kempf}. Notre preuve est valide sur $C$ mais pourrait être généralisée à un corps $k$ de caractéristique nulle, pas nécessairement algébriquement clos. Dans la seconde partie de ce mémoire, nous étudierons la relation entre la construction précédente et celle obtenue en incluant les covariants en plus des invariants. Nous démontrerons dans ce cas un critère analogue au critère de Hilbert-Mumford (Théorème 6.3.2). C'est un théorème de Brion pour lequel nous donnerons une version un peu plus générale. Cette version, de même qu'une preuve simplifiée d'un théorème de Grosshans (Théorème 6.1.7), sont les éléments de ce mémoire que l'on ne retrouve pas dans la littérature.

Analyse de l’activité neuronale dans le ganglion stellaire en relation avec la fonction cardiaque

Quatre microélectrodes ont été insérées dans le ganglion stellaire gauche (GS) de préparations canines in vivo pour évaluer la décharge des potentiels d’action dans les neurones situés dans ce ganglion périphérique durant un état cardiovasculaire stable et suivant des injections systémiques et locales de nicotine. Durant les périodes de contrôle, des changements mineurs ont été observés dans la pression artérielle systolique, dans le rythme cardiaque et dans le temps de conduction atrio-ventriculaire. L’activité générée par les neurones du GS est demeurée relativement constante à l’intérieure de chaque chien, mais variait entre les préparations. L’administration de nicotine systémique a altéré les variables physiologiques et augmenté l’activité neuronale. Même si différents changements au niveau des variables physiologiques ont été observés entre les animaux, ces changements demeuraient relativement constants pour un même animal. La dynamique de la réponse neuronale était similaire, mais l’amplitude et la durée variaient entre et au sein des chiens. L’injection de nicotine dans une artère à proximité du GS a provoqué une augmentation marquée des potentiels d’action sans faire changer les variables physiologiques. La technique d’enregistrement permet donc de suivre le comportement de multiples populations de neurones intrathoraciques situés dans le GS. La relation entre l’activation neuronale du GS et les changements physiologiques sont stables pour chaque chien, mais varient entre les animaux. Cela suggère que le poids relatif des boucles de rétroaction impliquées dans la régulation cardiovasculaire peut être une caractéristique propre à chaque animal.

Characterization of the unfolding of a weak focus and modulus of analytic classification

La thèse présente une description géométrique d’un germe de famille générique déployant un champ de vecteurs réel analytique avec un foyer faible à l’origine et son complexifié : le feuilletage holomorphe singulier associé. On montre que deux germes de telles familles sont orbitalement analytiquement équivalents si et seulement si les germes de familles de difféomorphismes déployant la complexification de leurs fonctions de retour de Poincaré sont conjuguées par une conjugaison analytique réelle. Le “caractère réel” de la famille correspond à sa Z2-équivariance dans R^4, et cela s’exprime comme l’invariance du plan réel sous le flot du système laquelle, à son tour, entraîne que l’expansion asymptotique de la fonction de Poincaré est réelle quand le paramètre est réel. Le pullback du plan réel après éclatement par la projection monoidal standard intersecte le feuilletage en une bande de Möbius réelle. La technique d’éclatement des singularités permet aussi de donner une réponse à la question de la “réalisation” d’un germe de famille déployant un germe de difféomorphisme avec un point fixe de multiplicateur égal à −1 et de codimension un comme application de semi-monodromie d’une famille générique déployant un foyer faible d’ordre un. Afin d’étudier l’espace des orbites de l’application de Poincaré, nous utilisons le point de vue de Glutsyuk, puisque la dynamique est linéarisable auprès des points singuliers : pour les valeurs réels du paramètre, notre démarche, classique, utilise une méthode géométrique, soit un changement de coordonée (coordonée “déroulante”) dans lequel la dynamique devient beaucoup plus simple. Mais le prix à payer est que la géométrie locale du plan complexe ambiante devient une surface de Riemann, sur laquelle deux notions de translation sont définies. Après avoir pris le quotient par le relèvement de la dynamique nous obtenons l’espace des orbites, ce qui s’avère être l’union de trois tores complexes plus les points singuliers (l’espace résultant est non-Hausdorff). Les translations, le caractère réel de l’application de Poincaré et le fait que cette application est un carré relient les différentes composantes du “module de Glutsyuk”. Cette propriété implique donc le fait qu’une seule composante de l’invariant Glutsyuk est indépendante.

Investigating active transportation to and from school : identification of predictors and health benefits

Funding support for this doctoral thesis has been provided by the Canadian Institutes of Health Research-Public Health Agency of Canada, QICSS matching grant, and la Faculté des études supérieures et postdoctorales-Université de Montréal.

Problème centre-foyer et application

Dans ce mémoire, nous étudions le problème centre-foyer sur un système polynomial. Nous développons ainsi deux mécanismes permettant de conclure qu’un point singulier monodromique dans ce système non-linéaire polynomial est un centre. Le premier mécanisme est la méthode de Darboux. Cette méthode utilise des courbes algébriques invariantes dans la construction d’une intégrale première. La deuxième méthode analyse la réversibilité algébrique ou analytique du système. Un système possédant une singularité monodromique et étant algébriquement ou analytiquement réversible à ce point sera nécessairement un centre. Comme application, dans le dernier chapitre, nous considérons le modèle de Gauss généralisé avec récolte de proies.

Invariants de Gromov-Witten et fibrations hamiltoniennes

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

L'ensemble des EDO d'ordres 2 et 3 invariantes sous SL(2,R) et leur discrétisation préservant les symétries

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

La structure de Jordan des matrices de transfert des modèles de boucles et la relation avec les hamiltoniens XXZ

Les modèles sur réseau comme ceux de la percolation, d’Ising et de Potts servent à décrire les transitions de phase en deux dimensions. La recherche de leur solution analytique passe par le calcul de la fonction de partition et la diagonalisation de matrices de transfert. Au point critique, ces modèles statistiques bidimensionnels sont invariants sous les transformations conformes et la construction de théories des champs conformes rationnelles, limites continues des modèles statistiques, permet un calcul de la fonction de partition au point critique. Plusieurs chercheurs pensent cependant que le paradigme des théories des champs conformes rationnelles peut être élargi pour inclure les modèles statistiques avec des matrices de transfert non diagonalisables. Ces modèles seraient alors décrits, dans la limite d’échelle, par des théories des champs logarithmiques et les représentations de l’algèbre de Virasoro intervenant dans la description des observables physiques seraient indécomposables. La matrice de transfert de boucles D_N(λ, u), un élément de l’algèbre de Temperley- Lieb, se manifeste dans les théories physiques à l’aide des représentations de connectivités ρ (link modules). L’espace vectoriel sur lequel agit cette représentation se décompose en secteurs étiquetés par un paramètre physique, le nombre d de défauts. L’action de cette représentation ne peut que diminuer ce nombre ou le laisser constant. La thèse est consacrée à l’identification de la structure de Jordan de D_N(λ, u) dans ces représentations. Le paramètre β = 2 cos λ = −(q + 1/q) fixe la théorie : β = 1 pour la percolation et √2 pour le modèle d’Ising, par exemple. Sur la géométrie du ruban, nous montrons que D_N(λ, u) possède les mêmes blocs de Jordan que F_N, son plus haut coefficient de Fourier. Nous étudions la non diagonalisabilité de F_N à l’aide des divergences de certaines composantes de ses vecteurs propres, qui apparaissent aux valeurs critiques de λ. Nous prouvons dans ρ(D_N(λ, u)) l’existence de cellules de Jordan intersectorielles, de rang 2 et couplant des secteurs d, d′ lorsque certaines contraintes sur λ, d, d′ et N sont satisfaites. Pour le modèle de polymères denses critique (β = 0) sur le ruban, les valeurs propres de ρ(D_N(λ, u)) étaient connues, mais les dégénérescences conjecturées. En construisant un isomorphisme entre les modules de connectivités et un sous-espace des modules de spins du modèle XXZ en q = i, nous prouvons cette conjecture. Nous montrons aussi que la restriction de l’hamiltonien de boucles à un secteur donné est diagonalisable et trouvons la forme de Jordan exacte de l’hamiltonien XX, non triviale pour N pair seulement. Enfin nous étudions la structure de Jordan de la matrice de transfert T_N(λ, ν) pour des conditions aux frontières périodiques. La matrice T_N(λ, ν) a des blocs de Jordan intrasectoriels et intersectoriels lorsque λ = πa/b, et a, b ∈ Z×. L’approche par F_N admet une généralisation qui permet de diagnostiquer des cellules intersectorielles dont le rang excède 2 dans certains cas et peut croître indéfiniment avec N. Pour les blocs de Jordan intrasectoriels, nous montrons que les représentations de connectivités sur le cylindre et celles du modèle XXZ sont isomorphes sauf pour certaines valeurs précises de q et du paramètre de torsion v. En utilisant le comportement de la transformation i_N^d dans un voisinage des valeurs critiques (q_c, v_c), nous construisons explicitement des vecteurs généralisés de Jordan de rang 2 et discutons l’existence de blocs de Jordan intrasectoriels de plus haut rang.

Systèmes superintégrables avec spin et intégrales du mouvement d’ordre deux

Ce mémoire est une partie d’un programme de recherche qui étudie la superintégrabilité des systèmes avec spin. Plus particulièrement, nous nous intéressons à un hamiltonien avec interaction spin-orbite en trois dimensions admettant une intégrale du mouvement qui est un polynôme matriciel d’ordre deux dans l’impulsion. Puisque nous considérons un hamiltonien invariant sous rotation et sous parité, nous classifions les intégrales du mouvement selon des multiplets irréductibles de O(3). Nous calculons le commutateur entre l’hamiltonien et un opérateur général d’ordre deux dans l’impulsion scalaire, pseudoscalaire, vecteur et pseudovecteur. Nous donnons la classification complète des systèmes admettant des intégrales du mouvement scalaire et vectorielle. Nous trouvons une condition nécessaire à remplir pour le potentiel sous forme d’une équation différentielle pour les cas pseudo-scalaire et pseudo-vectoriel. Nous utilisons la réduction par symétrie pour obtenir des solutions particulières de ces équations.