Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Malnutrition et morbidité chez les enfants en Afrique : concentratrion et inégalités socioéconomiques familiales et communautaires

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Structure et dynamique des communautés multi-espèces : le rôle de l’espace

Cette thèse porte sur le rôle de l’espace dans l’organisation et dans la dynamique des communautés écologiques multi-espèces. Deux carences peuvent être identifiées dans les études théoriques actuelles portant sur la dimension spatiale des communautés écologiques : l’insuffisance de modèles multi-espèces représentant la dimension spatiale explicitement, et le manque d’attention portée aux interactions positives, tel le mutualisme, en dépit de la reconnaissance de leur ubiquité dans les systèmes écologiques. Cette thèse explore cette problématique propre à l’écologie des communautés, en utilisant une approche théorique s’inspirant de la théorie des systèmes complexes et de la mécanique statistique. Selon cette approche, les communautés d’espèces sont considérées comme des systèmes complexes dont les propriétés globales émergent des interactions locales entre les organismes qui les composent, et des interactions locales entre ces organismes et leur environnement. Le premier objectif de cette thèse est de développer un modèle de métacommunauté multi-espèces, explicitement spatial, orienté à l’échelle des individus et basé sur un réseau d’interactions interspécifiques générales comprenant à la fois des interactions d’exploitation, de compétition et de mutualisme. Dans ce modèle, les communautés locales sont formées par un processus d’assemblage des espèces à partir d’un réservoir régional. La croissance des populations est restreinte par une capacité limite et leur dynamique évolue suivant des mécanismes simples de reproduction et de dispersion des individus. Ces mécanismes sont dépendants des conditions biotiques et abiotiques des communautés locales et leur effet varie en fonction des espèces, du temps et de l’espace. Dans un deuxième temps, cette thèse a pour objectif de déterminer l’impact d’une connectivité spatiale croissante sur la dynamique spatiotemporelle et sur les propriétés structurelles et fonctionnelles de cette métacommunauté. Plus précisément, nous évaluons différentes propriétés des communautés en fonction du niveau de dispersion des espèces : i) la similarité dans la composition des communautés locales et ses patrons de corrélations spatiales; ii) la biodiversité locale et régionale, et la distribution locale de l’abondance des espèces; iii) la biomasse, la productivité et la stabilité dynamique aux échelles locale et régionale; et iv) la structure locale des interactions entre les espèces. Ces propriétés sont examinées selon deux schémas spatiaux. D’abord nous employons un environnement homogène et ensuite nous employons un environnement hétérogène où la capacité limite des communautés locales évoluent suivant un gradient. De façon générale, nos résultats révèlent que les communautés écologiques spatialement distribuées sont extrêmement sensibles aux modes et aux niveaux de dispersion des organismes. Leur dynamique spatiotemporelle et leurs propriétés structurelles et fonctionnelles peuvent subir des changements profonds sous forme de transitions significatives suivant une faible variation du niveau de dispersion. Ces changements apparaissent aussi par l’émergence de patrons spatiotemporels dans la distribution spatiale des populations qui sont typiques des transitions de phases observées généralement dans les systèmes physiques. La dynamique de la métacommunauté présente deux régimes. Dans le premier régime, correspondant aux niveaux faibles de dispersion des espèces, la dynamique d’assemblage favorise l’émergence de communautés stables, peu diverses et formées d’espèces abondantes et fortement mutualistes. La métacommunauté possède une forte diversité régionale puisque les communautés locales sont faiblement connectées et que leur composition demeure ainsi distincte. Par ailleurs dans le second régime, correspondant aux niveaux élevés de dispersion, la diversité régionale diminue au profit d’une augmentation de la diversité locale. Les communautés locales sont plus productives mais leur stabilité dynamique est réduite suite à la migration importante d’individus. Ce régime est aussi caractérisé par des assemblages incluant une plus grande diversité d’interactions interspécifiques. Ces résultats suggèrent qu’une augmentation du niveau de dispersion des organismes permet de coupler les communautés locales entre elles ce qui accroît la coexistence locale et favorise la formation de communautés écologiques plus riches et plus complexes. Finalement, notre étude suggère que le mutualisme est fondamentale à l’organisation et au maintient des communautés écologiques. Les espèces mutualistes dominent dans les habitats caractérisés par une capacité limite restreinte et servent d’ingénieurs écologiques en facilitant l’établissement de compétiteurs, prédateurs et opportunistes qui bénéficient de leur présence.

Multi-Prover and parallel repetition in non-classical interactive games

Depuis l’introduction de la mécanique quantique, plusieurs mystères de la nature ont trouvé leurs explications. De plus en plus, les concepts de la mécanique quantique se sont entremêlés avec d’autres de la théorie de la complexité du calcul. De nouvelles idées et solutions ont été découvertes et élaborées dans le but de résoudre ces problèmes informatiques. En particulier, la mécanique quantique a secoué plusieurs preuves de sécurité de protocoles classiques. Dans ce m´emoire, nous faisons un étalage de résultats récents de l’implication de la mécanique quantique sur la complexité du calcul, et cela plus précisément dans le cas de classes avec interaction. Nous présentons ces travaux de recherches avec la nomenclature des jeux à information imparfaite avec coopération. Nous exposons les différences entre les théories classiques, quantiques et non-signalantes et les démontrons par l’exemple du jeu à cycle impair. Nous centralisons notre attention autour de deux grands thèmes : l’effet sur un jeu de l’ajout de joueurs et de la répétition parallèle. Nous observons que l’effet de ces modifications a des conséquences très différentes en fonction de la théorie physique considérée.

Étude fonctionnelle d’un nouveau complexe multi-enzymatique régulant l’épigénome

L’ubiquitination, une modification post-traductionnelle importante pour le contrôle de nombreux processus cellulaires, est une réaction réversible. La réaction inverse, nommée déubiquitination est catalysée par les déubiquitinases (DUB). Nous nous sommes intéressés dans nos travaux à étudier l’ubiquitination de l’histone H2A (H2Aub), au niveau des résidus lysines 118 et 119 (K118/K119), une marque épigénétique impliquée dans la régulation de la prolifération cellulaire et la réparation de l’ADN. Le régulateur transcriptionnel BAP1, une déubiquitinase nucléaire, a été initialement identifié pour sa capacité à promouvoir la fonction suppressive de tumeurs de BRCA1. BAP1 forme un complexe multi-protéique avec plusieurs facteurs transcriptionnels et sa fonction principale est la déubiquitination de H2Aub. Plusieurs études ont démontré que BAP1 est un gène suppresseur de tumeurs majeur et qu’il est largement muté et inactivé dans une multitude de cancers. En effet, BAP1 émerge comme étant la DUB la plus mutée au niveau des cancers. Cependant, le ou les mécanismes d’action et de régulation du complexe BAP1 restent très peu connus. Dans cette étude nous nous sommes intéressés à la caractérisation moléculaire et fonctionnelle des partenaires protéiques de BAP1. De manière significative nous avons caractérisé un mécanisme unique de régulation entre deux composants majeurs du complexe BAP1 à savoir, HCF-1 et OGT. En effet, nous avons démontré que HCF-1 est requis pour maintenir le niveau protéique de OGT et que cette dernière est indispensable pour la maturation protéolytique de HCF-1 en promouvant son clivage par O-GlcNAcylation, une signalisation cellulaire nécessaire au bon fonctionnement de HCF-1. Également, nous avons découvert un nouveau mécanisme de régulation de BAP1 par l’ubiquitine ligase atypique UBE2O. En effet, UBE2O agit comme un régulateur négatif de BAP1 puisque l’ubiquitination de ce dernier induit sa séquestration dans le cytoplasme et l’inhibition de sa fonction suppressive de tumeurs. D’autre part nous nous sommes penchés sur la caractérisation de l’association de BAP1 avec deux facteurs de la famille des protéines Polycombes nommés ASXL1 et ASXL2 (ASXL1/2). Nous avons investigué le rôle de BAP1/ASXL1/2, particulièrement dans les mécanismes de déubiquitination et suppression de tumeurs. Nous avons démontré que BAP1 interagit directement iii via son domaine C-terminale avec le même domaine ASXM de ASXL1/2 formant ainsi deux complexes mutuellement exclusifs indispensables pour induire l’activité déubiquitinase de BAP1. De manière significative, ASXM s’associe avec BAP1 pour créer un nouveau domaine composite de liaison à l’ubiquitine. Ces interactions BAP1/ASXL1/2 régulent la progression harmonieuse du cycle cellulaire. De plus, la surexpression de BAP1 et de ASXL2 au niveau des fibroblastes induit la sénescence de manière dépendante de leurs interactions. D’autre part, nous avons identifié des mutations de cancers au niveau de BAP1 le rendant incapable de lier ASXL1/2, d’exercer sa fonction d’autodéubiquitination et de ce fait d’agir comme suppresseur de tumeurs. Ainsi nous avons révélé un lien étroit entre le gène suppresseur de tumeurs BAP1, son activité déubiquitinase et le contrôle de la prolifération cellulaire.