Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

L’étude des stratégies de séparations préparatrices de protéines par électrophorèse capillaire

La protéomique est un sujet d'intérêt puisque l'étude des fonctions et des structures de protéines est essentiel à la compréhension du fonctionnement d'un organisme donné. Ce projet se situe dans la catégorie des études structurales, ou plus précisément, la séquence primaire en acides aminés pour l’identification d’une protéine. La détermination des protéines commence par l'extraction d'un mélange protéique issu d'un tissu ou d'un fluide biologique pouvant contenir plus de 1000 protéines différentes. Ensuite, des techniques analytiques comme l’électrophorèse en gel polyacrylamide en deux dimensions (2D-SDS-PAGE), qui visent à séparer ce mélange en fonction du point isoélectrique et de la masse molaire des protéines, sont utilisées pour isoler les protéines et pour permettre leur identification par chromatographie liquide and spectrométrie de masse (MS), typiquement. Ce projet s'inspire de ce processus et propose que l'étape de fractionnement de l'extrait protéique avec la 2D-SDS-PAGE soit remplacé ou supporté par de multiples fractionnements en parallèle par électrophorèse capillaire (CE) quasi-multidimensionnelle. Les fractions obtenues, contenant une protéine seule ou un mélange de protéines moins complexe que l’extrait du départ, pourraient ensuite être soumises à des identifications de protéines par cartographie peptidique et cartographie protéique à l’aide des techniques de séparations analytiques et de la MS. Pour obtenir la carte peptidique d'un échantillon, il est nécessaire de procéder à la protéolyse enzymatique ou chimique des protéines purifiées et de séparer les fragments peptidiques issus de cette digestion. Les cartes peptidiques ainsi générées peuvent ensuite être comparées à des échantillons témoins ou les masses exactes des peptides enzymatiques sont soumises à des moteurs de recherche comme MASCOT™, ce qui permet l’identification des protéines en interrogeant les bases de données génomiques. Les avantages exploitables de la CE, par rapport à la 2D-SDS-PAGE, sont sa haute efficacité de séparation, sa rapidité d'analyse et sa facilité d'automatisation. L’un des défis à surmonter est la faible quantité de masse de protéines disponible après analyses en CE, due partiellement à l'adsorption des protéines sur la paroi du capillaire, mais due majoritairement au faible volume d'échantillon en CE. Pour augmenter ce volume, un capillaire de 75 µm était utilisé. Aussi, le volume de la fraction collectée était diminué de 1000 à 100 µL et les fractions étaient accumulées 10 fois; c’est-à-dire que 10 produits de séparations étaient contenu dans chaque fraction. D'un autre côté, l'adsorption de protéines se traduit par la variation de l'aire d'un pic et du temps de migration d'une protéine donnée ce qui influence la reproductibilité de la séparation, un aspect très important puisque 10 séparations cumulatives sont nécessaires pour la collecte de fractions. De nombreuses approches existent pour diminuer ce problème (e.g. les extrêmes de pH de l’électrolyte de fond, les revêtements dynamique ou permanent du capillaire, etc.), mais dans ce mémoire, les études de revêtement portaient sur le bromure de N,N-didodecyl-N,N-dimethylammonium (DDAB), un surfactant qui forme un revêtement semi-permanent sur la paroi du capillaire. La grande majorité du mémoire visait à obtenir une séparation reproductible d'un mélange protéique standard préparé en laboratoire (contenant l’albumine de sérum de bovin, l'anhydrase carbonique, l’α-lactalbumine et la β-lactoglobulin) par CE avec le revêtement DDAB. Les études portées sur le revêtement montraient qu'il était nécessaire de régénérer le revêtement entre chaque injection du mélange de protéines dans les conditions étudiées : la collecte de 5 fractions de 6 min chacune à travers une séparation de 30 min, suivant le processus de régénération du DDAB, et tout ça répété 10 fois. Cependant, l’analyse en CE-UV et en HPLC-MS des fractions collectées ne montraient pas les protéines attendues puisqu'elles semblaient être en-dessous de la limite de détection. De plus, une analyse en MS montrait que le DDAB s’accumule dans les fractions collectées dû à sa désorption de la paroi du capillaire. Pour confirmer que les efforts pour recueillir une quantité de masse de protéine étaient suffisants, la méthode de CE avec détection par fluorescence induite par laser (CE-LIF) était utilisée pour séparer et collecter la protéine, albumine marquée de fluorescéine isothiocyanate (FITC), sans l'utilisation du revêtement DDAB. Ces analyses montraient que l'albumine-FITC était, en fait, présente dans la fraction collecté. La cartographie peptidique a été ensuite réalisée avec succès en employant l’enzyme chymotrypsine pour la digestion et CE-LIF pour obtenir la carte peptidique.