Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Algal Biofuels: Challenges and Opportunities

Biodiesel production using microalgae is attractive in a number of respects. Here a number of pros and cons to using microalgae for biofuels production are reviewed. Algal cultivation can be carried out using non-arable land and non-potable water with simple nutrient supply. In addition, algal biomass productivities are much higher than those of vascular plants and the extractable content of lipids that can be usefully converted to biodiesel, triacylglycerols (TAGs) can be much higher than that of the oil seeds now used for first generation biodiesel. On the other hand, practical, cost-effective production of biofuels from microalgae requires that a number of obstacles be overcome. These include the development of low-cost, effective growth systems, efficient and energy saving harvesting techniques, and methods for oil extraction and conversion that are environmentally benign and cost-effective. Promising recent advances in these areas are highlighted.

Characterization of microalgae native to Quebec for biofuel production.

La production de biodiésel par des microalgues est intéressante à plusieurs niveaux. Dans le premier chapitre, un éventail de pour et contres concernant l’utilisation de microalgues pour la production de biocarburant sont ici révisés. La culture d’algues peut s'effectuer en utilisant des terres non-arables, de l’eau non-potable et des nutriments de base. De plus, la biomasse produite par les algues est considérablement plus importante que celle de plantes vasculaires. Plusieurs espèces on le contenu lipidique en forme de triacylglycérols (TAGs), qui peut correspondre jusqu'à 30% - 40% du poids sec de la biomasse. Ces proportions sont considérablement plus élevées que celui des huiles contenues dans les graines actuellement utilisées pour le biodiésel de première génération. Par contre, une production pratique et peu couteuse de biocarburant par des microalgues requiert de surpasser plusieurs obstacles. Ceci inclut le développement de systèmes de culture efficace à faible coût, de techniques de récupération requérant peu d’énergie, et de méthodes d’extraction et de conversion de l’huile non-dommageables pour l’environnement et peu couteuses. Le deuxième chapitre explore l'une des questions importantes soulevées dans le premier chapitre: la sélection d'une souche pour la culture. Une collection de souches de microalgues d'eau douce indigène au Québec a été établi et examiné au niveau de la diversité physiologique. Cette collection est composée de cent souches, que apparaissaient très hétérogènes en terme de croissance lorsque mises en culture à 10±2 °C ou 22±2 °C sur un effluent secondaire d’une usine municipale de traitement des eaux usées (EU), défini comme milieu Bold's Basal Medium (BBM). Des diagrammes de dispersion ont été utilisés pour étudier la diversité physiologique au sein de la collection, montrant plusieurs résultats intéressants. Il y avait une dispersion appréciable dans les taux de croissance selon les différents types de milieux et indépendamment de la température. De manière intéressante, en considérant que tous les isolats avaient initialement été enrichis sur milieu BBM, la distribution était plutôt symétrique autour de la ligne d’iso-croissance, suggérant que l’enrichissement sur BBM n’a pas semblé biaiser la croissance des souches sur ce milieu par rapport aux EU. Également, considérant que les isolats avaient d’abord été enrichis à 22°C, il est assez surprenant que la distribution de taux de croissance spécifiques soit aussi symétrique autour de la ligne d’iso-croissance, avec grossièrement des nombres égaux d’isolats de part et d’autre. Ainsi, l’enrichissement à 22°C ne semble pas biaiser les cellules vers une croissance à cette température plutôt que vers 10°C. Les diagrammes de dispersion obtenus lorsque le pourcentage en lipides de cultures sur BBM ont été comparées à des cultures ayant poussé sur EU soit à 10°C ou 22°C rendent évident que la production de lipides est favorisée par la culture sur EU aux deux températures, et que la production lipidique ne semble pas particulièrement plus favorisée par l’une ou l’autre de ces températures. Lorsque la collection a été examinée pour y déceler des différences avec le site d’échantillonnage, une analyse statistique a montré grossièrement que le même degré de diversité physiologique était retrouvé dans les échantillons des deux différents sites. Le troisième chapitre a poursuivi l'évaluation de la culture d'algues au Québec. L’utilisation de déchets industriels riches en nutriments minéraux et en sources de carbone pour augmenter la biomasse finale en microalgues et le produit lipidique à faible coût est une stratégie importante pour rendre viable la technologie des biocarburants par les algues. Par l’utilisation de souches de la collection de microalgues de l’Université de Montréal, ce rapport montre pour la première fois que des souches de microalgues peuvent pousser en présence de xylose, la source de carbone majoritairement retrouvée dans les eaux usées provenant des usines de pâte et papier, avec une hausse du taux de croissance de 2,8 fois par rapport à la croissance photoautotrophe, atteignant jusqu’à µ=1,1/jour. En présence de glycérol, les taux de croissance atteignaient des valeurs aussi élevées que µ=1,52/jour. La production lipidique augmentait jusqu’à 370% en présence de glycérol et 180% avec le xylose pour la souche LB1H10, démontrant que cette souche est appropriée pour le développement ultérieur de biocarburants en culture mixotrophe. L'ajout de xylose en cultures d'algues a montré certains effets inattendus. Le quatrième chapitre de ce travail a porté à comprendre ces effets sur la croissance des microalgues et la production de lipides. Quatre souches sauvages indigènes ont été obersvées quotidiennement, avant et après l’ajout de xylose, par cytométrie en flux. Avec quelques souches de Chlorella, l’ajout de xylose induisait une hausse rapide de l’accumulation de lipide (jusqu’à 3,3 fois) pendant les premières six à douze heures. Aux temps subséquents, les cellules montraient une diminution du contenu en chlorophylle, de leur taille et de leur nombre. Par contre, l’unique membre de la famille des Scenedesmaceae avait la capacité de profiter de la présence de cette source de carbone sous culture mixotrophe ou hétérotrophe sans effet négatif apparent. Ces résultats suggèrent que le xylose puisse être utilisé avant la récolte afin de stimuler l’augmentation du contenu lipidique de la culture d’algues, soit en système de culture continu ou à deux étapes, permettant la biorestauration des eaux usées provenant de l’industrie des pâtes et papiers. Le cinquième chapitre aborde une autre déché industriel important: le dioxyde de carbone et les gaz à effet de serre. Plus de la moitié du dioxyde de carbone qui est émis dans l'atmosphère chaque jour est dégagé par un processus stationnaire, soit pour la production d’électricité ou pour la fabrication industrielle. La libération de CO2 par ces sources pourrait être atténuée grâce à la biorestauration avec microalgues, une matière première putative pour les biocarburants. Néanmoins, toutes les cheminées dégagent un gaz différent, et la sélection des souches d'algues est vitale. Ainsi, ce travail propose l'utilisation d’un état de site particulier pour la bioprospection de souches d'algues pour être utilisé dans le processus de biorestauration. Les résultats montrent que l'utilisation d'un processus d'enrichissement simple lors de l'étape d'isolement peut sélectionner des souches qui étaient en moyenne 43,2% mieux performantes dans la production de biomasse que les souches isolées par des méthodes traditionnelles. Les souches isolées dans ce travail étaient capables d'assimiler le dioxyde de carbone à un taux supérieur à la moyenne, comparées à des résultats récents de la littérature.