Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Grounds for telling it : transnational feminism and Canadian women's writing

Cette thèse explore les connections entre la littérature canadienne contemporaine féminine et le féminisme transnational. Le « transnational » est une catégorie qui est de plus en plus importante dans la critique littéraire canadienne, mais elle n’est pas souvent evoquée en lien avec le féminisme. À travers cette thèse, je développe une méthodologie de lecture féministe basée sur le féminisme transnational. Cette méthodologie est appliquée à la littérature canadienne féminine; parallèlement, cette littérature participe à la définition et à l’élaboration des concepts féministes transnationaux tels que la complicité, la collaboration, le silence, et la différence. De plus, ma méthodologie participe à la recontextualisation de certains textes et moments dans l’histoire de la littérature canadienne, ce qui permet la conceptualisation d’une généalogie de l’expression féministe anti-essentialiste dans la littérature canadienne. J’étudie donc des textes de Daphne Marlatt, Dionne Brand, et Suzette Mayr, ainsi que le périodique Tessera et les actes du colloque intitulé Telling It, une conférence qui a eu lieu en 1988. Ces textes parlent de la critique du colonialisme et du nationalisme, des identités post-coloniales et diasporiques, et des possibilités de la collaboration féministe de traverser des frontières de toutes sortes. Dans le premier chapitre, j’explique ma méthodologie en démontrant que le périodique féministe bilingue Tessera peut être lu en lien avec le féminisme transnational. Le deuxième chapitre s’attarde à la publication editée par le collectif qui a été formé à la suite de la conférence Telling It. Je situe Telling It dans le contexte des discussions sur les différences qui ont eu lieu dans le féminisme nord-américan des dernières décennies. Notamment, mes recherches sur Telling It sont fondées sur des documents d’archives peu consultés qui permettent une réflexion sur les silences qui peuvent se cacher au centre du travail collaboratif. Le trosième chapitre est constitué d’une lecture proche du texte multi-genre « In the Month of Hungry Ghosts, » écrit par Daphne Marlatt en 1979. Ce texte explore les connexions complexes entre le colonialisme, le postcolonialisme, la complicité et la mondialisation. Le suject du quatrième chapitre est le film Listening for Something… (1994) qui découle d’une collaboration féministe transnationale entre Dionne Brand et Adrienne Rich. Pour terminer, le cinquième chapitre explore les liens entre le transnational et le national, la région – et le monstrueux, dans le contexte du roman Venous Hum (2004) de Suzette Mayr. Ces lectures textuelles critiques se penchent toutes sur la question de la représentation de la collaboration féministe à travers les différences – question essentielle à l’action féministe transnationale. Mes recherche se trouvent donc aux intersections de la littérature canadienne, la théorie féministe contemporaine, les études postcoloniales et la mondialisation. Les discussions fascinantes qui se passent au sein de la théorie transnationale féministe sont pertinentes à ces intersections et de plus, la littérature contemporaine féminine au Canada offre des interventions importantes permettant d’imaginer la collaboration féministe transnationale.