Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Interactions multimodales visuelles et tactiles dans l’espace

L’intégration de stimulations provenant de modalités sensorielles différentes nous offre des avantages perceptifs tels qu’une meilleure discrimination et une accélération des temps de réponse (TR) face aux évènements environnementaux. Cette thèse a investigué les effets de la position spatiale de stimulations visuelles et tactiles sur le gain de redondance (GR), qui correspond à une réduction du temps de réaction lorsque deux stimulations sont présentées simultanément plutôt qu’isolément. La première étude a comparé le GR lorsque les mêmes stimulations visuotactiles sont présentées dans une tâche de détection et une tâche de discrimination spatiale. Les stimulations étaient présentées unilatéralement dans le même hémichamp ou bilatéralement dans les hémichamps opposés. Dans la tâche de détection, les participants devaient répondre à toutes les stimulations, peu importe leur localisation. Les résultats de cette tâche démontrent que les stimulations unilatérales et bilatérales produisent un GR et une violation du modèle de course indissociables. Dans la tâche de discrimination spatiale où les participants devaient répondre seulement aux stimulations présentées dans l’hémichamp droit, les TR aux stimulations bilatérales étaient moins rapides. Nous n’avons pas observé de différence entre le GR maximal obtenu dans l’une ou l’autre des tâches de cette étude. Nous concluons que lorsque l’information spatiale n’est pas pertinente pour accomplir la tâche, les stimulations unilatérales et bilatérales sont équivalentes. La manipulation de la pertinence de l’information spatiale permet donc d’induire une altération du GR en fonction de la localisation des stimulations. Lors d’une seconde étude, nous avons investigué si la différence entre les gains comportementaux résultants de l’intégration multimodale et intramodale dépend de la configuration spatiale des stimulations. Les résultats montrent que le GR obtenu pour les conditions multimodales surpasse celui obtenu pour les stimulations intramodales. De plus, le GR des conditions multimodales n’est pas influencé par la configuration spatiale des stimulations. À l’opposé, les stimulations intramodales produisent un GR plus important iii lorsque les stimulations sont présentées bilatéralement. Nos résultats suggèrent que l’intégration multimodale et intramodale se distinguent quant au GR qu’ils produisent et quant aux conditions nécessaires à cette amélioration. La troisième étude examine le rôle du corps calleux (CC) dans l’observation du GR obtenu pour les stimulations multimodales et intramodales lorsque celles-ci sont présentées unilatéralement et bilatéralement. Quatre patients ayant une agénésie congénitale du corps calleux (AgCC) et un patient callosotomisé ont été comparés à des individus normaux dans une tâche de détection. Dans l’ensemble, les résultats suggèrent que le CC n’est pas nécessaire pour l’intégration interhémisphérique de stimulations multimodales. Sur la base d’études précédentes démontrant le rôle des collicules supérieurs (CS) dans l’intégration multimodale, nous concluons qu’en l’absence du CC, les bénéfices comportementaux résultants d’un traitement sous-cortical par les CS ne reflètent pas les règles d’intégration observées dans les études neurophysiologiques chez l’animal.

By indirections find directions out : thinkable worlds in Abbott and Vonnegut

This thesis is concerned with the interaction between literature and abstract thought. More specifically, it studies the epistemological charge of the literary, the type of knowledge that is carried by elements proper to fictional narratives into different disciplines. By concentrating on two different theoretical methods, the creation of thought experiments and the framing of possible worlds, methods which were elaborated and are still used today in spheres as varied as modal logics, analytic philosophy and physics, and by following their reinsertion within literary theory, the research develops the theory that both thought experiments and possible worlds are in fact short narrative stories that inform knowledge through literary means. By using two novels, Abbott’s Flatland and Vonnegut’s The Sirens of Titan, that describe extra-dimensional existence in radically different ways, respectively as a phenomenologically unknowable space and as an outward perspective on time, it becomes clear that literature is constitutive of the way in which worlds, fictive, real or otherwise, are constructed and understood. Thus dimensions, established through extensional analogies as either experimental knowledge or modal possibility for a given world, generate new directions for thought, which can then take part in the inductive/deductive process of scientia. By contrasting the dimensions of narrative with the way that dimensions were historically constituted, the research also establishes that the literary opens up an infinite potential of abstract space-time domains, defined by their specific rules and limits, and that these different experimental folds are themselves partaking in a dimensional process responsible for new forms of understanding. Over against science fiction literary theories of speculation that posit an equation between the fictive and the real, this thesis examines the complex structure of many overlapping possibilities that can organise themselves around larger compossible wholes, thus offering a theory of reading that is both non-mimetic and non-causal. It consequently examines the a dynamic process whereby literature is always reconceived through possibilities actualised by reading while never defining how the reader will ultimately understand the overarching structure. In this context, the thesis argues that a causal story can be construed out of any one interaction with a given narrative—underscoring, for example, the divinatory strength of a particular vision of the future—even as this narrative represents only a fraction of the potential knowledge of any particular literary text. Ultimately, the study concludes by tracing out how novel comprehensions of the literary, framed by the material conditions of their own space and time, endlessly renew themselves through multiple interactions, generating analogies and speculations that facilitate the creation of new knowledge.

Analyse de la structure logique des inférences légales et modélisation du discours juridique

Thèse par articles.

Three works on religious themes : psalmus 150, string quartet on the life of Saint John Paul II and symphony “The Redemption”

Dans cette dissertation, je présente trois pièces sur des thèmes religieux composées au cours de ma maîtrise, ainsi que leur analyse : Psalmus 150 pour chœur de jeunes à trois voix, chœur d'adultes à huit voix et orgue ou piano ; Quatuor à Cordes sur la vie de Saint Jean-Paul II ; et la Symphonie « La Rédemption » pour orchestre et chœur. Malgré les particularités de chacune, elles présentent des aspects communs. L'idée principale des compositions fut d'éviter la rupture avec la tradition tout en apportant des nouvelles idées aux pièces, et de souligner l'importance de ma recherche sur la beauté. À cet égard, certaines techniques contemporaines, ainsi que les sonorités médiévales des quintes et octaves parallèles, furent utilisées en accord avec un langage tonal / modal qui demeure la base des trois compositions. Le chant Grégorien fut aussi une importante caractéristique de ces compositions. Pour mieux comprendre les analyses des œuvres, deux techniques seront expliquées, la douce toile de dissonances linéaires et l'harmonie d'accords parfaits majeurs. L'analyse de chaque pièce est divisée en deux parties. La première est une vision générale et la deuxième est plus détaillée. À la fin, les connaissances acquises par la composition des ces œuvres seront résumées et l'importance intemporelle de la beauté sera réaffirmée.

Le rôle de la mototaxi dans les pratiques intermodales et multimodales : le cas de Hanoi, Vietnam

Les transports artisanaux servent souvent à combler un vide laissé par les transports publics (organisés par l’État) dans les pays du Sud global. En prenant le cas de Hanoi (Vietnam), ce mémoire aborde le rôle de la mototaxi dans les habitudes de mobilité, ainsi que son potentiel à agir comme complément modal au transport public actuel et à venir. Cette recherche met en exergue la relation entre transport public et mototaxi, basée sur des observations directes, des entretiens et une enquête auprès d’usagers du transport public. On y découvre que les usagers du transport public ne les intègrent que sporadiquement à leurs pratiques intermodales et multimodales, en raison de prix trop élevés et de manquement à la sécurité. Parallèlement, des compagnies de mototaxi, récemment fondées et qui promettent des services plus sécuritaires et une tarification claire (grâce à l’utilisation de compteurs), prospèrent à Hanoi, alors que les mototaxis indépendantes voient leur clientèle diminuer. Ces compagnies doivent leur succès à leur capacité à offrir des services bien adaptés aux conditions locales (rues étroites, circulation dense, etc.) et aux besoins des hanoiens (en terme de sécurité, notamment) et ouvrent de nouvelles opportunités dans les pratiques intermodales et multimodales.