Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Échantillonnage des distributions continues non uniformes en précision arbitraire et protocole pour l'échantillonnage exact distribué des distributions discrètes quantiques

La thèse est divisée principalement en deux parties. La première partie regroupe les chapitres 2 et 3. La deuxième partie regroupe les chapitres 4 et 5. La première partie concerne l'échantillonnage de distributions continues non uniformes garantissant un niveau fixe de précision. Knuth et Yao démontrèrent en 1976 comment échantillonner exactement n'importe quelle distribution discrète en n'ayant recours qu'à une source de bits non biaisés indépendants et identiquement distribués. La première partie de cette thèse généralise en quelque sorte la théorie de Knuth et Yao aux distributions continues non uniformes, une fois la précision fixée. Une borne inférieure ainsi que des bornes supérieures pour des algorithmes génériques comme l'inversion et la discrétisation figurent parmi les résultats de cette première partie. De plus, une nouvelle preuve simple du résultat principal de l'article original de Knuth et Yao figure parmi les résultats de cette thèse. La deuxième partie concerne la résolution d'un problème en théorie de la complexité de la communication, un problème qui naquit avec l'avènement de l'informatique quantique. Étant donné une distribution discrète paramétrée par un vecteur réel de dimension N et un réseau de N ordinateurs ayant accès à une source de bits non biaisés indépendants et identiquement distribués où chaque ordinateur possède un et un seul des N paramètres, un protocole distribué est établi afin d'échantillonner exactement ladite distribution.

Characterization of Probability Distributions Using the Residual Entropy Function

The present study on the characterization of probability distributions using the residual entropy function. The concept of entropy is extensively used in literature as a quantitative measure of uncertainty associated with a random phenomenon. The commonly used life time models in reliability Theory are exponential distribution, Pareto distribution, Beta distribution, Weibull distribution and gamma distribution. Several characterization theorems are obtained for the above models using reliability concepts such as failure rate, mean residual life function, vitality function, variance residual life function etc. Most of the works on characterization of distributions in the reliability context centers around the failure rate or the residual life function. The important aspect of interest in the study of entropy is that of locating distributions for which the shannon’s entropy is maximum subject to certain restrictions on the underlying random variable. The geometric vitality function and examine its properties. It is established that the geometric vitality function determines the distribution uniquely. The problem of averaging the residual entropy function is examined, and also the truncated form version of entropies of higher order are defined. In this study it is established that the residual entropy function determines the distribution uniquely and that the constancy of the same is characteristics to the geometric distribution

Bivariate semi-Pareto distributions and processes

A bivariate semi-Pareto distribution is introduced and characterized using geometric minimization. Autoregressive minification models for bivariate random vectors with bivariate semi-Pareto and bivariate Pareto distributions are also discussed. Multivariate generalizations of the distributions and the processes are briefly indicated.

Invariant density for a class of initial distributions under quadratic mapping

For the discrete-time quadratic map xt+1=4xt(1-xt) the evolution equation for a class of non-uniform initial densities is obtained. It is shown that in the t to infinity limit all of them approach the invariant density for the map.

Characterization of Probability Distributions by Variance Bounds and its Applications

Department of Statistics, Cochin University of Science and Technology

Bivarite burr distributions

The present work is organized into six chapters. Bivariate extension of Burr system is the subject matter of Chapter II. The author proposes to introduce a general structure for the family in two dimensions and present some properties of such a system. Also in Chapter II some new distributions, which are bivariate extension of univariate distributions in Burr (1942) is presented.. In Chapter III, concentrates on characterization problems of different forms of bivariate Burr system. A detailed study of the distributional properties of each member of the Burr system has not been undertaken in literature. With this aim in mind in Chapter IV is discussed with two forms of bivariate Burr III distribution. In Chapter V the author Considers the type XII, type II and type IX distributions. Present work concludes with Chapter VI by pointing out the multivariate extension for Burr system. Also in this chapter the concept of multivariate reversed hazard rates as scalar and vector quantity is introduced.

Some characterization problems associated with the bivariate exponential and geometric distributions

It is highly desirable that any multivariate distribution possessescharacteristic properties that are generalisation in some sense of the corresponding results in the univariate case. Therefore it is of interest to examine whether a multivariate distribution can admit such characterizations. In the exponential context, the question to be answered is, in what meaning— ful way can one extend the unique properties in the univariate case in a bivariate set up? Since the lack of memory property is the best studied and most useful property of the exponential law, our first endeavour in the present thesis, is to suitably extend this property and its equivalent forms so as to characterize the Gumbel's bivariate exponential distribution. Though there are many forms of bivariate exponential distributions, a matching interest has not been shown in developing corresponding discrete versions in the form of bivariate geometric distributions. Accordingly, attempt is also made to introduce the geometric version of the Gumbel distribution and examine several of its characteristic properties. A major area where exponential models are successfully applied being reliability theory, we also look into the role of these bivariate laws in that context. The present thesis is organised into five Chapters

Characterizations of Life Distributions Using Conditional Expectations of Doubly (Interval) Truncated Random Variables

In this article, we study reliability measures such as geometric vitality function and conditional Shannon’s measures of uncertainty proposed by Ebrahimi (1996) and Sankaran and Gupta (1999), respectively, for the doubly (interval) truncated random variables. In survival analysis and reliability engineering, these measures play a significant role in studying the various characteristics of a system/component when it fails between two time points. The interrelationships among these uncertainty measures for various distributions are derived and proved characterization theorems arising out of them

Some Properties of Weighted Distributions in the Context of Repairable Systems

In this article we introduce some structural relationships between weighted and original variables in the context of maintainability function and reversed repair rate. Furthermore, we prove some characterization theorems for specific models such as power, exponential, Pareto II, beta, and Pearson system of distributions using the relationships between the original and weighted random variables

Characterizations of some continuous distributions using partial moments

Inthis paper,we define partial moments for a univariate continuous random variable. A recurrence relationship for the Pearson curve using the partial moments is established. The interrelationship between the partial moments and other reliability measures such as failure rate, mean residual life function are proved. We also prove some characterization theorems using the partial moments in the context of length biased models and equilibrium distributions

Bivariate distributions with weighted marginals and reliablity modelling

In this paper, a family of bivariate distributions whose marginals are weighted distributions in the original variables is studied. The relationship between the failure rates of the derived and original models are obtained. These relationships are used to provide some characterizations of specific bivariate models