Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Efficient estimation using the characteristic function : theory and applications with high frequency data

The attached file is created with Scientific Workplace Latex

Modèles de flammelette en combustion turbulente avec extinction et réallumage : étude asymptotique et numérique, estimation d’erreur a posteriori et modélisation adaptative

On s’intéresse ici aux erreurs de modélisation liées à l’usage de modèles de flammelette sous-maille en combustion turbulente non prémélangée. Le but de cette thèse est de développer une stratégie d’estimation d’erreur a posteriori pour déterminer le meilleur modèle parmi une hiérarchie, à un coût numérique similaire à l’utilisation de ces mêmes modèles. Dans un premier temps, une stratégie faisant appel à un estimateur basé sur les résidus pondérés est développée et testée sur un système d’équations d’advection-diffusion-réaction. Dans un deuxième temps, on teste la méthodologie d’estimation d’erreur sur un autre système d’équations, où des effets d’extinction et de réallumage sont ajoutés. Lorsqu’il n’y a pas d’advection, une analyse asymptotique rigoureuse montre l’existence de plusieurs régimes de combustion déjà observés dans les simulations numériques. Nous obtenons une approximation des paramètres de réallumage et d’extinction avec la courbe en «S», un graphe de la température maximale de la flamme en fonction du nombre de Damköhler, composée de trois branches et d’une double courbure. En ajoutant des effets advectifs, on obtient également une courbe en «S» correspondant aux régimes de combustion déjà identifiés. Nous comparons les erreurs de modélisation liées aux approximations asymptotiques dans les deux régimes stables et établissons une nouvelle hiérarchie des modèles en fonction du régime de combustion. Ces erreurs sont comparées aux estimations données par la stratégie d’estimation d’erreur. Si un seul régime stable de combustion existe, l’estimateur d’erreur l’identifie correctement ; si plus d’un régime est possible, on obtient une fac˛on systématique de choisir un régime. Pour les régimes où plus d’un modèle est approprié, la hiérarchie prédite par l’estimateur est correcte.

Estimation des décès attribuables aux PM2.5 issues des feux de la forêt boréale du Nord du Québec

Il est bien établi que l'exposition à court terme aux particules fines dans l’air ambiant en milieu urbain a des effets sur la santé. Toutefois, peu d'études épidémiologiques ont évalué la relation entre les particules fines (PM2.5) de sources spécifiques comme celles dérivées de feux de forêt et les effets sur la santé. Pour l’instant, les risques de mortalité et de morbidité associés aux PM2.5 résultant de la combustion de végétation semblent similaires à ceux des PM2.5 urbaines. Dans le présent mémoire, nous avons comparé deux méthodes pour quantifier les risques de mortalité et de morbidité associés à l'augmentation des niveaux de PM2.5 à Montréal, dérivées de deux épisodes des feux de forêts majeurs dans le Nord du Québec. La première approche consistait à comparer les décès et les visites aux urgences observées enregistrées au cours des deux épisodes à Montréal à leurs moyennes respectives attendues durant des jours de référence. Nous avons également calculé la surmortalité et la surmorbidité prédites attribuables aux PM2.5 lors des épisodes, en projetant les risques relatifs (RR) rapportés par l’Environmental Protection Agency (EPA) des États-Unis pour les PM2.5 urbaines, ainsi qu’en appliquant des fonctions de risque estimées à partir des données estivales spécifiques à Montréal. Suivant la première approche, nous avons estimé une surmortalité de +10% pendant les deux épisodes. Cependant, aucune tendance claire n'a été observée pour les visites à l'urgence. Et suivant la 2e approche, la surmortalité prédite attribuable aux niveaux des PM2.5 dérivées des feux de forêt étaient moins élevés que ceux observés, soit de 1 à 4 cas seulement. Une faible surmortalité attribuable aux niveaux élevés des PM2.5 issues de feux de la forêt boréale du Québec a été estimée par les fonctions de risque ainsi que par la méthode de comparaison des décès observés aux moyennes attendues, sur l’Île de Montréal, située à des centaines de km des sites de feux.

Estimation utilisant les polynômes de Bernstein

Ce mémoire porte sur la présentation des estimateurs de Bernstein qui sont des alternatives récentes aux différents estimateurs classiques de fonctions de répartition et de densité. Plus précisément, nous étudions leurs différentes propriétés et les comparons à celles de la fonction de répartition empirique et à celles de l'estimateur par la méthode du noyau. Nous déterminons une expression asymptotique des deux premiers moments de l'estimateur de Bernstein pour la fonction de répartition. Comme pour les estimateurs classiques, nous montrons que cet estimateur vérifie la propriété de Chung-Smirnov sous certaines conditions. Nous montrons ensuite que l'estimateur de Bernstein est meilleur que la fonction de répartition empirique en terme d'erreur quadratique moyenne. En s'intéressant au comportement asymptotique des estimateurs de Bernstein, pour un choix convenable du degré du polynôme, nous montrons que ces estimateurs sont asymptotiquement normaux. Des études numériques sur quelques distributions classiques nous permettent de confirmer que les estimateurs de Bernstein peuvent être préférables aux estimateurs classiques.