Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Quantitative ultrasound imaging during shear wave propagation for application related to breast cancer diagnosis

Dans le contexte de la caractérisation des tissus mammaires, on peut se demander ce que l’examen d’un attribut en échographie quantitative (« quantitative ultrasound » - QUS) d’un milieu diffusant (tel un tissu biologique mou) pendant la propagation d’une onde de cisaillement ajoute à son pouvoir discriminant. Ce travail présente une étude du comportement variable temporel de trois paramètres statistiques (l’intensité moyenne, le paramètre de structure et le paramètre de regroupement des diffuseurs) d’un modèle général pour l’enveloppe écho de l’onde ultrasonore rétrodiffusée (c.-à-d., la K-distribution homodyne) sous la propagation des ondes de cisaillement. Des ondes de cisaillement transitoires ont été générés en utilisant la mèthode d’ imagerie de cisaillement supersonique ( «supersonic shear imaging » - SSI) dans trois fantômes in-vitro macroscopiquement homogènes imitant le sein avec des propriétés mécaniques différentes, et deux fantômes ex-vivo hétérogénes avec tumeurs de souris incluses dans un milieu environnant d’agargélatine. Une comparaison de l’étendue des trois paramètres de la K-distribution homodyne avec et sans propagation d’ondes de cisaillement a montré que les paramètres étaient significativement (p < 0,001) affectès par la propagation d’ondes de cisaillement dans les expériences in-vitro et ex-vivo. Les résultats ont également démontré que la plage dynamique des paramétres statistiques au cours de la propagation des ondes de cisaillement peut aider à discriminer (avec p < 0,001) les trois fantômes homogènes in-vitro les uns des autres, ainsi que les tumeurs de souris de leur milieu environnant dans les fantômes hétérogénes ex-vivo. De plus, un modéle de régression linéaire a été appliqué pour corréler la plage de l’intensité moyenne sous la propagation des ondes de cisaillement avec l’amplitude maximale de déplacement du « speckle » ultrasonore. La régression linéaire obtenue a été significative : fantômes in vitro : R2 = 0.98, p < 0,001 ; tumeurs ex-vivo : R2 = 0,56, p = 0,013 ; milieu environnant ex-vivo : R2 = 0,59, p = 0,009. En revanche, la régression linéaire n’a pas été aussi significative entre l’intensité moyenne sans propagation d’ondes de cisaillement et les propriétés mécaniques du milieu : fantômes in vitro : R2 = 0,07, p = 0,328, tumeurs ex-vivo : R2 = 0,55, p = 0,022 ; milieu environnant ex-vivo : R2 = 0,45, p = 0,047. Cette nouvelle approche peut fournir des informations supplémentaires à l’échographie quantitative statistique traditionnellement réalisée dans un cadre statique (c.-à-d., sans propagation d’ondes de cisaillement), par exemple, dans le contexte de l’imagerie ultrasonore en vue de la classification du cancer du sein.