Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Droit du transport intermodal international de marchandises : une perspective « supply chain management ».

La thèse propose d’introduire une perspective globale dans le traitement juridique du transport intermodal international qui prendrait racine dans la stratégie logistique des entreprises. La conception juridique se heurte, en effet, aux évolutions opérationnelles et organisationnelles des transports et aboutit à une incertitude juridique. Les transporteurs ont dû s’adapter aux exigences d’optimisation des flux des chargeurs dont les modes de production et de distribution reposent sur le supply chain management (SCM). Ce concept est le fruit de la mondialisation et des technologies de l’information. La concurrence induite par la mondialisation et le pilotage optimal des flux ont impulsé de nouvelles stratégies de la part des entreprises qui tentent d’avoir un avantage concurrentiel sur le marché. Ces stratégies reposent sur l’intégration interfonctionnelle et interoganisationnelle. Dans cette chaîne logistique globale (ou SCM) l’intermodal est crucial. Il lie et coordonne les réseaux de production et de distribution spatialement désagrégés des entreprises et, répond aux exigences de maîtrise de l’espace et du temps, à moindre coût. Ainsi, le transporteur doit d’une part, intégrer les opérations de transport en optimisant les déplacements et, d’autre part, s’intégrer à la chaîne logistique du client en proposant des services de valeur ajoutée pour renforcer la compétitivité de la chaîne de valeur. Il en découle une unité technique et économique de la chaîne intermodale qui est pourtant, juridiquement fragmentée. Les Conventions internationales en vigueur ont été élaborées pour chaque mode de transport en faisant fi de l’interaction entre les modes et entre les opérateurs. L’intermodal est considéré comme une juxtaposition des modes et des régimes juridiques. Ce dépeçage juridique contraste avec la gestion de la chaîne intermodale dont les composantes individuelles s’effacent au profit de l’objectif global à atteindre. L’on expose d’abord l’ampleur de l’incertitude juridique due aux difficultés de circonscrire le champ d’opérations couvert par les Conventions en vigueur. Une attention est portée aux divergences d’interprétations qui débouchent sur la « désunification » du droit du transport. On s’intéresse ensuite aux interactions entre le transport et la chaîne logistique des chargeurs. Pour cela, on retrace l’évolution des modes de production et de distribution de ces derniers. C’est effectivement de la stratégie logistique que découle la conception de la chaîne intermodale. Partant de ce système, on identifie les caractéristiques fondamentales de l’intermodal. La thèse aboutit à dissiper les confusions liées à la qualification de l’intermodal et qui sont à la base des divergences d’interprétations et de l’incertitude juridique. De plus, elle met en exergue l’unité économique du contrat de transport intermodal qui devrait guider la fixation d’un régime de responsabilité dédié à ce système intégré de transport. Enfin, elle initie une approche ignorée des débats juridiques.