Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

L'impact de la justice distributive et procédurale sur l'intention de rester avec l'effet médiateur de l'engagement organisationnel : étude longitudinale dans le secteur des TIC

Ce mémoire a pour objectif de comprendre l'impact de la justice distributive et de la justice procédurale sur l'intention de rester via l'effet médiateur de l'engagement organisationnel. Pour étudier cette question, nous avons émis trois hypothèses basées sur les études empiriques et certaines théories. La première hypothèse stipule que la justice distributive est positivement et indirectement liée à l'intention de rester via l'engagement organisationnel. La deuxième hypothèse suggère que la justice procédurale est positivement et indirectement associée à l'intention de rester en passant par l'engagement organisationnel. La dernière hypothèse indique que la justice procédurale a un impact plus important sur l'intention de rester que la justice distributive via l'engagement organisationnel. Les données utilisées pour cette étude longitudinale ont été colligées dans le cadre d'une enquête portant sur « les liens entre la rémunération, la formation et le développement des compétences avec l’attraction et la rétention des employés clés ». Ces données proviennent d'une entreprise internationale du secteur des technologies de l'information et des communications (TIC) à Montréal. Les participants de l'étude sont les travailleurs nouvellement embauchés durant la période du 1er avril 2009 au 30 septembre 2010. À la suite de l'analyse des données, les résultats confirment toutes les hypothèses. Ces résultats indiquent que la justice distributive et la justice procédurale sont indirectement et positivement associées à l'intention de rester par l'effet médiateur de l'engagement organisationnel. De plus, les résultats des analyses multivariées longitudinales montrent que la justice procédurale affecte davantage l'intention de rester que la justice distributive via l'engagement organisationnel. Le travail sous supervision et le soutien organisationnel perçu ont également un impact considérable sur l'intention de rester des travailleurs. Finalement, la conclusion du mémoire indique en quoi cette recherche permet de guider les gestionnaires dans l'insertion de pratiques de fidélisation du personnel.

La recherche sur le transfert des connaissances en santé publique dans les pays à faible revenu : une synthèse exploratoire

Essai doctoral présenté à la Faculté des études supérieures en vue de l’obtention du doctorat clinique en psychologie (D.Psy)

La Commission administrative et la modernisation des structures politiques et administratives de Montréal, 1918-1921

Ce mémoire revient sur la première tutelle de la Ville de Montréal, imposée par le gouvernement provincial de 1918 à 1921. Pour l’occasion, le Lieutenant-gouverneur du Québec nomme cinq administrateurs afin de gérer les affaires courantes de la municipalité. Peu connu des historiens et du public, cet événement suscite des changements profonds dans les structures politiques et administratives de la Ville qui laissent des empreintes dans la vie quotidienne actuelle des Montréalais. Puisqu’ils ne sont pas redevables devant la population, les commissaires mettent en œuvre plusieurs réformes souvent impopulaires qui permettent de rétablir l’équilibre budgétaire de la Ville. Au passage, ils tentent de moderniser l’administration municipale dont le fonctionnement est jusque-là incompatible avec les réalités d’une population grandissante et d’un espace urbain accru par les nombreuses annexions. Notre étude souligne les réformes implantées par la Commission administrative au niveau de la fiscalité, de l’organisation des services municipaux et des politiques d'urbanisme. Elles s’inspirent de réformes mises en œuvre dans plusieurs villes nord-américaines de grande taille. Durant leur mandat, les nouveaux administrateurs cherchent à imposer un modèle d’administration s’inspirant de grandes entreprises privées et réussissent à réduire de manière substantielle le déficit de la Ville. Enfin, une attention particulière est accordée à la fin du mandat de la Commission administrative et au régime administratif qui lui fait suite.