Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Algorithmes d'apprentissage pour la recommandation

L'ère numérique dans laquelle nous sommes entrés apporte une quantité importante de nouveaux défis à relever dans une multitude de domaines. Le traitement automatique de l'abondante information à notre disposition est l'un de ces défis, et nous allons ici nous pencher sur des méthodes et techniques adaptées au filtrage et à la recommandation à l'utilisateur d'articles adaptés à ses goûts, dans le contexte particulier et sans précédent notable du jeu vidéo multi-joueurs en ligne. Notre objectif est de prédire l'appréciation des niveaux par les joueurs. Au moyen d'algorithmes d'apprentissage machine modernes tels que les réseaux de neurones profonds avec pré-entrainement non-supervisé, que nous décrivons après une introduction aux concepts nécessaires à leur bonne compréhension, nous proposons deux architectures aux caractéristiques différentes bien que basées sur ce même concept d'apprentissage profond. La première est un réseau de neurones multi-couches pour lequel nous tentons d'expliquer les performances variables que nous rapportons sur les expériences menées pour diverses variations de profondeur, d'heuristique d'entraînement, et des méthodes de pré-entraînement non-supervisé simple, débruitant et contractant. Pour la seconde architecture, nous nous inspirons des modèles à énergie et proposons de même une explication des résultats obtenus, variables eux aussi. Enfin, nous décrivons une première tentative fructueuse d'amélioration de cette seconde architecture au moyen d'un fine-tuning supervisé succédant le pré-entrainement, puis une seconde tentative où ce fine-tuning est fait au moyen d'un critère d'entraînement semi-supervisé multi-tâches. Nos expériences montrent des performances prometteuses, notament avec l'architecture inspirée des modèles à énergie, justifiant du moins l'utilisation d'algorithmes d'apprentissage profonds pour résoudre le problème de la recommandation.

Mechanism and Prediction of Post-Operative Atrial Fibrillation Based on Atrial Electrograms

La fibrillation auriculaire (FA) est une arythmie touchant les oreillettes. En FA, la contraction auriculaire est rapide et irrégulière. Le remplissage des ventricules devient incomplet, ce qui réduit le débit cardiaque. La FA peut entraîner des palpitations, des évanouissements, des douleurs thoraciques ou l’insuffisance cardiaque. Elle augmente aussi le risque d'accident vasculaire. Le pontage coronarien est une intervention chirurgicale réalisée pour restaurer le flux sanguin dans les cas de maladie coronarienne sévère. 10% à 65% des patients qui n'ont jamais subi de FA, en sont victime le plus souvent lors du deuxième ou troisième jour postopératoire. La FA est particulièrement fréquente après une chirurgie de la valve mitrale, survenant alors dans environ 64% des patients. L'apparition de la FA postopératoire est associée à une augmentation de la morbidité, de la durée et des coûts d'hospitalisation. Les mécanismes responsables de la FA postopératoire ne sont pas bien compris. L'identification des patients à haut risque de FA après un pontage coronarien serait utile pour sa prévention. Le présent projet est basé sur l'analyse d’électrogrammes cardiaques enregistrées chez les patients après pontage un aorte-coronaire. Le premier objectif de la recherche est d'étudier si les enregistrements affichent des changements typiques avant l'apparition de la FA. Le deuxième objectif est d'identifier des facteurs prédictifs permettant d’identifier les patients qui vont développer une FA. Les enregistrements ont été réalisés par l'équipe du Dr Pierre Pagé sur 137 patients traités par pontage coronarien. Trois électrodes unipolaires ont été suturées sur l'épicarde des oreillettes pour enregistrer en continu pendant les 4 premiers jours postopératoires. La première tâche était de développer un algorithme pour détecter et distinguer les activations auriculaires et ventriculaires sur chaque canal, et pour combiner les activations des trois canaux appartenant à un même événement cardiaque. L'algorithme a été développé et optimisé sur un premier ensemble de marqueurs, et sa performance évaluée sur un second ensemble. Un logiciel de validation a été développé pour préparer ces deux ensembles et pour corriger les détections sur tous les enregistrements qui ont été utilisés plus tard dans les analyses. Il a été complété par des outils pour former, étiqueter et valider les battements sinusaux normaux, les activations auriculaires et ventriculaires prématurées (PAA, PVA), ainsi que les épisodes d'arythmie. Les données cliniques préopératoires ont ensuite été analysées pour établir le risque préopératoire de FA. L’âge, le niveau de créatinine sérique et un diagnostic d'infarctus du myocarde se sont révélés être les plus importants facteurs de prédiction. Bien que le niveau du risque préopératoire puisse dans une certaine mesure prédire qui développera la FA, il n'était pas corrélé avec le temps de l'apparition de la FA postopératoire. Pour l'ensemble des patients ayant eu au moins un épisode de FA d’une durée de 10 minutes ou plus, les deux heures précédant la première FA prolongée ont été analysées. Cette première FA prolongée était toujours déclenchée par un PAA dont l’origine était le plus souvent sur l'oreillette gauche. Cependant, au cours des deux heures pré-FA, la distribution des PAA et de la fraction de ceux-ci provenant de l'oreillette gauche était large et inhomogène parmi les patients. Le nombre de PAA, la durée des arythmies transitoires, le rythme cardiaque sinusal, la portion basse fréquence de la variabilité du rythme cardiaque (LF portion) montraient des changements significatifs dans la dernière heure avant le début de la FA. La dernière étape consistait à comparer les patients avec et sans FA prolongée pour trouver des facteurs permettant de discriminer les deux groupes. Cinq types de modèles de régression logistique ont été comparés. Ils avaient une sensibilité, une spécificité et une courbe opérateur-receveur similaires, et tous avaient un niveau de prédiction des patients sans FA très faible. Une méthode de moyenne glissante a été proposée pour améliorer la discrimination, surtout pour les patients sans FA. Deux modèles ont été retenus, sélectionnés sur les critères de robustesse, de précision, et d’applicabilité. Autour 70% patients sans FA et 75% de patients avec FA ont été correctement identifiés dans la dernière heure avant la FA. Le taux de PAA, la fraction des PAA initiés dans l'oreillette gauche, le pNN50, le temps de conduction auriculo-ventriculaire, et la corrélation entre ce dernier et le rythme cardiaque étaient les variables de prédiction communes à ces deux modèles.

Les multiples trajectoires d’activité physique supervisée et non supervisée chez les enfants du primaire au Québec : un modèle écologique

Contexte : L’activité physique est une composante centrale du développement physique, psychologique et social de l'enfant, particulièrement au sein d'une société où l'impact de la sédentarité et de l'obésité devient de plus en plus important. Cependant, les trajectoires d’activité physique hors école et leurs déterminants sont peu étudiés et les connaissances sur ce sujet sont limitées. Il est également notoire que les types d’activité physique sont rarement pris en considération. Objectif : Ce mémoire a pour but (a) de déterminer les trajectoires de pratique d’activité physique au cours du développement des enfants (b) de valider l’association entre l’activité physique supervisée et l’activité non supervisée et (c) d’identifier les déterminants au niveau du quartier, de la famille et des caractéristiques individuelles associés aux trajectoires de pratique d’activité physique supervisée et non supervisée. Participants : 1 814 enfants (51% garçons) nés en 1998 ayant participé à l’Étude Longitudinale du Développement des Enfants du Québec (ELDEQ). Les données récoltées proviennent uniquement de leur mère. Mesures : La fréquence de l’activité physique supervisée et non supervisée a été mesurée à quatre reprises alors que les enfants étaient âgés entre 5 et 8 ans. Les déterminants ainsi que les variables contrôles ont été mesurés alors que les enfants avaient 4 ou 5 ans. Résultats : Trois trajectoires d’activité physique supervisée et non supervisée ont été identifiées. Les résultats suggèrent que les trajectoires d’activité physique supervisée, représentant respectivement 10%, 55.3% et 34.7% de la population, sont relativement stables même si elles subissent une légère augmentation avec le temps. Des trois trajectoires d’activité physique non supervisée représentant respectivement 14.1%, 28.1% et 57.8% de la population, une augmente considérablement avec le temps alors iv que les deux autres sont stables. Ces deux séries de trajectoires ne sont pas associées significativement entre elles. L’éducation de la mère, l’entraide dans le quartier de résidence ainsi que la prosocialité des enfants déterminent les deux types d’activité physique. La suffisance de revenu et la pratique sportive de la mère sont associées seulement aux trajectoires d’activité physique supervisée. La famille intacte discrimine l’appartenance aux trajectoires d’activité physique non supervisée. Conclusion : Premièrement, la pratique de l’activité physique est relativement stable entre 5 et 8 ans. Deuxièmement, l’activité physique supervisée ainsi que l’activité physique non supervisée sont deux pratiques qui se développent différemment et qui possèdent leurs propres déterminants. Troisièmement, une approche écologique permet de mieux saisir la complexité de ces deux processus.

Des typologies mécaniques à l'expérience esthétique : fonctions et mutations du genre dans le jeu vidéo

Cette thèse examine en profondeur la nature et l’application du concept de genre en jeu vidéo. Elle se divise en trois parties. La première fait l’inventaire des théories des genres en littérature et en études cinématographiques. Les propriétés essentielles du genre comme concept sont identifiées : il s’agit d’une catégorisation intuitive et irraisonnée, de nature discursive, qui découle d’un consensus culturel commun plutôt que de systèmes théoriques, et qui repose sur les notions de tradition, d’innovation et d’hybridité. Dans la deuxième partie, ces constats sont appliqués au cas du genre vidéoludique. Quelques typologies sont décortiquées pour montrer l’impossibilité d’une classification autoritaire. Un modèle du développement des genres est avancé, lequel s’appuie sur trois modalités : l’imitation, la réitération et l’innovation. Par l’examen de l’histoire du genre du first-person shooter, la conception traditionnelle du genre vidéoludique basée sur des mécanismes formels est remplacée par une nouvelle définition centrée sur l’expérience du joueur. La troisième partie développe l’expérience comme concept théorique et la place au centre d’une nouvelle conception du genre, la pragmatique des effets génériques. Dans cette optique, tout objet est une suite d’amorces génériques, d’effets en puissance qui peuvent se réaliser pourvu que le joueur dispose des compétences génériques nécessaires pour les reconnaître. Cette nouvelle approche est démontrée à travers une étude approfondie d’un genre vidéoludique : le survival horror. Cette étude de cas témoigne de l’applicabilité plus large de la pragmatique des effets génériques, et de la récursivité des questions de genre entre le jeu vidéo, la littérature et le cinéma.

Suivi des changements des utilisations/occupations du sol en milieu urbain par imagerie satellitale de résolution spatiale moyenne : le cas de la région métropolitaine de Montréal

De nos jours les cartes d’utilisation/occupation du sol (USOS) à une échelle régionale sont habituellement générées à partir d’images satellitales de résolution modérée (entre 10 m et 30 m). Le National Land Cover Database aux États-Unis et le programme CORINE (Coordination of information on the environment) Land Cover en Europe, tous deux fondés sur les images LANDSAT, en sont des exemples représentatifs. Cependant ces cartes deviennent rapidement obsolètes, spécialement en environnement dynamique comme les megacités et les territoires métropolitains. Pour nombre d’applications, une mise à jour de ces cartes sur une base annuelle est requise. Depuis 2007, le USGS donne accès gratuitement à des images LANDSAT ortho-rectifiées. Des images archivées (depuis 1984) et des images acquises récemment sont disponibles. Sans aucun doute, une telle disponibilité d’images stimulera la recherche sur des méthodes et techniques rapides et efficaces pour un monitoring continue des changements des USOS à partir d’images à résolution moyenne. Cette recherche visait à évaluer le potentiel de telles images satellitales de résolution moyenne pour obtenir de l’information sur les changements des USOS à une échelle régionale dans le cas de la Communauté Métropolitaine de Montréal (CMM), une métropole nord-américaine typique. Les études précédentes ont démontré que les résultats de détection automatique des changements dépendent de plusieurs facteurs tels : 1) les caractéristiques des images (résolution spatiale, bandes spectrales, etc.); 2) la méthode même utilisée pour la détection automatique des changements; et 3) la complexité du milieu étudié. Dans le cas du milieu étudié, à l’exception du centre-ville et des artères commerciales, les utilisations du sol (industriel, commercial, résidentiel, etc.) sont bien délimitées. Ainsi cette étude s’est concentrée aux autres facteurs pouvant affecter les résultats, nommément, les caractéristiques des images et les méthodes de détection des changements. Nous avons utilisé des images TM/ETM+ de LANDSAT à 30 m de résolution spatiale et avec six bandes spectrales ainsi que des images VNIR-ASTER à 15 m de résolution spatiale et avec trois bandes spectrales afin d’évaluer l’impact des caractéristiques des images sur les résultats de détection des changements. En ce qui a trait à la méthode de détection des changements, nous avons décidé de comparer deux types de techniques automatiques : (1) techniques fournissant des informations principalement sur la localisation des changements et (2)techniques fournissant des informations à la fois sur la localisation des changements et sur les types de changement (classes « de-à »). Les principales conclusions de cette recherche sont les suivantes : Les techniques de détection de changement telles les différences d’image ou l’analyse des vecteurs de changements appliqués aux images multi-temporelles LANDSAT fournissent une image exacte des lieux où un changement est survenu d’une façon rapide et efficace. Elles peuvent donc être intégrées dans un système de monitoring continu à des fins d’évaluation rapide du volume des changements. Les cartes des changements peuvent aussi servir de guide pour l’acquisition d’images de haute résolution spatiale si l’identification détaillée du type de changement est nécessaire. Les techniques de détection de changement telles l’analyse en composantes principales et la comparaison post-classification appliquées aux images multi-temporelles LANDSAT fournissent une image relativement exacte de classes “de-à” mais à un niveau thématique très général (par exemple, bâti à espace vert et vice-versa, boisés à sol nu et vice-versa, etc.). Les images ASTER-VNIR avec une meilleure résolution spatiale mais avec moins de bandes spectrales que LANDSAT n’offrent pas un niveau thématique plus détaillé (par exemple, boisés à espace commercial ou industriel). Les résultats indiquent que la recherche future sur la détection des changements en milieu urbain devrait se concentrer aux changements du couvert végétal puisque les images à résolution moyenne sont très sensibles aux changements de ce type de couvert. Les cartes indiquant la localisation et le type des changements du couvert végétal sont en soi très utiles pour des applications comme le monitoring environnemental ou l’hydrologie urbaine. Elles peuvent aussi servir comme des indicateurs des changements de l’utilisation du sol. De techniques telles l’analyse des vecteurs de changement ou les indices de végétation son employées à cette fin.

Validation de l'échographie des bulles tympaniques pour le diagnostic d'otite moyenne chez le veau

L'otite moyenne est une condition fréquente chez le veau et peut parfois être subclinique, rendant difficile son diagnostic à la ferme. L'objectif de cette étude est d’estimer la sensibilité et la spécificité de l'échographie des bulles tympaniques pour le diagnostic d'otite moyenne clinique et subclinique et de déterminer sa répétabilité. Quarante veaux âgés entre 19 et 50 jours ont été sélectionnés dans une ferme de veaux de grain, en fonction des résultats de l'échographie réalisée à la ferme (A). L'échographie a été réalisée une seconde fois par le même échographiste (A') et par un second échographiste (B), et le diagnostic noté pour chaque bulle tympanique comme étant négatif, suspect ou positif. Les images ont été enregistrées pour relecture et le diagnostic noté. Les veaux ont été euthanasiés, soumis en nécropsie et l'histologie a été utilisée comme méthode de référence. À l'histologie, 45 bulles tympaniques étaient atteintes d'otite moyenne et 35 bulles tympaniques étaient saines. Selon l'échographiste et la classification des bulles tympaniques suspectes, la sensibilité de l'échographie variait de 32% à 63% et la spécificité variait de 84% à 100%. La répétabilité était modérée, avec des valeurs de kappa de 0,53 entre A' et B, de 0,48 entre A et A', et de 0,58 et 0,75 pour la relecture de leurs images par A' et B respectivement.

Le trafic de drogue dans les écoles secondaires vu par les jeunes vendeurs

La réalité des marchés de la drogue, opérés par des adolescents sur les lieux mêmes de leur école secondaire, demeure méconnue. L’actuelle recherche fut entreprise avec l’objectif d’explorer cet univers particulier. Pour y parvenir, cette étude a donné la parole à douze jeunes vendeurs adolescents, ayant transigé sur leur lieu d’enseignement. Les quatre objectifs spécifiques, définis au préalable, ont été atteints. Premièrement, selon les propos recueillis de la part des jeunes vendeurs, un phénomène de normalisation de la consommation de cannabis et certaines autres drogues serait bien présent au sein de cette population. Toutefois, les jeunes expliquent que leur définition de « normal » fluctuerait selon leur étape de vie du moment. Deuxièmement, toujours selon la compréhension des adolescents rencontrés, leur implication au sein du trafic de drogue s’expliquerait par trois facteurs: financier, réseautage, prestige et pouvoir. Troisièmement, les jeunes trafiquants rencontrés ont émis leur opinion sur l’efficacité des moyens de répression et de prévention situationnelle instaurés dans les écoles, ainsi que sur leurs astuces pour les déjouer. Ils ont aussi relaté une réalité de violence qui serait présente au sein de ces réseaux. Finalement, les jeunes interviewés ont explicité leur compréhension de l’impact des interventions tentées par l’école secondaire, pour les détourner de leur trajectoire criminelle. La conclusion essentielle de ce mémoire demeure le besoin, exprimé par ces adolescents, d’être encadrés et limités par leur environnement scolaire, parental et autres adultes de leur entourage. Comme il leur serait difficile de se discipliner; ils demandent qu’on les protège d’eux-mêmes.

La culture matérielle de l’Auguste (1761) et le rapatriement de l’élite coloniale au sein de l’État moderne.

Ce mémoire porte sur l’étude de la culture matérielle de l’Auguste, un navire de cartel ayant fait naufrage en 1761 au nord-est de l’île du Cap-Breton, en Nouvelle-Écosse. La date de 1759 marque la conquête de la Nouvelle-France par l’Angleterre. La France perd donc un important territoire. À la suite de la capitulation de Montréal en 1760, un Régime militaire temporaire anglais est mis en place et entraîne le départ de plusieurs membres des classes dirigeantes de la colonie vers la France. Leur rapatriement est effectué au moyen de navires de cartel, c’est-à-dire des vaisseaux voyageant sous drapeau blanc et transportant des « prisonniers », leur famille et leurs avoirs. L’Auguste, un navire marchand d’appartenance britannique, est réquisitionné à Québec comme navire de cartel à l’automne 1761. Un mois après son départ, le navire s’échoue dans la baie d’Aspy et fait naufrage en emportant à la mort la majorité des passagers. Plus de deux siècles après ces événements tragiques, un partenariat entre Parcs Canada et des plongeurs locaux a mené à la réalisation de deux campagnes de fouilles archéologiques à la fin des années 1970 mettant au jour une collection de plus de quatre mille artefacts. L’analyse de cette culture matérielle comprend notamment la mise en contexte de l’histoire et de la découverte du navire et un classement des artefacts selon des catégories fonctionnelles liées à l’archéologie maritime. Les différents niveaux analytiques mènent ultimement à l’intégration des données archéologiques dans la compréhension du rapatriement des élites au sein de l’État moderne et à l’établissement de liens intéressants entre les familles nanties de la colonie et certains artisans de Nouvelle-France. L’étude de l’Auguste a finalement permis de mettre en lumière la fonction de cartel du navire et d’établir et l’organisation maritime d’un voyage transatlantique pour le transport de passagers.

Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Recognition of Facial Expressions with Autoencoders and Convolutional-Nets

Les humains communiquent via différents types de canaux: les mots, la voix, les gestes du corps, des émotions, etc. Pour cette raison, un ordinateur doit percevoir ces divers canaux de communication pour pouvoir interagir intelligemment avec les humains, par exemple en faisant usage de microphones et de webcams. Dans cette thèse, nous nous intéressons à déterminer les émotions humaines à partir d’images ou de vidéo de visages afin d’ensuite utiliser ces informations dans différents domaines d’applications. Ce mémoire débute par une brève introduction à l'apprentissage machine en s’attardant aux modèles et algorithmes que nous avons utilisés tels que les perceptrons multicouches, réseaux de neurones à convolution et autoencodeurs. Elle présente ensuite les résultats de l'application de ces modèles sur plusieurs ensembles de données d'expressions et émotions faciales. Nous nous concentrons sur l'étude des différents types d’autoencodeurs (autoencodeur débruitant, autoencodeur contractant, etc) afin de révéler certaines de leurs limitations, comme la possibilité d'obtenir de la coadaptation entre les filtres ou encore d’obtenir une courbe spectrale trop lisse, et étudions de nouvelles idées pour répondre à ces problèmes. Nous proposons également une nouvelle approche pour surmonter une limite des autoencodeurs traditionnellement entrainés de façon purement non-supervisée, c'est-à-dire sans utiliser aucune connaissance de la tâche que nous voulons finalement résoudre (comme la prévision des étiquettes de classe) en développant un nouveau critère d'apprentissage semi-supervisé qui exploite un faible nombre de données étiquetées en combinaison avec une grande quantité de données non-étiquetées afin d'apprendre une représentation adaptée à la tâche de classification, et d'obtenir une meilleure performance de classification. Finalement, nous décrivons le fonctionnement général de notre système de détection d'émotions et proposons de nouvelles idées pouvant mener à de futurs travaux.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

AutoFACT: An Automatic Functional Annotation and Classification Tool

Affiliation: Centre Robert-Cedergren de l'Université de Montréal en bio-informatique et génomique & Département de biochimie, Université de Montréal

Characterization of the unfolding of a weak focus and modulus of analytic classification

La thèse présente une description géométrique d’un germe de famille générique déployant un champ de vecteurs réel analytique avec un foyer faible à l’origine et son complexifié : le feuilletage holomorphe singulier associé. On montre que deux germes de telles familles sont orbitalement analytiquement équivalents si et seulement si les germes de familles de difféomorphismes déployant la complexification de leurs fonctions de retour de Poincaré sont conjuguées par une conjugaison analytique réelle. Le “caractère réel” de la famille correspond à sa Z2-équivariance dans R^4, et cela s’exprime comme l’invariance du plan réel sous le flot du système laquelle, à son tour, entraîne que l’expansion asymptotique de la fonction de Poincaré est réelle quand le paramètre est réel. Le pullback du plan réel après éclatement par la projection monoidal standard intersecte le feuilletage en une bande de Möbius réelle. La technique d’éclatement des singularités permet aussi de donner une réponse à la question de la “réalisation” d’un germe de famille déployant un germe de difféomorphisme avec un point fixe de multiplicateur égal à −1 et de codimension un comme application de semi-monodromie d’une famille générique déployant un foyer faible d’ordre un. Afin d’étudier l’espace des orbites de l’application de Poincaré, nous utilisons le point de vue de Glutsyuk, puisque la dynamique est linéarisable auprès des points singuliers : pour les valeurs réels du paramètre, notre démarche, classique, utilise une méthode géométrique, soit un changement de coordonée (coordonée “déroulante”) dans lequel la dynamique devient beaucoup plus simple. Mais le prix à payer est que la géométrie locale du plan complexe ambiante devient une surface de Riemann, sur laquelle deux notions de translation sont définies. Après avoir pris le quotient par le relèvement de la dynamique nous obtenons l’espace des orbites, ce qui s’avère être l’union de trois tores complexes plus les points singuliers (l’espace résultant est non-Hausdorff). Les translations, le caractère réel de l’application de Poincaré et le fait que cette application est un carré relient les différentes composantes du “module de Glutsyuk”. Cette propriété implique donc le fait qu’une seule composante de l’invariant Glutsyuk est indépendante.