Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Homéostasie des histones en réponse au dommage à l’ADN et étude d’inhibiteurs de désacétylases d’importance clinique

La chromatine possède une plasticité complexe et essentielle pour répondre à différents mécanismes cellulaires fondamentaux tels la réplication, la transcription et la réparation de l’ADN. Les histones sont les constituants essentiels de la formation des nucléosomes qui assurent le bon fonctionnement cellulaire d’où l’intérêt de cette thèse d’y porter une attention particulière. Un dysfonctionnement de la chromatine est souvent associé à l’émergence du cancer. Le chapitre II de cette thèse focalise sur la répression transcriptionnelle des gènes d’histones par le complexe HIR (HIstone gene Repressor) en réponse au dommage à l'ADN chez Saccharomyces cerevisiae. Lors de dommage à l’ADN en début de phase S, les kinases du point de contrôle Mec1, Tel1 et Rad53 s’assurent de bloquer les origines tardives de réplication pour limiter le nombre de collisions potentiellement mutagéniques ou cytotoxiques entre les ADN polymérases et les lésions persistantes dans l'ADN. Lorsque la synthèse totale d’ADN est soudainement ralentie par le point de contrôle, l’accumulation d'un excès d'histones nouvellement synthétisées est néfaste pour les cellules car les histones libres se lient de manière non-spécifique aux acides nucléiques. L'un des mécanismes mis en place afin de minimiser la quantité d’histones libres consiste à réprimer la transcription des gènes d'histones lors d'une chute rapide de la synthèse d'ADN, mais les bases moléculaires de ce mécanisme étaient très mal connues. Notre étude sur la répression des gènes d’histones en réponse aux agents génotoxiques nous a permis d’identifier que les kinases du point de contrôle jouent un rôle dans la répression des gènes d’histones. Avant le début de mon projet, il était déjà connu que le complexe HIR est requis pour la répression des gènes d’histones en phase G1, G2/M et lors de dommage à l’ADN en phase S. Par contre, la régulation du complexe HIR en réponse au dommage à l'ADN n'était pas connue. Nous avons démontré par des essais de spectrométrie de masse (SM) que Rad53 régule le complexe HIR en phosphorylant directement une de ses sous-unités, Hpc2, à de multiples résidus in vivo et in vitro. La phosphorylation d’Hpc2 est essentielle pour le recrutement aux promoteurs de gènes d’histones du complexe RSC (Remodels the Structure of Chromatin) dont la présence sur les promoteurs des gènes d'histones corrèle avec leur répression. De plus, nous avons mis à jour un nouveau mécanisme de régulation du complexe HIR durant la progression normale à travers le cycle cellulaire ainsi qu'en réponse aux agents génotoxiques. En effet, durant le cycle cellulaire normal, la protéine Hpc2 est très instable durant la transition G1/S afin de permettre la transcription des gènes d’histones et la production d'un pool d'histones néo-synthétisées juste avant l'initiation de la réplication de l’ADN. Toutefois, Hpc2 n'est instable que pour une brève période de temps durant la phase S. Ces résultats suggèrent qu'Hpc2 est une protéine clef pour la régulation de l'activité du complexe HIR et la répression des gènes d’histones lors du cycle cellulaire normal ainsi qu'en réponse au dommage à l’ADN. Dans le but de poursuivre notre étude sur la régulation des histones, le chapitre III de ma thèse concerne l’analyse globale de l’acétylation des histones induite par les inhibiteurs d’histone désacétylases (HDACi) dans les cellules normales et cancéreuses. Les histones désacétylases (HDACs) sont les enzymes qui enlèvent l’acétylation sur les lysines des histones. Dans plusieurs types de cancers, les HDACs contribuent à l’oncogenèse par leur fusion aberrante avec des complexes protéiques oncogéniques. Les perturbations causées mènent souvent à un état silencieux anormal des suppresseurs de tumeurs. Les HDACs sont donc une cible de choix dans le traitement des cancers engendrés par ces protéines de fusion. Notre étude de l’effet sur l’acétylation des histones de deux inhibiteurs d'HDACs de relevance clinique, le vorinostat (SAHA) et l’entinostat (MS-275), a permis de démontrer une augmentation élevée de l’acétylation globale des histones H3 et H4, contrairement à H2A et H2B, et ce, autant chez les cellules normales que cancéreuses. Notre quantification en SM de l'acétylation des histones a révélé de façon inattendue que la stœchiométrie d'acétylation sur la lysine 56 de l’histone H3 (H3K56Ac) est de seulement 0,03% et, de manière surprenante, cette stœchiométrie n'augmente pas dans des cellules traitées avec différents HDACi. Plusieurs études de H3K56Ac chez l’humain présentes dans la littérature ont rapporté des résultats irréconciliables. Qui plus est, H3K56Ac était considéré comme un biomarqueur potentiel dans le diagnostic et pronostic de plusieurs types de cancers. C’est pourquoi nous avons porté notre attention sur la spécificité des anticorps utilisés et avons déterminé qu’une grande majorité d’anticorps utilisés dans la littérature reconnaissent d’autres sites d'acétylation de l’histone H3, notamment H3K9Ac dont la stœchiométrie d'acétylation in vivo est beaucoup plus élevée que celle d'H3K56Ac. De plus, le chapitre IV fait suite à notre étude sur l’acétylation des histones et consiste en un rapport spécial de recherche décrivant la fonction de H3K56Ac chez la levure et l’homme et comporte également une évaluation d’un anticorps supposément spécifique d'H3K56Ac en tant qu'outil diagnostic du cancer chez l’humain.

Space and time characterization of laser-induced plasmas for applications in chemical analysis and thin film deposition

Après des décennies de développement, l'ablation laser est devenue une technique importante pour un grand nombre d'applications telles que le dépôt de couches minces, la synthèse de nanoparticules, le micro-usinage, l’analyse chimique, etc. Des études expérimentales ainsi que théoriques ont été menées pour comprendre les mécanismes physiques fondamentaux mis en jeu pendant l'ablation et pour déterminer l’effet de la longueur d'onde, de la durée d'impulsion, de la nature de gaz ambiant et du matériau de la cible. La présente thèse décrit et examine l'importance relative des mécanismes physiques qui influencent les caractéristiques des plasmas d’aluminium induits par laser. Le cadre général de cette recherche forme une étude approfondie de l'interaction entre la dynamique de la plume-plasma et l’atmosphère gazeuse dans laquelle elle se développe. Ceci a été réalisé par imagerie résolue temporellement et spatialement de la plume du plasma en termes d'intensité spectrale, de densité électronique et de température d'excitation dans différentes atmosphères de gaz inertes tel que l’Ar et l’He et réactifs tel que le N2 et ce à des pressions s’étendant de 10‾7 Torr (vide) jusqu’à 760 Torr (pression atmosphérique). Nos résultats montrent que l'intensité d'émission de plasma dépend généralement de la nature de gaz et qu’elle est fortement affectée par sa pression. En outre, pour un délai temporel donné par rapport à l'impulsion laser, la densité électronique ainsi que la température augmentent avec la pression de gaz, ce qui peut être attribué au confinement inertiel du plasma. De plus, on observe que la densité électronique est maximale à proximité de la surface de la cible où le laser est focalisé et qu’elle diminue en s’éloignant (axialement et radialement) de cette position. Malgré la variation axiale importante de la température le long du plasma, on trouve que sa variation radiale est négligeable. La densité électronique et la température ont été trouvées maximales lorsque le gaz est de l’argon et minimales pour l’hélium, tandis que les valeurs sont intermédiaires dans le cas de l’azote. Ceci tient surtout aux propriétés physiques et chimiques du gaz telles que la masse des espèces, leur énergie d'excitation et d'ionisation, la conductivité thermique et la réactivité chimique. L'expansion de la plume du plasma a été étudiée par imagerie résolue spatio-temporellement. Les résultats montrent que la nature de gaz n’affecte pas la dynamique de la plume pour des pressions inférieures à 20 Torr et pour un délai temporel inférieur à 200 ns. Cependant, pour des pressions supérieures à 20 Torr, l'effet de la nature du gaz devient important et la plume la plus courte est obtenue lorsque la masse des espèces du gaz est élevée et lorsque sa conductivité thermique est relativement faible. Ces résultats sont confirmés par la mesure de temps de vol de l’ion Al+ émettant à 281,6 nm. D’autre part, on trouve que la vitesse de propagation des ions d’aluminium est bien définie juste après l’ablation et près de la surface de la cible. Toutefois, pour un délai temporel important, les ions, en traversant la plume, se thermalisent grâce aux collisions avec les espèces du plasma et du gaz.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Modélisation de l’activité électrique des oreillettes avant et après ablation par cathéter

- Réalisé au centre de recherche de l'hospital du Sacré-Coeur de Montréal. - Programme conjoint entre Université de Montréal et École Polytechnique de Montréal.

L’infini dans la théorie ergodique

En mécanique statistique, un système physique est représenté par un système mécanique avec un très grand nombre de degrés de liberté. Ce qui est expérimentalement accessible, croit-on, se limite à des moyennes temporelles sur de longues périodes. Or, il est bien connu qu’un système physique tend vers un équilibre thermodynamique. Ainsi, les moyennes temporelles censées représenter les résultats de mesure doivent être indépendantes du temps. C’est pourquoi elles sont associées à des temps infinis. Ces moyennes sont par contre difficilement analysables, et c’est pourquoi la moyenne des phases est utilisée. La justification de l’égalité de la moyenne temporelle infinie et de la moyenne des phases est le problème ergodique. Ce problème, sous une forme ou une autre, a fait l’objet d’études de la part de Boltzmann (1868 ; 1872), les Ehrenfest (1912), Birkhoff (1831), Khinchin (1949), et bien d’autres, jusqu’à devenir une théorie à part entière en mathématique (Mackey 1974). Mais l’introduction de temps infinis pose des problèmes physiques et philosophiques d’importance. En effet, si l’infini a su trouver une nouvelle place dans les mathématiques cantoriennes, sa place en physique n’est pas aussi assurée. Je propose donc de présenter les développements conceptuels entourant la théorie ergodique en mécanique statistique avant de me concentrer sur les problèmes épistémologiques que soulève la notion d’infini dans ces mêmes développements.