Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Self-assembly of PS-PVP block copolymers and their complexes at the air/water interface

Une compréhension approfondie et un meilleur contrôle de l'auto-assemblage des copolymères diblocs (séquencés) et de leurs complexes à l'interface air/eau permettent la formation contrôlée de nanostructures dont les propriétés sont connues comme alternative à la nanolithographie. Dans cette thèse, des monocouches obtenues par les techniques de Langmuir et de Langmuir-Blodgett (LB) avec le copolymère dibloc polystyrène-poly(4-vinyl pyridine) (PS-PVP), seul ou complexé avec de petites molécules par liaison hydrogène [en particulier, le 3-n-pentadécylphénol (PDP)], ont été étudiées. Une partie importante de notre recherche a été consacrée à l'étude d'une monocouche assemblée atypique baptisée réseau de nanostries. Des monocouches LB composées de nanostries ont déjà été rapportées dans la littérature mais elles coexistent souvent avec d'autres morphologies, ce qui les rend inutilisables pour des applications potentielles. Nous avons déterminé les paramètres moléculaires et les conditions expérimentales qui contrôlent cette morphologie, la rendant très reproductible. Nous avons aussi proposé un mécanisme original pour la formation de cette morphologie. De plus, nous avons montré que l'utilisation de solvants à haut point d’ébullition, non couramment utilisés pour la préparation des films Langmuir, peut améliorer l'ordre des nanostries. En étudiant une large gamme de PS-PVP avec des rapports PS/PVP et des masses molaires différents, avec ou sans la présence de PDP, nous avons établi la dépendance des types principaux de morphologie (planaire, stries, nodules) en fonction de la composition et de la concentration des solutions. Ces observations ont mené à une discussion sur les mécanismes de formation des morphologies, incluant la cinétique, l’assemblage moléculaire et l’effet du démouillage. Nous avons aussi démontré pour la première fois que le plateau dans l'isotherme des PS-PVP/PDP avec morphologie de type nodules est relié à une transition ordre-ordre des nodules (héxagonal-tétragonal) qui se produit simultanément avec la réorientation du PDP, les deux aspects étant clairement observés par AFM. Ces études ouvrent aussi la voie à l'utilisation de films PS-PVP/PDP ultraminces comme masque. La capacité de produire des films nanostructurés bien contrôlés sur différents substrats a été démontrée et la stabilité des films a été vérifiée. Le retrait de la petite molécule des nanostructures a fait apparaître une structure interne à explorer lors d’études futures.

Bioassay-guided fractionation of Larix laricina du Roi, and antidiabetic potentials of ethanol and hot water extracts of seventeen medicinal plants from the traditional pharmacopeia of the James Bay Cree

Nous avons utilisé une approche ethnobotanique pour identifier des espèces de plantes utilisées par les Cris afin de traiter les symptômes du diabète de type 2. Larix laricina du Roi (L. laricina) a récemment été identifiée comme une des meilleures plantes qui a stimulé le transport de glucose dans les cellules C2C12 et fortement potentialisé la différenciation des 3T3-L1 en indiquant une sensibilité potentiellement accrue à l’insuline. Ensuite, ces études de criblage ont été effectuées sur des extraits éthanolique (EE) en utilisant une série de bioessais in vitro. Cependant, les préparations traditionnelles des plantes sont souvent faites avec l’eau chaude. Le but de cette thèse de doctorat était d’isoler les principes actifs de L. laricina par un fractionnement guidé par l’adipogenèse; d’évaluer et de comparer l’activité et les mécanismes antidiabétiques des EE et des extraits aqueux (HWE) de ces 17 plantes. Pour le fractionnement de L. laricina, on a isolé plusieurs composés connus et identifié un nouveau composé actif cycloartane triterpene, qui a amélioré fortement l’adipogenèse et a été responsable en partie de l’activité adipogénique (potentiellement similaire à l’effet sensibilisateur à l’insuline des glitazone) de l’extrait éthanolique issu de l’écorce de L. laricina. Pour le métabolisme lipidique, nos résultats ont confirmé que 10 parmi les 17 EE ont augmenté la différenciation des adipocytes alors que 2 extraits seulement l’ont inhibée. Les HWE ont montré une faible activité adipogénique ou antiadipogénique. Les EE de R. groenlandicum et K. angustifolia ont le PPAR γ (peroxisome proliferator-activated receptor γ), le SREBP-1 (sterol regulatory element binding protein-1) et le C/EBP (CCAAT-enhancer binding proteins) α, alors que ceux de P. balsamifera et A. incana les ont inhibés. L’effet inhibiteur de P. balsamifera a également été prouvé d’avoir impliqué l’activation de la protéine kinase activée par l’AMP (AMPK). Les EE et HWE de R. groenlandicum ont stimulé les mêmes facteurs de transcription alors que les extraits aqueux d’autres plantes sélectionnées ont perdu ces effets en comparaison avec leurs extraits éthanoliques respectifs. L’analyse phytochimique a également identifié le groupe des espèces actives et inactives, notamment lorsque les espèces ont été séparées par famille de plante. Finalement concernant l’homéostasie de glucose, nos résultats ont confirmé que plusieurs EE ont stimulé le transport de glucose musculaire et inhibé l’activité de la glucose-6-phosphatase (G6Pase) hépatique. Certains des HWE ont partiellement ou complètement perdu ces activités antidiabétiques par rapport aux EE, tandis qu’une seule plante (R.groenlandicum) a juste conservé un potentiel similaire entre les EE et HWE dans les deux essais. Dans les cellules musculaires, les EE de R.groenlandicum, A. incana et S. purpurea ont stimulé le transport de glucose en activant la voie de signalisation de l’AMPK et en augmentant le niveau d’expression des GLUT4. En comparaison avec les EE, les HWE de R.groenlandicum ont montré des activités similaires; les HWE de A. incana ont complètement perdu leur effet sur tous les paramètres étudiés; les HWE de S. purpurea ont activé la voie de l’insuline au lieu de celle de l’AMPK pour augmenter le transport de glucose. Dans les cellules H4IIE, les EE et HWE des 5 plantes ont activé la voie de l’AMPK, et en plus les EE et HWE de 2 plantes ont activé la voie de l’insuline. La quercétine-3-O-galactoside et la quercétine 3-O-α-L-arabinopyranoside ont été identifiées comme des composés ayant un fort potentiel antidiabétique et donc responsables de l'activité biologique des plantes HWE actifs avec le transport du glucose. En conclusion, on a isolé plusieurs composés connus et identifié un nouveau triterpène actif à partir du fractionnement de L. laricina. Nous avons fourni également une preuve directe pour l'évaluation et la comparaison d'une action analogue à l'insuline ou insulino-sensibilisateur des EE et HWE de plantes médicinales Cris au niveau de muscle, de foie et de tissus adipeux. Une partie de leur action peut être liée à la stimulation des voies de signalisation intracellulaire insulino-dépendante et non-insulino-dépendante, ainsi que l’activation de PPARγ. Nos résultats indiquent que les espèces de plantes, les tissus ou les cellules cibles, ainsi que les méthodes d'extraction sont tous des déterminants significatifs de l'activité biologique de plantes médicinales Cris sur le métabolisme glucidique et lipidique.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.