Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Excitonic behaviour in polymeric semiconductors : the effect of morphology and composition in heterostructures

La compréhension des interrelations entre la microstructure et les processus électroniques dans les polymères semi-conducteurs est d’une importance primordiale pour leur utilisation dans des hétérostructures volumiques. Dans cette thèse de doctorat, deux systémes diffèrents sont étudiés ; chacun de ces systèmes représente une approche diffèrente pour optimiser les matériaux en termes de leur microstructure et de leur capacité à se mettre en ordre au niveau moléculaire. Dans le premier système, j’ai effectué une analyse complète des principes de fonctionnement d’une cellule photovoltaïque hybride à base des nanocristaux d’oxyde de zinc (ZnO) et du poly (3-hexylthiophène) (P3HT) par absorption photoinduite en régime quasi-stationnaire (PIA) et la spectroscopie PIA en pompage modulé dépendant de la fréquence. L’interface entre le donneur (le polymère P3HT) et l’accepteur (les nanoparticules de ZnO), où la génération de charges se produit, joue un rôle important dans la performance des cellules photovoltaïques hybrides. Pour améliorer le mécanisme de génération de charges du P3H: ZnO, il est indispensable de modifier l’interface entre ses constituants. Nous avons démontré que la modification d’interface moléculaire avec cis-bis (4, 40 - dicarboxy-2, 20bipyridine) ruthénium (II) (N3-dye) et a-Sexithiophen-2 yl-phosphonique (6TP) a améliorée le photocourant et la performance dans les cellules P3HT: ZnO. Le 6TP et le N3 s’attachent à l’interface du ZnO, en augmentant ainsi l’aire effective de la surface donneur :accepteur, ce qui contribue à une séparation de charge accrue. De plus, le 6TP et le N3 réduisent la densité de pièges dans le ZnO, ce qui réduit le taux de recombinaison des paires de charges. Dans la deuxième partie, jai introduit une matrice hôte polymérique de polystyréne à masse molaire ulra-élevée, qui se comporte comme un solide pour piéger et protéger une solution de poly [2-méthoxy, 5- (2´-éthyl-hexoxy) -1,4-phénylènevinylène- PPV] (MEHPPV) pour utilisation dans des dispositifs optoèlectroniques quantiques. Des travaux antérieurs ont montré que MEH-PPV en solution subit une transition de conformation, d’une conformation enroulé à haute température (phase bleue) à une conformation de chaîne étendue à basse température (phase rouge). La conformation de la chaîne étendue de la solution MEH-PPV favorise les caractéristiques nécessaires à l’amélioration des dispositifs optoélectroniques quantiques, mais la solution ne peut pas être incorporées dans le dispositif. J’ai démontré que la caractéristique de la phase rouge du MEH-PPV en solution se maintient dans une matrice hôte polymérique de polystyrène transformé de masse molaire très élevée, qui se comporte comme un solide (gel de MEH-PPV/UHMW PS), par le biais de la spectroscopie de photoluminescence (PL) dépendant de la température (de 290K à 80 K). La phase rouge du gel MEH-PPV/UHMW PS se manifeste par des largeurs de raie étroites et une intensité augmentée de la transition 0-0 de la progression vibronique dans le spectre de PL ainsi qu’un petit décalage de Stokes entre la PL et le spectre d’absorption à basse température. Ces approches démontrent que la manipulation de la microstructure et des propriétés électroniques des polymères semi-conducteurs ont un impact direct sur la performance de dispositifs pour leurs développements technologiques continus.

Expression profile of plasticity-related mRNAs in the cortex and hippocampus of young and aged rats and of 3xTg and wild type mice

De récents travaux ont mis en évidence que des dysfonctionnements dans l’expression de gènes impliqués dans la plasticité synaptique contribuent aux déclins cognitifs qu’on observe chez les gens âgés et à la progression de la maladie d’Alzheimer. Notre étude avait comme objectif d’étudier le profil d’expression d’ARNm spécifiques impliqués dans la plasticité synaptique chez des rats jeunes et âgés et chez des souris transgéniques 3xTg et WT. Des expériences en qRT-PCR ont été effectuées dans des extraits de cortex et d’hippocampe de rats jeunes et âgés et de souris 3xTg et WT, respectivement. Les résultats ont démontré une augmentation significative de l’expression d’ARNm MAP1B, Stau2, BDNF, CREB et AGO2 principalement dans l’hippocampe (régions CA1-CA3) des souris 3xTg comparé aux souris WT. Une diminution significative a également été observée pour l’ARNm αCaMKII dans le cortex des souris 3xTg comparé aux souris WT. Contrairement à ces observations, aucun changement n’a été observé pour l’expression de gènes impliqués dans la plasticité synaptique chez les rats âgés comparé aux rats jeunes. Ces résultats démontrent qu’un dysfonctionnement existe réellement au début de la maladie d’Alzheimer dans l’expression de gènes spécifiques impliqués dans la plasticité synaptique et contribue potentiellement à la progression de la maladie en engendrant un déséquilibre entre la LTP et la LTD. De plus, les différences d’expressions sont particulièrement observées dans l’hippocampe (régions CA1-CA3) ce qui est consistant avec les études sur la progression de la maladie d’Alzheimer puisqu’il est connu que la région CA1 de l’hippocampe est la plus vulnérable à l’apparition de la maladie. Ces résultats permettent une meilleure compréhension des événements moléculaires qui deviennent dérégulés à l’apparition de la maladie d’Alzheimer.

The role of ubiquitination and deubiquitination in the regulation of BRCA1 function during genotoxic stress

BRCA1 est un suppresseur de tumeur majeur jouant un rôle dans la transcription, la réparation de l’ADN et le maintien de la stabilité génomique. En effet, des mutations dans le gène BRCA1 augmentent considerablement le risque de cancers du sein et de l’ovaire. BRCA1 a été en majorité caractérisé pour son rôle dans la réparation de l’ADN par la voie de recombinaison homologue (HR) en présence de bris double brins, par example, induits par l’irradiation gamma (IR). Cependant, la fonction de BRCA1 dans d’autres voies de réparation de l’ADN, comme la réparation par excision de nucléotides (NER) ou par excision de base (BER), demeurent toutefois obscures. Il est donc important de comprendre la régulation de BRCA1 en présence d’agents génotoxiques comme le méthyle méthanesulfonate (MMS) ou l’UV, qui promouvoient le BER et le NER respectivement. Nos observations suggèrent que BRCA1 est dégradée par le protéasome après traitement avec le MMS ou les UV, et non avec l’IR. Par ailleurs, cette dégradation semble compromettre le recrutement de Rad51, suggérant que la voie de HR est inhibée. Nos résultats suggèrent que la HR est inhibée afin d’éviter l’activation simultanée de multiples voies de réparation. Nous avons aussi observé que la dégradation BRCA1 est réversible et que la restauration des niveaux de BRCA1 coïncide avec le recrutement de Rad51 aux sites de dommages. Cela suggère que la HR est réactivée tardivement par les bris double brins générés suite à l’effondrement des fourches de réplication. Ayant observé que BRCA1 est hautement régulé par l’ubiquitination et est ciblé par le protéasome pour dégradation, nous avons émis une hypothèse que BRCA1 est régulé par des déubiquitinases. Cela amène à caractériser plus en profondeur par un criblage en déplétant les déubiquitinases individuellement par RNAi et en observant leur effet sur le recrutement de BRCA1 et des protéines reliées à cette voie. Un criblage préliminaire nous a permi d’identifié candidats potentiels tel que BAP1, CXORF53, DUB3, OTUB1 et USP36.