Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Étude du transcriptome des cellules non tumorales de l’épithélium de surface de l’ovaire des femmes porteuses d’une mutation des gènes BRCA1 et BRCA2

Nous avons étudié le transcriptome de neuf échantillons d'ARN extraits de cultures primaires de cellules non tumorales de l’épithélium de surface de l’ovaire (NOSE) provenant de quatre donneuses non porteuses de mutation, deux mutées sur BRCA1 et trois sur BRCA2, ainsi que de quatre échantillons d’ARN extraits de cultures primaires de cellules tumorales de l’ovaire (TOV) provenant de trois donneuses porteuses de mutation sur BRCA1 et une sur BRCA2. Nous avons identifié, pour la première fois, les signatures moléculaires associées à la présence d’une mutation de BRCA1 et BRCA2 dans les cellules NOSEs ainsi que la signature associée à la transformation tumorale des cellules NOSEs en TOVs chez les porteuses de mutation de BRCA1. Nous avons également localisé les domaines chromosomiques comportant des gènes corégulés en association avec la présence d’une mutation de BRCA1 dans les cellules NOSEs. Les allèles sauvage et muté de BRCA2 étaient exprimés dans les cellules TOVs provenant des porteuses de la mutation 8765delAG sur BRCA2. Nous avons observé que le niveau d’expression des transcrits de BRCA2 était plus élevé dans les cellules provenant des tumeurs ovariennes les plus agressives chez les femmes porteuses de la mutation 8765delAG sur BRCA2, les transcrits correspondants à l’allèle muté contribuant avec un pourcentage élevé du niveau d’expression total du gène. Le phénotype tumoral observé chez les Canadiennes Françaises porteuses de cette mutation pourrait résulter d’un effet de dosage de l’allèle muté.