Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Alternative strategies for deciphering the genetic architecture of childhood Pre-B acute lymphoblastic leukemia

La leucémie lymphoblastique aigüe (LLA) est une maladie génétique complexe. Malgré que cette maladie hématologique soit le cancer pédiatrique le plus fréquent, ses causes demeurent inconnues. Des études antérieures ont démontrées que le risque à la LLA chez l’enfant pourrait être influencé par des gènes agissant dans le métabolisme des xénobiotiques, dans le maintient de l’intégrité génomique et dans la réponse au stress oxydatif, ainsi que par des facteurs environnementaux. Au cours de mes études doctorales, j’ai tenté de disséquer davantage les bases génétiques de la LLA de l’enfant en postulant que la susceptibilité à cette maladie serait modulée, au moins en partie, par des variants génétiques agissant dans deux voies biologiques fondamentales : le point de contrôle G1/S du cycle cellulaire et la réparation des cassures double-brin de l’ADN. En utilisant une approche unique reposant sur l’analyse d’une cohorte cas-contrôles jumelée à une cohorte de trios enfants-parents, j’ai effectué une étude d’association de type gènes/voies biologiques candidats. Ainsi, j’ai évaluer le rôle de variants provenant de la séquence promotrice de 12 gènes du cycle cellulaire et de 7 gènes de la voie de réparation de l’ADN, dans la susceptibilité à la LLA. De tels polymorphismes dans la région promotrice (pSNPs) pourraient perturber la liaison de facteurs de transcription et mener à des différences dans les niveaux d’expression des gènes pouvant influencer le risque à la maladie. En combinant différentes méthodes analytiques, j’ai évalué le rôle de différents mécanismes génétiques dans le développement de la LLA chez l’enfant. J’ai tout d’abord étudié les associations avec gènes/variants indépendants, et des essaies fonctionnels ont été effectués afin d’évaluer l’impact des pSNPs sur la liaison de facteurs de transcription et l’activité promotrice allèle-spécifique. Ces analyses ont mené à quatre publications. Il est peu probable que ces gènes de susceptibilité agissent seuls; j’ai donc utilisé une approche intégrative afin d’explorer la possibilité que plusieurs variants d’une même voie biologique ou de voies connexes puissent moduler le risque de la maladie; ces travaux ont été soumis pour publication. En outre, le développement précoce de la LLA, voir même in utero, suggère que les parents, et plus particulièrement la mère, pourraient jouer un rôle important dans le développement de cette maladie chez l’enfant. Dans une étude par simulations, j’ai évalué la performance des méthodes d’analyse existantes de détecter des effets fœto-maternels sous un design hybride trios/cas-contrôles. J’ai également investigué l’impact des effets génétiques agissant via la mère sur la susceptibilité à la LLA. Cette étude, récemment publiée, fût la première à démontrer que le risque de la leucémie chez l’enfant peut être modulé par le génotype de sa mère. En conclusions, mes études doctorales ont permis d’identifier des nouveaux gènes de susceptibilité pour la LLA pédiatrique et de mettre en évidence le rôle du cycle cellulaire et de la voie de la réparation de l’ADN dans la leucémogenèse. À terme, ces travaux permettront de mieux comprendre les bases génétiques de la LLA, et conduiront au développement d’outils cliniques qui amélioreront la détection, le diagnostique et le traitement de la leucémie chez l’enfant.

Computational prediction of neural progenitor cell fates

Understanding how stem and progenitor cells choose between alternative cell fates is a major challenge in developmental biology. Efforts to tackle this problem have been hampered by the scarcity of markers that can be used to predict cell division outcomes. Here we present a computational method, based on algorithmic information theory, to analyze dynamic features of living cells over time. Using this method, we asked whether rat retinal progenitor cells (RPCs) display characteristic phenotypes before undergoing mitosis that could foretell their fate. We predicted whether RPCs will undergo a self-renewing or terminal division with 99% accuracy, or whether they will produce two photoreceptors or another combination of offspring with 87% accuracy. Our implementation can segment, track and generate predictions for 40 cells simultaneously on a standard computer at 5 min per frame. This method could be used to isolate cell populations with specific developmental potential, enabling previously impossible investigations.

Génération et reconnaissance de rythmes au moyen de réseaux de neurones à réservoir

Les fichiers sons qui accompagne mon document sont au format midi. Le programme que nous avons développés pour ce travail est en language Python.

Une architecture parallèle distribuée et tolérante aux pannes pour le protocole interdomaine BGP au cœur de l’Internet

L’augmentation du nombre d’usagers de l’Internet a entraîné une croissance exponentielle dans les tables de routage. Cette taille prévoit l’atteinte d’un million de préfixes dans les prochaines années. De même, les routeurs au cœur de l’Internet peuvent facilement atteindre plusieurs centaines de connexions BGP simultanées avec des routeurs voisins. Dans une architecture classique des routeurs, le protocole BGP s’exécute comme une entité unique au sein du routeur. Cette architecture comporte deux inconvénients majeurs : l’extensibilité (scalabilité) et la fiabilité. D’un côté, la scalabilité de BGP est mesurable en termes de nombre de connexions et aussi par la taille maximale de la table de routage que l’interface de contrôle puisse supporter. De l’autre côté, la fiabilité est un sujet critique dans les routeurs au cœur de l’Internet. Si l’instance BGP s’arrête, toutes les connexions seront perdues et le nouvel état de la table de routage sera propagé tout au long de l’Internet dans un délai de convergence non trivial. Malgré la haute fiabilité des routeurs au cœur de l’Internet, leur résilience aux pannes est augmentée considérablement et celle-ci est implantée dans la majorité des cas via une redondance passive qui peut limiter la scalabilité du routeur. Dans cette thèse, on traite les deux inconvénients en proposant une nouvelle approche distribuée de BGP pour augmenter sa scalabilité ainsi que sa fiabilité sans changer la sémantique du protocole. L’architecture distribuée de BGP proposée dans la première contribution est faite pour satisfaire les deux contraintes : scalabilité et fiabilité. Ceci est accompli en exploitant adéquatement le parallélisme et la distribution des modules de BGP sur plusieurs cartes de contrôle. Dans cette contribution, les fonctionnalités de BGP sont divisées selon le paradigme « maître-esclave » et le RIB (Routing Information Base) est dupliqué sur plusieurs cartes de contrôle. Dans la deuxième contribution, on traite la tolérance aux pannes dans l’architecture élaborée dans la première contribution en proposant un mécanisme qui augmente la fiabilité. De plus, nous prouvons analytiquement dans cette contribution qu’en adoptant une telle architecture distribuée, la disponibilité de BGP sera augmentée considérablement versus une architecture monolithique. Dans la troisième contribution, on propose une méthode de partitionnement de la table de routage que nous avons appelé DRTP pour diviser la table de BGP sur plusieurs cartes de contrôle. Cette contribution vise à augmenter la scalabilité de la table de routage et la parallélisation de l’algorithme de recherche (Best Match Prefix) en partitionnant la table de routage sur plusieurs nœuds physiquement distribués.

Incorporating complex cells into neural networks for pattern classification

Dans le domaine des neurosciences computationnelles, l'hypothèse a été émise que le système visuel, depuis la rétine et jusqu'au cortex visuel primaire au moins, ajuste continuellement un modèle probabiliste avec des variables latentes, à son flux de perceptions. Ni le modèle exact, ni la méthode exacte utilisée pour l'ajustement ne sont connus, mais les algorithmes existants qui permettent l'ajustement de tels modèles ont besoin de faire une estimation conditionnelle des variables latentes. Cela nous peut nous aider à comprendre pourquoi le système visuel pourrait ajuster un tel modèle; si le modèle est approprié, ces estimé conditionnels peuvent aussi former une excellente représentation, qui permettent d'analyser le contenu sémantique des images perçues. Le travail présenté ici utilise la performance en classification d'images (discrimination entre des types d'objets communs) comme base pour comparer des modèles du système visuel, et des algorithmes pour ajuster ces modèles (vus comme des densités de probabilité) à des images. Cette thèse (a) montre que des modèles basés sur les cellules complexes de l'aire visuelle V1 généralisent mieux à partir d'exemples d'entraînement étiquetés que les réseaux de neurones conventionnels, dont les unités cachées sont plus semblables aux cellules simples de V1; (b) présente une nouvelle interprétation des modèles du système visuels basés sur des cellules complexes, comme distributions de probabilités, ainsi que de nouveaux algorithmes pour les ajuster à des données; et (c) montre que ces modèles forment des représentations qui sont meilleures pour la classification d'images, après avoir été entraînés comme des modèles de probabilités. Deux innovations techniques additionnelles, qui ont rendu ce travail possible, sont également décrites : un algorithme de recherche aléatoire pour sélectionner des hyper-paramètres, et un compilateur pour des expressions mathématiques matricielles, qui peut optimiser ces expressions pour processeur central (CPU) et graphique (GPU).

Effect of mindfulness meditation on the neural substrates of emotion processing and resting state in experienced and beginner meditators

La méditation par le ‘mindfulness’ favorise la stabilité émotionelle, mais les mécanismes neuroneux qui sous-tendent ces effets sont peu connus. Ce projet investiga l’effet du ‘mindfulness’ sur les réponses cérébrales et subjectives à des images négatives, positives et neutres chez des méditants expérimentés et des débutants au moyen de l’imagerie par résonance magnétique fonctionnelle (IRMf). Le ‘mindfulness’ atténua l’intensité émotionelle via différents mécanismes cérébraux pour chaque groupe. Comparés aux méditants, les débutants manifestèrent une déactivation de l’amygdale en réponse aux stimuli émotifs durant le ‘mindfulness’. Comparés aux débutants, les méditants exhibèrent une déactivation de régions du réseau du mode par défaut (RMD) pendant le ‘mindfulness’ pour tous stimuli (cortex médian préfrontal [CMP], cortex cingulaire postérieur [CCP]). Le RMD est constitué de régions fonctionnellement connectées, activées au repos et déactivées lors de tâches explicites. Cependant, nous ne connaissons pas les impacts de l’entraînement par la méditation sur la connectivité entre régions du RMD et si ces effets persistent au-delà d’un état méditatif. La connectivité fonctionnelle entre régions du RMD chez les méditants et débutants au repos fut investiguée au moyen de l’IRMf. Comparés aux débutants, les méditants montrèrent une connectivité affaiblie entre subdivisions du CMP, et une connectivité accrue entre le lobule pariétal inférieur et trois regions du RMD. Ces résultats reflètent que les bienfaits immédiats du ‘mindfulness’ sur la psychopathologie pourraient être dûs à une déactivation de régions limbiques impliquées dans la réactivité émotionelle. De plus, les bienfaits à long-terme de la méditation sur la stabilité émotionelle pourrait être dûs à une déactivation de régions corticales et cingulaires impliquées dans l’évaluation de la signification émotive et une connectivité altérée entre régions du RMD à l’état de repos.

Architecture et mission pédagogique : regards sur le campus de l'Université de Montréal et de l'école des HEC à l'ère d'une société de la connaissance

Toutes les photos présentes dans ce mémoire (sauf indication contraire) ont été réalisées par Dan Antonat (c).

Réseaux de neurones à relaxation entraînés par critère d'autoencodeur débruitant

L’apprentissage machine est un vaste domaine où l’on cherche à apprendre les paramètres de modèles à partir de données concrètes. Ce sera pour effectuer des tâches demandant des aptitudes attribuées à l’intelligence humaine, comme la capacité à traiter des don- nées de haute dimensionnalité présentant beaucoup de variations. Les réseaux de neu- rones artificiels sont un exemple de tels modèles. Dans certains réseaux de neurones dits profonds, des concepts "abstraits" sont appris automatiquement. Les travaux présentés ici prennent leur inspiration de réseaux de neurones profonds, de réseaux récurrents et de neuroscience du système visuel. Nos tâches de test sont la classification et le débruitement d’images quasi binaires. On permettra une rétroac- tion où des représentations de haut niveau (plus "abstraites") influencent des représentations à bas niveau. Cette influence s’effectuera au cours de ce qu’on nomme relaxation, des itérations où les différents niveaux (ou couches) du modèle s’interinfluencent. Nous présentons deux familles d’architectures, l’une, l’architecture complètement connectée, pouvant en principe traiter des données générales et une autre, l’architecture convolutionnelle, plus spécifiquement adaptée aux images. Dans tous les cas, les données utilisées sont des images, principalement des images de chiffres manuscrits. Dans un type d’expérience, nous cherchons à reconstruire des données qui ont été corrompues. On a pu y observer le phénomène d’influence décrit précédemment en comparant le résultat avec et sans la relaxation. On note aussi certains gains numériques et visuels en terme de performance de reconstruction en ajoutant l’influence des couches supérieures. Dans un autre type de tâche, la classification, peu de gains ont été observés. On a tout de même pu constater que dans certains cas la relaxation aiderait à apprendre des représentations utiles pour classifier des images corrompues. L’architecture convolutionnelle développée, plus incertaine au départ, permet malgré tout d’obtenir des reconstructions numériquement et visuellement semblables à celles obtenues avec l’autre architecture, même si sa connectivité est contrainte.

Analyse génétique moléculaire du gène de la voie non-canonique Frizzled/Dishevelled PRICKLE1 dans les anomalies du tube neural chez l’humain

La voie de la polarité planaire cellulaire (PCP), aussi connue sous le nom de la voie non-canonique du Frizzled/Dishevelled, contrôle le processus morphogénétique de l'extension convergente (CE) qui est essentiel pour la gastrulation et la formation du tube neural pendant l'embryogenèse. La signalisation du PCP a été récemment associée avec des anomalies du tube neural (ATN) dans des modèles animaux et chez l'humain. Prickle1 est une protéine centrale de la voie PCP, exprimée dans la ligne primitive et le mésoderme pendant l'embryogenèse de la souris. La perte ou le gain de fonction de Prickle1 mène à des mouvements de CE fautifs chez le poisson zèbre et la grenouille. PRICKLE1 interagit directement avec deux autres membres de la voie PCP, Dishevelled et Strabismus/Vang. Dans notre étude, nous avons investigué le rôle de PRICKLE1 dans l'étiologie des ATN dans une cohorte de 810 patients par le re-séquençage de son cadre de lecture et des jonctions exon-intron. Le potentiel pathogénique des mutations ainsi identifiées a été évalué par des méthodes bioinformatiques, suivi par une validation fonctionnelle in vivo dans un système poisson zèbre. Nous avons identifié dans notre cohorte un total de 9 nouvelles mutations dont sept: p.Ile69Thr, p.Asn81His, p.Thr275Met, p.Arg682Cys et p.Ser739Phe, p.Val550Met et p.Asp771Asn qui affectent des acides aminés conservés. Ces mutations ont été prédites in silico d’affecter la fonction de la protéine et sont absentes dans une large cohorte de contrôles de même origine ethnique. La co-injection de ces variantes avec le gène prickle1a de type sauvage chez l’embryon de poisson zèbre a démontré qu’une mutation, p.Arg682Cys, modifie dans un sens négatif le phénotype du défaut de la CE produit par pk1 de type sauvage. Notre étude démontre que PK1 peut agir comme facteur prédisposant pour les ATN chez l’humain et élargit encore plus nos connaissances sur le rôle des gènes de la PCP dans la pathogenèse de ces malformations.

Investigating the neural substrates mediating visuomotor adaptation : from beginner to expert

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Étude de techniques d'apprentissage non-supervisé pour l'amélioration de l'entraînement supervisé de modèles connexionnistes

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

L’architecture engagée du «Case Study House Program» de la revue Arts and Architecture de 1945 – 1966 : une confluence génératrice

La conception architecturale du logis, individuel ou collectif, est un défi majeur pour les architectes depuis l'avènement de la modernité. Au début du 21ième siècle, la multiplicité des conditions démographiques et celle de la mobilité des personnes sous-tendent la complexité de l'élaboration de prototypes ou de modèles d'habitation. Que peut-on apprendre des expériences menées dans ce domaine après la seconde guerre mondiale aux États-Unis ? Ce mémoire de maîtrise est consacré à l'étude d’un cas particulier celui du programme de création architecturale réalisée en Californie de 1945 à 1966, connu sous le nom de : «Case Study House Program». Ce programme, dirigé par John Entenza, éditeur de la revue Arts and Architecture, rassemblait de nombreux architectes dont les plus célèbres sont Charles et Ray Eames, Richard Neutra, Craig Ellwood et Pierre Koenig, tous auteurs de maisons modernes devenues oeuvres canoniques dans l’histoire de l’architecture. L'analyse détaillé de ce cas et de ses retombées devrait permettre de mieux cerner les aspects suivants: la portée critique du CSHP (case study house program) qui s'opposait aux modèles dominants du marché immobilier, modèles généralement inspirés de styles traditionnels; le potentiel et les limites d'une telle démarche face à la demande sociale; la dimension anticipatrice des propositions du CSHP pour la conception de logis mieux adaptés aux besoins du 21ième siècle, en particulier ceux qui découlent des changements démographiques et de la mobilité géographiques des personnes; la valeur d'exemple du CSHP pour mieux comprendre les fondements de la résistance du public aux innovations architecturales, autant du point de vue technique que du point de vue esthétique.

Architecture et filtres pour la détection des chenaux dans la glace de l'océan Arctique

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Littérature, analyse et forme : l'architecture intertextuelle et transtextuelle du discours littéraire

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal