Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Scheduled service network design for integrated planning of rail freight transportation

Cette thèse étudie une approche intégrant la gestion de l’horaire et la conception de réseaux de services pour le transport ferroviaire de marchandises. Le transport par rail s’articule autour d’une structure à deux niveaux de consolidation où l’affectation des wagons aux blocs ainsi que des blocs aux services représentent des décisions qui complexifient grandement la gestion des opérations. Dans cette thèse, les deux processus de consolidation ainsi que l’horaire d’exploitation sont étudiés simultanément. La résolution de ce problème permet d’identifier un plan d’exploitation rentable comprenant les politiques de blocage, le routage et l’horaire des trains, de même que l’habillage ainsi que l’affectation du traffic. Afin de décrire les différentes activités ferroviaires au niveau tactique, nous étendons le réseau physique et construisons une structure de réseau espace-temps comprenant trois couches dans lequel la dimension liée au temps prend en considération les impacts temporels sur les opérations. De plus, les opérations relatives aux trains, blocs et wagons sont décrites par différentes couches. Sur la base de cette structure de réseau, nous modélisons ce problème de planification ferroviaire comme un problème de conception de réseaux de services. Le modèle proposé se formule comme un programme mathématique en variables mixtes. Ce dernie r s’avère très difficile à résoudre en raison de la grande taille des instances traitées et de sa complexité intrinsèque. Trois versions sont étudiées : le modèle simplifié (comprenant des services directs uniquement), le modèle complet (comprenant des services directs et multi-arrêts), ainsi qu’un modèle complet à très grande échelle. Plusieurs heuristiques sont développées afin d’obtenir de bonnes solutions en des temps de calcul raisonnables. Premièrement, un cas particulier avec services directs est analysé. En considérant une cara ctéristique spécifique du problème de conception de réseaux de services directs nous développons un nouvel algorithme de recherche avec tabous. Un voisinage par cycles est privilégié à cet effet. Celui-ci est basé sur la distribution du flot circulant sur les blocs selon les cycles issus du réseau résiduel. Un algorithme basé sur l’ajustement de pente est développé pour le modèle complet, et nous proposons une nouvelle méthode, appelée recherche ellipsoidale, permettant d’améliorer davantage la qualité de la solution. La recherche ellipsoidale combine les bonnes solutions admissibles générées par l’algorithme d’ajustement de pente, et regroupe les caractéristiques des bonnes solutions afin de créer un problème élite qui est résolu de facon exacte à l’aide d’un logiciel commercial. L’heuristique tire donc avantage de la vitesse de convergence de l’algorithme d’ajustement de pente et de la qualité de solution de la recherche ellipsoidale. Les tests numériques illustrent l’efficacité de l’heuristique proposée. En outre, l’algorithme représente une alternative intéressante afin de résoudre le problème simplifié. Enfin, nous étudions le modèle complet à très grande échelle. Une heuristique hybride est développée en intégrant les idées de l’algorithme précédemment décrit et la génération de colonnes. Nous proposons une nouvelle procédure d’ajustement de pente où, par rapport à l’ancienne, seule l’approximation des couts liés aux services est considérée. La nouvelle approche d’ajustement de pente sépare ainsi les décisions associées aux blocs et aux services afin de fournir une décomposition naturelle du problème. Les résultats numériques obtenus montrent que l’algorithme est en mesure d’identifier des solutions de qualité dans un contexte visant la résolution d’instances réelles.

Impacts potentiels d’un changement climatique sur le pergélisol dans le nord canadien

Les fichiers video (d'animation) sont dans un format Windows Media (.wmv)

Genome wide search for genetic determinants of habitual alcohol, tobacco and coffee use, obesity-related traits, response to mental and physical stress and hemodynamic traits

Les habitudes de consommation de substances psychoactives, le stress, l’obésité et les traits cardiovasculaires associés seraient en partie reliés aux mêmes facteurs génétiques. Afin d’explorer cette hypothèse, nous avons effectué, chez 119 familles multi-générationnelles québécoises de la région du Saguenay-Lac-St-Jean, des études d’association et de liaison pangénomiques pour les composantes génétiques : de la consommation usuelle d’alcool, de tabac et de café, de la réponse au stress physique et psychologique, des traits anthropométriques reliés à l’obésité, ainsi que des mesures du rythme cardiaque (RC) et de la pression artérielle (PA). 58000 SNPs et 437 marqueurs microsatellites ont été utilisés et l’annotation fonctionnelle des gènes candidats identifiés a ensuite été réalisée. Nous avons détecté des corrélations phénotypiques significatives entre les substances psychoactives, le stress, l’obésité et les traits hémodynamiques. Par exemple, les consommateurs d’alcool et de tabac ont montré un RC significativement diminué en réponse au stress psychologique. De plus, les consommateurs de tabac avaient des PA plus basses que les non-consommateurs. Aussi, les hypertendus présentaient des RC et PA systoliques accrus en réponse au stress psychologique et un indice de masse corporelle (IMC) élevé, comparativement aux normotendus. D’autre part, l’utilisation de tabac augmenterait les taux corporels d’épinéphrine, et des niveaux élevés d’épinéphrine ont été associés à des IMC diminués. Ainsi, en accord avec les corrélations inter-phénotypiques, nous avons identifié plusieurs gènes associés/liés à la consommation de substances psychoactives, à la réponse au stress physique et psychologique, aux traits reliés à l’obésité et aux traits hémodynamiques incluant CAMK4, CNTN4, DLG2, DAG1, FHIT, GRID2, ITPR2, NOVA1, NRG3 et PRKCE. Ces gènes codent pour des protéines constituant un réseau d’interactions, impliquées dans la plasticité synaptique, et hautement exprimées dans le cerveau et ses tissus associés. De plus, l’analyse des sentiers de signalisation pour les gènes identifiés (P = 0,03) a révélé une induction de mécanismes de Potentialisation à Long Terme. Les variations des traits étudiés seraient en grande partie liées au sexe et au statut d’hypertension. Pour la consommation de tabac, nous avons noté que le degré et le sens des corrélations avec l’obésité, les traits hémodynamiques et le stress sont spécifiques au sexe et à la pression artérielle. Par exemple, si des variations ont été détectées entre les hommes fumeurs et non-fumeurs (anciens et jamais), aucune différence n’a été observée chez les femmes. Nous avons aussi identifié de nombreux traits reliés à l’obésité dont la corrélation avec la consommation de tabac apparaît essentiellement plus liée à des facteurs génétiques qu’au fait de fumer en lui-même. Pour le sexe et l’hypertension, des différences dans l’héritabilité de nombreux traits ont également été observées. En effet, des analyses génétiques sur des sous-groupes spécifiques ont révélé des gènes additionnels partageant des fonctions synaptiques : CAMK4, CNTN5, DNM3, KCNAB1 (spécifique à l’hypertension), CNTN4, DNM3, FHIT, ITPR1 and NRXN3 (spécifique au sexe). Ces gènes codent pour des protéines interagissant avec les protéines de gènes détectés dans l’analyse générale. De plus, pour les gènes des sous-groupes, les résultats des analyses des sentiers de signalisation et des profils d’expression des gènes ont montré des caractéristiques similaires à celles de l’analyse générale. La convergence substantielle entre les déterminants génétiques des substances psychoactives, du stress, de l’obésité et des traits hémodynamiques soutiennent la notion selon laquelle les variations génétiques des voies de plasticité synaptique constitueraient une interface commune avec les différences génétiques liées au sexe et à l’hypertension. Nous pensons, également, que la plasticité synaptique interviendrait dans de nombreux phénotypes complexes influencés par le mode de vie. En définitive, ces résultats indiquent que des approches basées sur des sous-groupes et des réseaux amélioreraient la compréhension de la nature polygénique des phénotypes complexes, et des processus moléculaires communs qui les définissent.