Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Les interconnexions électriques entre la France et ses voisins européens depuis 1970 : un vecteur méconnu de l'intégration européenne

Les ouvrages de transport d’électricité ont d’abord été pensés un par un, reliant un excédent de production à un besoin de consommation. Ils ont ainsi parfois très naturellement et dès l’origine traversé les frontières des États pour répondre à leur raison d’être. Les secteurs électriques se structurant fortement lorsque le virage électrique fut pris, les interconnexions entre pays furent conçues par les techniciens comme une mesure élémentaire de sûreté et d’équilibre de ce produit atypique qu’est l’électricité. En France plus particulièrement, lorsque la production électronucléaire se développa à partir des années 1970, ces interconnexions devinrent petit à petit sources de revenus pour l’entreprise nationale, et d’équilibre pour la balance commerciale nationale. L’intérêt grandissant porté au secteur électrique par les institutions européennes à la fin des années 1990 vient ébranler les acteurs économiques géographiques verticaux, et rebat les cartes des enjeux à adresser à une maille plus large que l’État nation. Dans ces transformations successives, les interconnexions aux frontières, et particulièrement aux frontières françaises, jouent ainsi un rôle tout à fait spécifique et de plus en plus structurant pour les économies ouvertes des pays européens. Les réseaux de transport électriques continuent ainsi une mutation entamée dans les années 1970 qui les a conduits de la condition de mal nécessaire à celle de vecteurs indispensables de transformation des économies européennes. L’objet de ce mémoire est d’illustrer la très grande capacité d’adaptation de ces organes industriels, économiques, sociétaux et politiques, dont on pourrait faussement penser qu’ils sont immobilisés par leur nature capitalistique, à travers les enjeux portés par les interconnexions aux frontières françaises. Les sources sont à la fois issues de données des opérateurs techniques, de la documentation – encore peu fréquente – sur ces sujets, ainsi que des statistiques officielles du ministère français. Cette capacité d’innovation et de développement de « couches de services » permet aujourd’hui aux grands réseaux de transport de traverser les époques et la variabilité des orientations de leurs environnements, durablement.

Publics, visibilité et reconnaissance en art contemporain : étude du cas de Ai Weiwei

Pour respecter les droits d’auteur, la version électronique de ce mémoire a été dépouillée de certains documents visuels et audio-visuels. La version intégrale du mémoire a été déposée au Service de la gestion des documents et des archives de l'Université de Montréal.

Le processus de thermo-érosion du pergélisol dans la zone de pergélisol continu

Les polygones à coin de glace sont très répandus dans la zone du pergélisol continu. Lorsque le ruissellement d’eau de fonte nivale s’infiltre de façon concentrée dans une cavité, il peut initier le processus de thermo-érosion du pergélisol (notamment des coins de glace) pouvant mener à la formation de ravins. Dans la vallée de Qalikturvik sur l’Ile Bylot (NU, Canada), le développement de ravins de thermo-érosion dans un milieu de polygones à coins de glace entraîne comme impact : i. la réorganisation des réseaux de drainage impliquant un assèchement des milieux humides en marge des chenaux d’érosion, ii. des variations dans le régime thermique et de l’humidité de proche-surface et iii. la prise en charge et le déplacement des sédiments vers l’extérieur du bassin-versant. L’objectif de cette thèse vise à approfondir les connaissances géomorphologiques propres au ravinement par thermo-érosion, d’examiner, caractériser et quantifier les impacts du ravinement (tel que sus-mentionné en i. ii. iii.) et le rôle de celui-ci dans une optique d’évolution du paysage périglaciaire à l’échelle temporelle de l’année à la décennie. Les ravins sont dynamiques : un ravin en particulier déclenché en 1999 et étudié depuis s’érodait à une vitesse de 38 à 50 m/a durant sa première décennie d’existence, pour atteindre une longueur totale de ~750 m et une surface érodée de ~25 000 m² en 2009. Des puits sont localisés près des zones de ravinement actives ; des levées alluviale, mares et polygones effondrés dans les zones stabilisées post-perturbation. Sur la terrasse de polygones recouvrant le plancher de la vallée au site à l’étude, 35 ravins furent identifiés et 1401 polygones furent perturbés avec 200 000 m³ de sols transportés. Une amélioration du drainage, une dégradation de la capacité de rétention de l’humidité, une transition d’un écoulement de ruissellement vers un écoulement canalisé caractérise les aires ravinées et leurs environs. Les polygones intacts sont homogènes d’un à l’autre et dans leurs centres ; les polygones perturbés ont une réponse hétérogène (flore, humidité et régime thermique). Les milieux érodés hétérogènes succèdent aux milieux homogènes et deviennent le nouvel état d’équilibre pour plusieurs décennies.

Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

Étude des mécanismes de localisation auditive et de leur plasticité dans le cortex auditif humain.

Pouvoir déterminer la provenance des sons est fondamental pour bien interagir avec notre environnement. La localisation auditive est une faculté importante et complexe du système auditif humain. Le cerveau doit décoder le signal acoustique pour en extraire les indices qui lui permettent de localiser une source sonore. Ces indices de localisation auditive dépendent en partie de propriétés morphologiques et environnementales qui ne peuvent être anticipées par l'encodage génétique. Le traitement de ces indices doit donc être ajusté par l'expérience durant la période de développement. À l’âge adulte, la plasticité en localisation auditive existe encore. Cette plasticité a été étudiée au niveau comportemental, mais on ne connaît que très peu ses corrélats et mécanismes neuronaux. La présente recherche avait pour objectif d'examiner cette plasticité, ainsi que les mécanismes d'encodage des indices de localisation auditive, tant sur le plan comportemental, qu'à travers les corrélats neuronaux du comportement observé. Dans les deux premières études, nous avons imposé un décalage perceptif de l’espace auditif horizontal à l’aide de bouchons d’oreille numériques. Nous avons montré que de jeunes adultes peuvent rapidement s’adapter à un décalage perceptif important. Au moyen de l’IRM fonctionnelle haute résolution, nous avons observé des changements de l’activité corticale auditive accompagnant cette adaptation, en termes de latéralisation hémisphérique. Nous avons également pu confirmer l’hypothèse de codage par hémichamp comme représentation de l'espace auditif horizontal. Dans une troisième étude, nous avons modifié l’indice auditif le plus important pour la perception de l’espace vertical à l’aide de moulages en silicone. Nous avons montré que l’adaptation à cette modification n’était suivie d’aucun effet consécutif au retrait des moulages, même lors de la toute première présentation d’un stimulus sonore. Ce résultat concorde avec l’hypothèse d’un mécanisme dit de many-to-one mapping, à travers lequel plusieurs profils spectraux peuvent être associés à une même position spatiale. Dans une quatrième étude, au moyen de l’IRM fonctionnelle et en tirant profit de l’adaptation aux moulages de silicone, nous avons révélé l’encodage de l’élévation sonore dans le cortex auditif humain.

L'image principale de profil, symbole de l'individu connecté

Depuis le début du XXIe siècle, un type particulier d’images a envahi l’espace public constitué par Internet : il s’agit des images principales de profil, ces images que les utilisateurs de sites de réseaux sociaux choisissent pour les représenter auprès des autres individus connectés. Comme le plus souvent il s’agit d’une image du corps de celui ou celle qui s’affiche ainsi, il est intéressant de s’intéresser à cette pratique en la rattachant à des pratiques plus anciennes. Dans un premier temps, cette étude présente donc une perspective socio-historique en notant la ressemblance de la pratique de l’image principale de profil avec celle de l’autoportrait et du portrait commandé. Cela permet de remarquer plusieurs points de rupture ou d’inflexion dans l’usage de ce type d’images, mais aussi d’en dégager les usages sociaux typiques. Ensuite, l’observation d’un lieu particulier d’Internet permet de tirer les conclusions suivantes : si l’usage principal de ces images est facile à expliquer, elles servent à symboliser une présence dans des lieux non accessibles aux corps sensibles, ces images montrent toujours des éléments qui permettent de déduire une position sociale et elles sont fondamentalement identiques aux images produites avant Internet. Ensuite, l’étude de ces images montre qu’il y a un véritable continuum dans la manière de dévoiler son intimité qui permet d’affirmer que la frontière entre public et privé n’existe pas sur Internet. Finalement, ces images montrent une absence de canon quant à leur production et une multiplicité des façons de se mettre en scène qui laissent à penser qu’elles sont devenues des symboles à part entière dans la communication qui peut s’établir entre des étrangers sur Internet.

Trajectoires migratoires et espaces de sociabilité : stratégies de migrants de France à Montréal

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Tectonique moléculaire : introduction de la géométrie trigonale et de la chiralité

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

A socio-technological approach to sharing knowledge across disciplines

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoires de traduction sous-phrastiques

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Accélérer l'entraînement d'un modèle non-paramétrique de densité non normalisée par échantillonnage aléatoire

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Segmentation hiérarchique du domaine sémantique pour l'accélération d'un modèle de langage

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Cryptographie quantique à plusieurs participants par multiplexage en longueur d'onde

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.