Les algorithmes d'apprentissage appliqués aux risques financiers

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Généralisation d'algorithmes de réduction de dimension

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Modèles et algorithmes pour les enchères combinatoires

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Algorithmes de construction et correction d'arbres de gènes par la réconciliation

Les gènes, qui servent à encoder les fonctions biologiques des êtres vivants, forment l'unité moléculaire de base de l'hérédité. Afin d'expliquer la diversité des espèces que l'on peut observer aujourd'hui, il est essentiel de comprendre comment les gènes évoluent. Pour ce faire, on doit recréer le passé en inférant leur phylogénie, c'est-à-dire un arbre de gènes qui représente les liens de parenté des régions codantes des vivants. Les méthodes classiques d'inférence phylogénétique ont été élaborées principalement pour construire des arbres d'espèces et ne se basent que sur les séquences d'ADN. Les gènes sont toutefois riches en information, et on commence à peine à voir apparaître des méthodes de reconstruction qui utilisent leurs propriétés spécifiques. Notamment, l'histoire d'une famille de gènes en terme de duplications et de pertes, obtenue par la réconciliation d'un arbre de gènes avec un arbre d'espèces, peut nous permettre de détecter des faiblesses au sein d'un arbre et de l'améliorer. Dans cette thèse, la réconciliation est appliquée à la construction et la correction d'arbres de gènes sous trois angles différents: 1) Nous abordons la problématique de résoudre un arbre de gènes non-binaire. En particulier, nous présentons un algorithme en temps linéaire qui résout une polytomie en se basant sur la réconciliation. 2) Nous proposons une nouvelle approche de correction d'arbres de gènes par les relations d'orthologie et paralogie. Des algorithmes en temps polynomial sont présentés pour les problèmes suivants: corriger un arbre de gènes afin qu'il contienne un ensemble d'orthologues donné, et valider un ensemble de relations partielles d'orthologie et paralogie. 3) Nous montrons comment la réconciliation peut servir à "combiner'' plusieurs arbres de gènes. Plus précisément, nous étudions le problème de choisir un superarbre de gènes selon son coût de réconciliation.

Réduction des artéfacts de tuteur coronarien au moyen d’un algorithme de reconstruction avec renforcement des bords : étude prospective transversale en tomodensitométrie 256 coupes

Les artéfacts métalliques entraînent un épaississement artéfactuel de la paroi des tuteurs en tomodensitométrie (TDM) avec réduction apparente de leur lumière. Cette étude transversale prospective, devis mesures répétées et observateurs avec méthode en aveugle, chez 24 patients consécutifs/71 tuteurs coronariens a pour objectif de comparer l’épaisseur de paroi des tuteurs en TDM après reconstruction par un algorithme avec renforcement des bords et un algorithme standard. Une angiographie coronarienne par TDM 256 coupes a été réalisée, avec reconstruction par algorithmes avec renforcement des bords et standard. L’épaisseur de paroi des tuteurs était mesurée par méthodes orthogonale (diamètres) et circonférentielle (circonférences). La qualité d’image des tuteurs était évaluée par échelle ordinale, et les données analysées par modèles linéaire mixte et régression logistique des cotes proportionnelles. L’épaisseur de paroi des tuteurs était inférieure avec l’algorithme avec renforcement des bords comparé à l’algorithme standard, avec les méthodes orthogonale (0,97±0,02 vs 1,09±0,03 mm, respectivement; p<0,001) et circonférentielle (1,13±0,02 vs 1,21±0,02 mm, respectivement; p<0,001). Le premier causait moins de surestimation par rapport à l’épaisseur nominale comparé au second, avec méthodes orthogonale (0,89±0,19 vs 1,00±0,26 mm, respectivement; p<0,001) et circonférentielle (1,06±0,26 vs 1,13±0,31 mm, respectivement; p=0,005) et diminuait de 6 % la surestimation. Les scores de qualité étaient meilleurs avec l’algorithme avec renforcement des bords (OR 3,71; IC 95% 2,33–5,92; p<0,001). En conclusion, la reconstruction des images avec l’algorithme avec renforcement des bords génère des parois de tuteurs plus minces, moins de surestimation, et de meilleurs scores de qualité d’image que l’algorithme standard.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Plasticité du cortex visuel: «homéodynamie» des connexions neuronales et modèle d’effets d’antidépresseurs

Les informations sensorielles sont traitées dans le cortex par des réseaux de neurones co-activés qui forment des assemblées neuronales fonctionnelles. Le traitement visuel dans le cortex est régit par différents aspects des caractéristiques neuronales tels que l’aspect anatomique, électrophysiologique et moléculaire. Au sein du cortex visuel primaire, les neurones sont sélectifs à divers attributs des stimuli tels que l’orientation, la direction, le mouvement et la fréquence spatiale. Chacun de ces attributs conduit à une activité de décharge maximale pour une population neuronale spécifique. Les neurones du cortex visuel ont cependant la capacité de changer leur sélectivité en réponse à une exposition prolongée d’un stimulus approprié appelée apprentissage visuel ou adaptation visuelle à un stimulus non préférentiel. De ce fait, l’objectif principal de cette thèse est d’investiguer les mécanismes neuronaux qui régissent le traitement visuel durant une plasticité induite par adaptation chez des animaux adultes. Ces mécanismes sont traités sous différents aspects : la connectivité neuronale, la sélectivité neuronale, les propriétés électrophysiologiques des neurones et les effets des drogues (sérotonine et fluoxétine). Le modèle testé se base sur les colonnes d’orientation du cortex visuel primaire. La présente thèse est subdivisée en quatre principaux chapitres. Le premier chapitre (A) traite de la réorganisation du cortex visuel primaire suite à une plasticité induite par adaptation visuelle. Le second chapitre (B) examine la connectivité neuronale fonctionnelle en se basant sur des corrélations croisées entre paires neuronales ainsi que sur des corrélations d’activités de populations neuronales. Le troisième chapitre (C) met en liaison les aspects cités précédemment (les effets de l’adaptation visuelle et la connectivité fonctionnelle) aux propriétés électrophysiologiques des neurones (deux classes de neurones sont traitées : les neurones à décharge régulière et les neurones à décharge rapide ou burst). Enfin, le dernier chapitre (D) a pour objectif l’étude de l’effet du couplage de l’adaptation visuelle à l’administration de certaines drogues, notamment la sérotonine et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Méthodes En utilisant des enregistrements extracellulaires d’activités neuronales dans le cortex visuel primaire (V1) combinés à un processus d’imagerie cérébrale optique intrinsèque, nous enregistrons l’activité de décharge de populations neuronales et nous examinons l’activité de neurones individuels extraite des signaux multi-unitaires. L’analyse de l’activité cérébrale se base sur différents algorithmes : la distinction des propriétés électrophysiologiques des neurones se fait par calcul de l’intervalle de temps entre la vallée et le pic maximal du potentiel d’action (largeur du potentiel d’action), la sélectivité des neurones est basée sur leur taux de décharge à différents stimuli, et la connectivité fonctionnelle utilise des calculs de corrélations croisées. L’utilisation des drogues se fait par administration locale sur la surface du cortex (après une craniotomie et une durotomie). Résultats et conclusions Dans le premier chapitre, nous démontrons la capacité des neurones à modifier leur sélectivité après une période d’adaptation visuelle à un stimulus particulier, ces changements aboutissent à une réorganisation des cartes corticales suivant un patron spécifique. Nous attribuons ce résultat à la flexibilité de groupes fonctionnels de neurones qui étaient longtemps considérés comme des unités anatomiques rigides. En effet, nous observons une restructuration extensive des domaines d’orientation dans le but de remodeler les colonnes d’orientation où chaque stimulus est représenté de façon égale. Ceci est d’autant plus confirmé dans le second chapitre où dans ce cas, les cartes de connectivité fonctionnelle sont investiguées. En accord avec les résultats énumérés précédemment, les cartes de connectivité montrent également une restructuration massive mais de façon intéressante, les neurones utilisent une stratégie de sommation afin de stabiliser leurs poids de connectivité totaux. Ces dynamiques de connectivité sont examinées dans le troisième chapitre en relation avec les propriétés électrophysiologiques des neurones. En effet, deux modes de décharge neuronale permettent la distinction entre deux classes neuronales. Leurs dynamiques de corrélations distinctes suggèrent que ces deux classes jouent des rôles clés différents dans l’encodage et l’intégration des stimuli visuels au sein d’une population neuronale. Enfin, dans le dernier chapitre, l’adaptation visuelle est combinée avec l’administration de certaines substances, notamment la sérotonine (neurotransmetteur) et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Ces deux substances produisent un effet similaire en facilitant l’acquisition des stimuli imposés par adaptation. Lorsqu’un stimulus non optimal est présenté en présence de l’une des deux substances, nous observons une augmentation du taux de décharge des neurones en présentant ce stimulus. Nous présentons un modèle neuronal basé sur cette recherche afin d’expliquer les fluctuations du taux de décharge neuronale en présence ou en absence des drogues. Cette thèse présente de nouvelles perspectives quant à la compréhension de l’adaptation des neurones du cortex visuel primaire adulte dans le but de changer leur sélectivité dans un environnement d’apprentissage. Nous montrons qu’il y a un parfait équilibre entre leurs habiletés plastiques et leur dynamique d’homéostasie.

Amélioration a posteriori de la traduction automatique par métaheuristique

La traduction automatique statistique est un domaine très en demande et où les machines sont encore loin de produire des résultats de qualité humaine. La principale méthode utilisée est une traduction linéaire segment par segment d'une phrase, ce qui empêche de changer des parties de la phrase déjà traduites. La recherche pour ce mémoire se base sur l'approche utilisée dans Langlais, Patry et Gotti 2007, qui tente de corriger une traduction complétée en modifiant des segments suivant une fonction à optimiser. Dans un premier temps, l'exploration de nouveaux traits comme un modèle de langue inverse et un modèle de collocation amène une nouvelle dimension à la fonction à optimiser. Dans un second temps, l'utilisation de différentes métaheuristiques, comme les algorithmes gloutons et gloutons randomisés permet l'exploration plus en profondeur de l'espace de recherche et permet une plus grande amélioration de la fonction objectif.

Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

Étude de la médiane de permutations sous la distance de Kendall-Tau

La distance de Kendall-τ compte le nombre de paires en désaccord entre deux permuta- tions. La distance d’une permutation à un ensemble est simplement la somme des dis- tances entre cette permutation et les permutations de l’ensemble. À partir d’un ensemble donné de permutations, notre but est de trouver la permutation, appelée médiane, qui minimise cette distance à l’ensemble. Le problème de la médiane de permutations sous la distance de Kendall-τ, trouve son application en bio-informatique, en science politique, en télécommunication et en optimisation. Ce problème d’apparence simple est prouvé difficile à résoudre. Dans ce mémoire, nous présentons plusieurs approches pour résoudre le problème, pour trouver une bonne solution approximative, pour le séparer en classes caractéristiques, pour mieux com- prendre sa compléxité, pour réduire l’espace de recheche et pour accélérer les calculs. Nous présentons aussi, vers la fin du mémoire, une généralisation de ce problème et nous l’étudions avec ces mêmes approches. La majorité du travail de ce mémoire se situe dans les trois articles qui le composent et est complémenté par deux chapitres servant à les lier.