Revisiting optimization algorithms for maximum likelihood estimation

Parmi les méthodes d’estimation de paramètres de loi de probabilité en statistique, le maximum de vraisemblance est une des techniques les plus populaires, comme, sous des conditions l´egères, les estimateurs ainsi produits sont consistants et asymptotiquement efficaces. Les problèmes de maximum de vraisemblance peuvent être traités comme des problèmes de programmation non linéaires, éventuellement non convexe, pour lesquels deux grandes classes de méthodes de résolution sont les techniques de région de confiance et les méthodes de recherche linéaire. En outre, il est possible d’exploiter la structure de ces problèmes pour tenter d’accélerer la convergence de ces méthodes, sous certaines hypothèses. Dans ce travail, nous revisitons certaines approches classiques ou récemment d´eveloppées en optimisation non linéaire, dans le contexte particulier de l’estimation de maximum de vraisemblance. Nous développons également de nouveaux algorithmes pour résoudre ce problème, reconsidérant différentes techniques d’approximation de hessiens, et proposons de nouvelles méthodes de calcul de pas, en particulier dans le cadre des algorithmes de recherche linéaire. Il s’agit notamment d’algorithmes nous permettant de changer d’approximation de hessien et d’adapter la longueur du pas dans une direction de recherche fixée. Finalement, nous évaluons l’efficacité numérique des méthodes proposées dans le cadre de l’estimation de modèles de choix discrets, en particulier les modèles logit mélangés.

Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

L'utilisation du bootstrap pour tester la stationnarité des taux de change réels avec un modèle non linéaire. L'évidence pour le Canada.

Rapport de recherche

L'impasse de la non-normalité : estimateurs d'ordres supérieurs pour modèles de régression linéaire avec erreurs de mesure.

Rapport de recherche

Recherche sur les effets de l'analgésie périopératoire optimale (RAPO) sur la douleur et la fonction après chirurgie de la main

Essai cinique randomisé

Recherche de champs magnétiques chez les étoiles Wolf-Rayet par l'analyse d'observations spectropolarimétriques.

Cette thèse de doctorat présente les résultats d'un relevé spectropolarimétrique visant la détection directe de champs magnétiques dans le vent d'étoiles Wolf-Rayet (WR). Les observations furent entièrement obtenues à partir du spectropolarimètre ESPaDOnS, installé sur le télescope de l'observatoire Canada-France-Hawaii. Ce projet débuta par l'observation d'un étoile très variable de type WN4 appelée EZ CMa = WR6 = HD 50896 et se poursuivit par l'observation de 11 autres étoiles WR de notre galaxie. La méthode analytique utilisée dans cette étude vise à examiner les spectres de polarisation circulaire (Stokes V) et à identifier, au travers des raies d'émission, les signatures spectrales engendrées par la présence de champs magnétiques de type split monopole dans les vents des étoiles observées. Afin de pallier à la présence de polarisation linéaire dans les données de polarisation circulaire, le cross-talk entre les spectres Stokes Q et U et le spectre Stokes V fut modélisé et éliminé avant de procéder à l'analyse magnétique. En somme, aucun champ magnétique n'est détecté de manière significative dans les 12 étoiles observées. Toutefois, une détection marginale est signalée pour les étoiles WR134, WR137 et WR138 puisque quelques-unes de leur raies spectrales semblent indiquer la présence d'une signature magnétique. Pour chacune de ces trois étoiles, la valeur la plus probable du champ magnétique présent dans le vent stellaire est respectivement de B ~ 200, 130 et 80 G. En ce qui concerne les autres étoiles pour lesquelles aucune détection magnétique ne fut obtenue, la limite supérieure moyenne de l'intensité du champ qui pourrait être présent dans les données, sans toutefois être détecté, est évaluée à 500 G. Finalement, les résultats de cette étude ne peuvent confirmer l'origine magnétique des régions d'interaction en co-rotation (CIR) observées chez plusieurs étoiles WR. En effet, aucun champ magnétique n'est détecté de façon convaincante chez les quatre étoiles pour lesquelles la présence de CIR est soupçonnée.

Du Linéaire au Stellaire, du film au webdocumentaire : un dispositif de réflexion et de communication sur le réel

Ce texte de mémoire est accompagné du webdocumentaire interactif : De la chaise à la mer, disponible à l'adresse http://www.delachaisealamer.net.

Elements pour adapter les systemes de recherche d'information aux dyslexiques [Elements to adapt information retrieval systems to dyslexic users]

RÉSUMÉ. La prise en compte des troubles de la communication dans l’utilisation des systèmes de recherche d’information tels qu’on peut en trouver sur le Web est généralement réalisée par des interfaces utilisant des modalités n’impliquant pas la lecture et l’écriture. Peu d’applications existent pour aider l’utilisateur en difficulté dans la modalité textuelle. Nous proposons la prise en compte de la conscience phonologique pour assister l’utilisateur en difficulté d’écriture de requêtes (dysorthographie) ou de lecture de documents (dyslexie). En premier lieu un système de réécriture et d’interprétation des requêtes entrées au clavier par l’utilisateur est proposé : en s’appuyant sur les causes de la dysorthographie et sur les exemples à notre disposition, il est apparu qu’un système combinant une approche éditoriale (type correcteur orthographique) et une approche orale (système de transcription automatique) était plus approprié. En second lieu une méthode d’apprentissage automatique utilise des critères spécifiques , tels que la cohésion grapho-phonémique, pour estimer la lisibilité d’une phrase, puis d’un texte. ABSTRACT. Most applications intend to help disabled users in the information retrieval process by proposing non-textual modalities. This paper introduces specific parameters linked to phonological awareness in the textual modality. This will enhance the ability of systems to deal with orthographic issues and with the adaptation of results to the reader when for example the reader is dyslexic. We propose a phonology based sentence level rewriting system that combines spelling correction, speech synthesis and automatic speech recognition. This has been evaluated on a corpus of questions we get from dyslexic children. We propose a specific sentence readability measure that involves phonetic parameters such as grapho-phonemic cohesion. This has been learned on a corpus of reading time of sentences read by dyslexic children.

ELEBIDUN : un projet de recherche sur l’apprentissage bilingue basque-français

[FR] Depuis plusieurs décennies, il existe une offre de scolarisation en langue basque dans les établissements scolaires du Pays basque nord (Pyrénées Atlantiques). Les élèves qui suivent une scolarité bilingue sont inscrits soit dans un établissement qui pratique la méthode dite immersive (Ikastolak de Seaska) soit dans un modèle à parité horaire dans un établissement public ou privé1. Ainsi, il est possible pour un élève de mener l’apprentissage de la langue basque en parallèle avec celui du français depuis l’école primaire jusqu’au lycée. Cette offre de scolarisation est en développement constant (38 ouvertures sur les 6 dernières années scolaires) et elle concerne aujourd’hui plus d’une école sur deux (58 %), 34 % des élèves du primaire et 43 % des enfants en maternelle.

Intérêt clinique de la recherche des autoanticorps dans les connectivites et les vasculites.

SCOPUS: re.j