Évaluation de la performance des règles de gestion d'un réservoir de production hydroélectrique mises à jour à l'aide de la programmation dynamique stochastique et d'un modèle hydrologique

L’entreprise Rio Tinto effectue la gestion du système hydrique de la rivière Nechako, situé en Colombie-Britannique (Canada), à partir de règles de gestion optimisées à l’aide d’un algorithme de programmation dynamique stochastique (PDS) et de scénarios d’apports historiques. Les récents développements en recherche opérationnelle tendent à démontrer que la mise à jour des règles de gestion en mode prévisionnel permet d’améliorer la performance des règles de gestion lorsque des prévisions d’ensemble sont utilisées pour mieux cerner les incertitudes associées aux apports à venir. La modélisation hydrologique permet de suivre l’évolution d’un ensemble de processus hydrologiques qui varient dans le temps et dans l’espace (réserve de neige, humidité du sol, etc.). L’utilisation de modèles hydrologiques, en plus d’offrir la possibilité de construire des prévisions d’ensemble qui tiennent compte de l’ensemble des processus simulés, permet de suivre l’évolution de variables d’état qui peuvent être utilisées à même l’algorithme d’optimisation pour construire les probabilités de transition utiles à l’évaluation de la valeur des décisions futures. À partir d’un banc d’essais numériques dans lequel le comportement du bassin versant de la rivière Nechako est simulé à l’aide du modèle hydrologique CEQUEAU, les résultats du présent projet démontrent que la mise à jour des règles avec l’algorithme de PDS en mode prévisionnel permet une amélioration de la gestion du réservoir Nechako lorsque comparée aux règles optimisées avec l’algorithme en mode historique. Le mode prévisionnel utilisant une variable hydrologique combinant un modèle autorégressif d’ordre 5 (AR5) et la valeur maximale de l’équivalent en eau de la neige (ÉENM) a permis de réduire les déversements non-productifs et les inondations tout en maintenant des productions similaires à celles obtenues à l’aide de règles optimisées en mode historique utilisant l’ÉENM comme variable hydrologique. De plus, les résultats du projet démontrent que l’utilisation de prévisions hydrologiques d’ensemble en mode historique pour construire une variable hydrologique permettant d’émettre une prévision du volume d’apport médian pour les huit mois à venir (PVAM) ne permettait pas d’obtenir des résultats de gestion supérieurs à ceux obtenus avec la variable d’ÉENM.

Computation and Analysis of Multiple Structural-Change Models

In a recent paper, Bai and Perron (1998) considered theoretical issues related to the limiting distribution of estimators and test statistics in the linear model with multiple structural changes. In this companion paper, we consider practical issues for the empirical applications of the procedures. We first address the problem of estimation of the break dates and present an efficient algorithm to obtain global minimizers of the sum of squared residuals. This algorithm is based on the principle of dynamic programming and requires at most least-squares operations of order O(T 2) for any number of breaks. Our method can be applied to both pure and partial structural-change models. Secondly, we consider the problem of forming confidence intervals for the break dates under various hypotheses about the structure of the data and the errors across segments. Third, we address the issue of testing for structural changes under very general conditions on the data and the errors. Fourth, we address the issue of estimating the number of breaks. We present simulation results pertaining to the behavior of the estimators and tests in finite samples. Finally, a few empirical applications are presented to illustrate the usefulness of the procedures. All methods discussed are implemented in a GAUSS program available upon request for non-profit academic use.

Sequential Machine learning Approaches for Portfolio Management

Cette thèse envisage un ensemble de méthodes permettant aux algorithmes d'apprentissage statistique de mieux traiter la nature séquentielle des problèmes de gestion de portefeuilles financiers. Nous débutons par une considération du problème général de la composition d'algorithmes d'apprentissage devant gérer des tâches séquentielles, en particulier celui de la mise-à-jour efficace des ensembles d'apprentissage dans un cadre de validation séquentielle. Nous énumérons les desiderata que des primitives de composition doivent satisfaire, et faisons ressortir la difficulté de les atteindre de façon rigoureuse et efficace. Nous poursuivons en présentant un ensemble d'algorithmes qui atteignent ces objectifs et présentons une étude de cas d'un système complexe de prise de décision financière utilisant ces techniques. Nous décrivons ensuite une méthode générale permettant de transformer un problème de décision séquentielle non-Markovien en un problème d'apprentissage supervisé en employant un algorithme de recherche basé sur les K meilleurs chemins. Nous traitons d'une application en gestion de portefeuille où nous entraînons un algorithme d'apprentissage à optimiser directement un ratio de Sharpe (ou autre critère non-additif incorporant une aversion au risque). Nous illustrons l'approche par une étude expérimentale approfondie, proposant une architecture de réseaux de neurones spécialisée à la gestion de portefeuille et la comparant à plusieurs alternatives. Finalement, nous introduisons une représentation fonctionnelle de séries chronologiques permettant à des prévisions d'être effectuées sur un horizon variable, tout en utilisant un ensemble informationnel révélé de manière progressive. L'approche est basée sur l'utilisation des processus Gaussiens, lesquels fournissent une matrice de covariance complète entre tous les points pour lesquels une prévision est demandée. Cette information est utilisée à bon escient par un algorithme qui transige activement des écarts de cours (price spreads) entre des contrats à terme sur commodités. L'approche proposée produit, hors échantillon, un rendement ajusté pour le risque significatif, après frais de transactions, sur un portefeuille de 30 actifs.

Traduction statistique par recherche locale

La traduction statistique vise l’automatisation de la traduction par le biais de modèles statistiques. Dans ce travail, nous relevons un des grands défis du domaine : la recherche (Brown et al., 1993). Les systèmes de traduction statistique de référence, tel Moses (Koehn et al., 2007), effectuent généralement la recherche en explorant l’espace des préfixes par programmation dynamique, une solution coûteuse sur le plan computationnel pour ce problème potentiellement NP-complet (Knight, 1999). Nous postulons qu’une approche par recherche locale (Langlais et al., 2007) peut mener à des solutions tout aussi intéressantes en un temps et un espace mémoire beaucoup moins importants (Russell et Norvig, 2010). De plus, ce type de recherche facilite l’incorporation de modèles globaux qui nécessitent des traductions complètes et permet d’effectuer des modifications sur ces dernières de manière non-continue, deux tâches ardues lors de l’exploration de l’espace des préfixes. Nos expériences nous révèlent que la recherche locale en traduction statistique est une approche viable, s’inscrivant dans l’état de l’art.

Approches générales de résolution pour les problèmes multi-attributs de tournées de véhicules et confection d'horaires

Thèse réalisée en cotutelle entre l'Université de Montréal et l'Université de Technologie de Troyes

A dynamic sequential route choice model for micro-simulation

Dans les études sur le transport, les modèles de choix de route décrivent la sélection par un utilisateur d’un chemin, depuis son origine jusqu’à sa destination. Plus précisément, il s’agit de trouver dans un réseau composé d’arcs et de sommets la suite d’arcs reliant deux sommets, suivant des critères donnés. Nous considérons dans le présent travail l’application de la programmation dynamique pour représenter le processus de choix, en considérant le choix d’un chemin comme une séquence de choix d’arcs. De plus, nous mettons en œuvre les techniques d’approximation en programmation dynamique afin de représenter la connaissance imparfaite de l’état réseau, en particulier pour les arcs éloignés du point actuel. Plus précisément, à chaque fois qu’un utilisateur atteint une intersection, il considère l’utilité d’un certain nombre d’arcs futurs, puis une estimation est faite pour le restant du chemin jusqu’à la destination. Le modèle de choix de route est implanté dans le cadre d’un modèle de simulation de trafic par événements discrets. Le modèle ainsi construit est testé sur un modèle de réseau routier réel afin d’étudier sa performance.

Problèmes de commande optimale stochastique généralisés

Cette thèse est divisée en deux grands chapitres, dont le premier porte sur des problèmes de commande optimale en dimension un et le deuxième sur des problèmes en dimension deux ou plus. Notons bien que, dans cette thèse, nous avons supposé que le facteur temps n'intervient pas. Dans le premier chapitre, nous calculons, au début, l'équation de programmation dynamique pour la valeur minimale F de l'espérance mathématique de la fonction de coût considérée. Ensuite, nous utilisons le théorème de Whittle qui est applicable seulement si une condition entre le bruit blanc v et les termes b et q associés à la commande est satisfaite. Sinon, nous procédons autrement. En effet, un changement de variable transforme notre équation en une équation de Riccati en G= F', mais sans conditions initiales. Dans certains cas, à partir de la symétrie des paramètres infinitésimaux et de q, nous pouvons en déduire le point x' où G(x')=0. Si ce n'est pas le cas, nous nous limitons à des bonnes approximations. Cette même démarche est toujours possible si nous sommes dans des situations particulières, par exemple, lorsque nous avons une seule barrière. Dans le deuxième chapitre, nous traitons les problèmes en dimension deux ou plus. Puisque la condition de Whittle est difficile à satisfaire dans ce cas, nous essayons de généraliser les résultats du premier chapitre. Nous utilisons alors dans quelques exemples la méthode des similitudes, qui permet de transformer le problème en dimension un. Ensuite, nous proposons une nouvelle méthode de résolution. Cette dernière linéarise l'équation de programmation dynamique qui est une équation aux dérivées partielles non linéaire. Il reste à la fin à trouver les conditions initiales pour la nouvelle fonction et aussi à vérifier que les n expressions obtenues pour F sont équivalentes.

Une signature du polymorphisme structural d’acides ribonucléiques non-codants permettant de comparer leurs niveaux d’activités biochimiques

Des évidences expérimentales récentes indiquent que les ARN changent de structures au fil du temps, parfois très rapidement, et que ces changements sont nécessaires à leurs activités biochimiques. La structure de ces ARN est donc dynamique. Ces mêmes évidences notent également que les structures clés impliquées sont prédites par le logiciel de prédiction de structure secondaire MC-Fold. En comparant les prédictions de structures du logiciel MC-Fold, nous avons constaté un lien clair entre les structures presque optimales (en termes de stabilité prédites par ce logiciel) et les variations d’activités biochimiques conséquentes à des changements ponctuels dans la séquence. Nous avons comparé les séquences d’ARN du point de vue de leurs structures dynamiques afin d’investiguer la similarité de leurs fonctions biologiques. Ceci a nécessité une accélération notable du logiciel MC-Fold. L’approche algorithmique est décrite au chapitre 1. Au chapitre 2 nous classons les impacts de légères variations de séquences des microARN sur la fonction naturelle de ceux-ci. Au chapitre 3 nous identifions des fenêtres dans de longs ARN dont les structures dynamiques occupent possiblement des rôles dans les désordres du spectre autistique et dans la polarisation des œufs de certains batraciens (Xenopus spp.).

Algorithme de comparaison de structures secondaires d'ARN

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

Algorithme de comparaison de structures secondaires d'ARN

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

Choix en situation d’incertitude: distinction entre les méthodes de calculs utilisées par les individus lors d’ajout d’effet de corrélation

Méthodologie: Équation de Bellman (Programmation dynamique) ; Méthode de la valeur optionnelle

Amélioration de la représentation des processus stochastiques pour l'optimisation appliquée à la gestion des systèmes hydriques

Dans un contexte de pression toujours plus grande sur les ressources naturelles, une gestion rationnelle des ressources hydriques s'impose. La principale difficulté de leur gestion provient du caractère aléatoire des apports en eau dans le système. Le sujet de cette recherche consiste à développer des méthodes d'optimisation stochastique capable de bien représenter les processus aléatoires. Le cas de Kemano, située en Colombie-Britannique (Canada), illustre les travaux de recherche. L'importante accumulation de neige sur les bassins versants engendre une hydrologie complexe, rendant la gestion du système délicate. La programmation dynamique stochastique est la méthode la plus utilisée pour déterminer la politique de gestion des réservoirs. Mais, son étude fait ressortir que cette méthode ne peut gérer que des modèles simplifiés des processus stochastiques, ne rendant pas compte des complexes corrélations spatio-temporelles des apports hydriques. Ainsi, la politique obtenue peut être de mauvaise qualité. Cette méthode est comparée avec la recherche directe de politique qui n'utilise pas de modèles pour représenter les processus stochastiques, mais évalue la politique sur des scénarios d'apports. Ainsi la recherche directe de politique se révèle globalement plus performante en prenant bien en considération la complexité des apports, mais est limitée par la forme prédéterminée de la politique. De plus, l'optimisation des paramètres en utilisant un algorithme évolutionnaire s'avère lente. La conception d'un algorithme de descente par gradient, combinée à une architecture "acteur-critique" appropriée, permet de réduire notablement le temps d'optimisation. Combinée à une fonction plus complexe employée pour la paramétrisation de la politique de gestion, la méthode permet d'obtenir une politique de qualité significativement supérieure à celle obtenue avec la programmation dynamique stochastique. Les travaux effectués dans le cadre de cette thèse ouvrent la voie à une application opérationnelle de la méthode de recherche directe de politique. L'évaluation en simulation devrait être appréciée des opérateurs en permettant une bonne représentation du système et des apports.