18 resultados para Markov Decision Process
Resumo:
La tâche de kinématogramme de points aléatoires est utilisée avec le paradigme de choix forcé entre deux alternatives pour étudier les prises de décisions perceptuelles. Les modèles décisionnels supposent que les indices de mouvement pour les deux alternatives sont encodés dans le cerveau. Ainsi, la différence entre ces deux signaux est accumulée jusqu’à un seuil décisionnel. Cependant, aucune étude à ce jour n’a testé cette hypothèse avec des stimuli contenant des mouvements opposés. Ce mémoire présente les résultats de deux expériences utilisant deux nouveaux stimuli avec des indices de mouvement concurrentiels. Parmi une variété de combinaisons d’indices concurrentiels, la performance des sujets dépend de la différence nette entre les deux signaux opposés. De plus, les sujets obtiennent une performance similaire avec les deux types de stimuli. Ces résultats supportent un modèle décisionnel basé sur l’accumulation des indices de mouvement net et suggèrent que le processus décisionnel peut intégrer les signaux de mouvement à partir d’une grande gamme de directions pour obtenir un percept global de mouvement.
Resumo:
People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.
Resumo:
La présente thèse expose, analyse et critique les positions classiques et modernes à l’égard de la nature et des causes de la faiblesse de volonté. L’identification du problème par Platon et Aristote a donné lieu à l’explicitation de principes et propositions portant sur la rationalité pratique en général et la motivation en particulier. Une discussion de ces principes et propositions est faite dans la mesure où ils ont conservé une certaine pertinence pour les théories modernes. Ce qui est devenu la conception standard de la stricte akrasie ainsi que son caractère prétendument paradoxal sont mis de l’avant. Nous argumentons qu’une position sceptique à l’égard de la stricte akrasie ne peut pas reposer sur une version ou une autre de la théorie des préférences révélées et montrons qu’une description du processus décisionnel est nécessaire pour attribuer une préférence synthétique ou un meilleur jugement. Nous abordons le débat philosophique qui oppose une conception internaliste du lien entre le meilleur jugement et la décision à une conception externaliste, et soutenons, sur la base de résultats expérimentaux en psychologie cognitive et en neuroscience, que cette dernière conception est plus robuste, bien qu’imparfaite. Ces résultats ne vont pas toutefois à l’encontre de l’hypothèse que les agents sont des maximisateurs dans la satisfaction de leur préférence, laquelle hypothèse continue de justifier une forme de scepticisme à l’égard de la stricte akrasie. Nous exposons, par contre, des arguments solides à l’encontre de cette hypothèse et montrons pourquoi la maximisation n’est pas nécessairement requise pour le choix rationnel et que nous devons, par conséquent, réviser la conception standard de la stricte akrasie. Nous discutons de l’influente théorie de Richard Holton sur la faiblesse de volonté non strictement akratique. Bien que compatible avec une conception non maximisante, sa théorie réduit trop les épisodes de faiblesse de volonté à des cas d’irrésolution. Nous exposons finalement la théorie du choix intertemporel. Cette théorie est plus puissante parce qu’elle décrit et explique, à partir d’un même schème conceptuel, autant la stricte akrasie que l’akrasie tout court. Ce schème concerne les propriétés des distributions temporelles des conséquences des décisions akratiques et les attitudes prospectives qui motivent les agents à les prendre. La structure de ces distributions, couplée à la dévaluation à l’égard du futur, permet également d’expliquer de manière simple et élégante pourquoi la faiblesse de volonté est irrationnelle. Nous discutons de l’hypothèse qu’une préférence temporelle pure est à la source d’une telle dévaluation et mentionnons quelques éléments critiques et hypothèses concurrentes plus conformes à une approche cognitiviste du problème.
Resumo:
Cette thèse porte sur les questions d'évaluation et de couverture des options dans un modèle exponentiel-Lévy avec changements de régime. Un tel modèle est construit sur un processus additif markovien un peu comme le modèle de Black- Scholes est basé sur un mouvement Brownien. Du fait de l'existence de plusieurs sources d'aléa, nous sommes en présence d'un marché incomplet et ce fait rend inopérant les développements théoriques initiés par Black et Scholes et Merton dans le cadre d'un marché complet. Nous montrons dans cette thèse que l'utilisation de certains résultats de la théorie des processus additifs markoviens permet d'apporter des solutions aux problèmes d'évaluation et de couverture des options. Notamment, nous arrivons à caracté- riser la mesure martingale qui minimise l'entropie relative à la mesure de probabilit é historique ; aussi nous dérivons explicitement sous certaines conditions, le portefeuille optimal qui permet à un agent de minimiser localement le risque quadratique associé. Par ailleurs, dans une perspective plus pratique nous caract érisons le prix d'une option Européenne comme l'unique solution de viscosité d'un système d'équations intégro-di érentielles non-linéaires. Il s'agit là d'un premier pas pour la construction des schémas numériques pour approcher ledit prix.
Resumo:
Codirection: Dr. Gonzalo Lizarralde
Resumo:
Les évolutions scientifiques et technologiques engendrent des risques environnementaux complexes. Ces risques doivent être gérés démocratiquement, dans l’intérêt du dêmos. Dans la démocratie représentative, les autorités publiques recourent souvent à l’expertise scientifique pour éclairer leurs décisions relatives à ces risques. Or, ces experts ne le sont pas dans d’autres aspects tout aussi importants tels que les considérations éthiques et les perceptions des risques par le dêmos. En principe, les autorités publiques intègreraient ces autres aspects dans leurs décisions relatives aux risques environnementaux : sur la base d’une évaluation scientifique d’un risque déterminé, les représentants en assureraient une gestion démocratique. Autrement formulé, les autorités publiques garantiraient un filtre démocratique entre l’évaluation scientifique d’un risque environnemental et la décision publique relative à ce risque. Or, sous l’influence exclusive des experts scientifiques et éloignée du dêmos, elles ne sont pas aptes à garantir ce filtre. Les décisions publiques relatives aux risques environnementaux se calquent principalement sur l’évaluation scientifique de ceux-ci. Afin de pallier ces écueils l’idée de faire participer directement le dêmos à l’élaboration de la décision publique environnementale est née. Cette participation enrichirait et nuancerait l’expertise scientifique et permettrait aux autorités publiques d’intégrer dans leurs décisions d’autres facettes des risques environnementaux que les facettes purement scientifiques. Le filtre démocratique entre l’évaluation scientifique et la décision publique serait rétabli. D’abord organisée, en droit international, dans le cadre de l’évaluation des incidences sur l’environnement d’activités susceptibles d’y avoir un impact significatif, la participation directe du public au processus décisionnel a ensuite été étendue. Cela a été tout particulièrement illustré par la convention d’Århus du 25 juin. L’intervention examinera si et comment le système participatif de la convention d’Århus assure réellement une gestion démocratique du risque environnemental et pointera de sérieuses faiblesses démocratiques du système. Explorant les potentialités du système participatif de la convention d’Århus, l’intervention offrira des suggestions pour remédier à ses faiblesses, afin d’assurer une gestion véritablement démocratique du risque environnemental.
Resumo:
Le dialogue interne (D-I) est une aptitude mentale de plus en plus utilisée chez les athlètes de haut niveau mais peu étudiée dans les sports d’équipes. Son impact mérite d’être évalué dans des contextes d’équipe durant de réelles compétitions puisque le dialogue interne de l'athlète dans un sport collectif peut influencer certaines habiletés mentales telles la prise de décisions tactiques et la focalisation sur les stimuli appropriés. Ainsi, cette étude a bénéficié de la participation de 10 joueurs de hockey élites mâles âgés de 16 à 20 ans pour examiner les effets de deux traitements distincts de D-I, un axé sur la motivation et l’autre sur l’instruction. Dans cette analyse portant sur l’efficacité des sujets à accomplir des tâches de tactique collective (effet sur processus de décision) pendant des joutes de saison régulière, tous les athlètes semblent avoir amélioré leurs performances. Généralement, le groupe s’adonnant au traitement de D-I d’instruction a largement dépassé les pourcentages de réussite de celui du D-I de motivation. Cependant, les athlètes du groupe de D-I de motivation ont eu plus de succès que prévu. Il appert aussi que le traitement de D-I d’instruction ait été plus difficile à assimiler à court terme que le traitement de motivation, mais son impact positif apparaît avoir stagné moins rapidement. Les joueurs plus expérimentés n’ont pas affiché une meilleure progression dans leurs prises de décisions comparativement aux moins expérimentés. Le D-I de motivation semble avoir eu plus d’effet que celui d’instruction lorsqu’utilisé en période de fatigue et de stress.
Resumo:
Travail dirigé présenté à la Faculté des sciences infirmières en vue de l’obtention du grade de Maîtrise ès sciences (M. Sc.) en sciences infirmières, option expertise-conseil
Resumo:
Ce mémoire de maîtrise porte sur la gestion des risques informationnels dans l’entreprise privée. Plus précisément, nous avons cherché à comprendre, à partir de l’expérience et du point de vue des gestionnaires de la sécurité, comment s’élaborait une prise de décisions relativement à la protection des actifs informationnels d’une entreprise, de l’identification des risques à la mise en place de mesures visant à les réduire. Pour ce faire, nous devions dégager les éléments du contexte organisationnel qui contribuent à façonner les décisions du gestionnaire de la sécurité en cette matière en considérant deux principales dimensions : la dynamique relationnelle à l’œuvre de même que les enjeux, les contraintes et les opportunités susceptibles d’influence la prise de décisions. Nous voulions également connaitre le rôle et les responsabilités du gestionnaire de la sécurité au sein de ce processus décisionnel et préciser, le cas échéant, sa participation au modèle de gouvernance de gestion des risques. Pour rendre compte de la complexité de ce processus, il semblait approprié de concevoir un cadre théorique combinant deux approches: l’approche multidimensionnelle du risque et l’approche de la transaction sociale. Si la première considère que la définition du risque doit être contextualiser, l’autre admet que la dynamique relationnelle n’est pas le simple fait de jeux entres acteurs stratégiques. L’analyse en fonction de ses deux approches a révélé que la gestion des risques informationnels dans une entreprise est largement tributaire des caractéristiques personnelles du gestionnaire de la sécurité. Certes, le contexte organisationnel et la multiplication des enjeux sécuritaires exercent une influence considérable sur le processus décisionnel mais l’expérience, les connaissances et les capacités communicationnelles du gestionnaire contribuent directement à la réussite de chaque phase du processus de gestion des risques informationnels.
Resumo:
Le nombre important de véhicules sur le réseau routier peut entraîner des problèmes d'encombrement et de sécurité. Les usagers des réseaux routiers qui nous intéressent sont les camionneurs qui transportent des marchandises, pouvant rouler avec des véhicules non conformes ou emprunter des routes interdites pour gagner du temps. Le transport de matières dangereuses est réglementé et certains lieux, surtout les ponts et les tunnels, leur sont interdits d'accès. Pour aider à faire appliquer les lois en vigueur, il existe un système de contrôles routiers composé de structures fixes et de patrouilles mobiles. Le déploiement stratégique de ces ressources de contrôle mise sur la connaissance du comportement des camionneurs que nous allons étudier à travers l'analyse de leurs choix de routes. Un problème de choix de routes peut se modéliser en utilisant la théorie des choix discrets, elle-même fondée sur la théorie de l'utilité aléatoire. Traiter ce type de problème avec cette théorie est complexe. Les modèles que nous utiliserons sont tels, que nous serons amenés à faire face à des problèmes de corrélation, puisque plusieurs routes partagent probablement des arcs. De plus, puisque nous travaillons sur le réseau routier du Québec, le choix de routes peut se faire parmi un ensemble de routes dont le nombre est potentiellement infini si on considère celles ayant des boucles. Enfin, l'étude des choix faits par un humain n'est pas triviale. Avec l'aide du modèle de choix de routes retenu, nous pourrons calculer une expression de la probabilité qu'une route soit prise par le camionneur. Nous avons abordé cette étude du comportement en commençant par un travail de description des données collectées. Le questionnaire utilisé par les contrôleurs permet de collecter des données concernant les camionneurs, leurs véhicules et le lieu du contrôle. La description des données observées est une étape essentielle, car elle permet de présenter clairement à un analyste potentiel ce qui est accessible pour étudier les comportements des camionneurs. Les données observées lors d'un contrôle constitueront ce que nous appellerons une observation. Avec les attributs du réseau, il sera possible de modéliser le réseau routier du Québec. Une sélection de certains attributs permettra de spécifier la fonction d'utilité et par conséquent la fonction permettant de calculer les probabilités de choix de routes par un camionneur. Il devient alors possible d'étudier un comportement en se basant sur des observations. Celles provenant du terrain ne nous donnent pas suffisamment d'information actuellement et même en spécifiant bien un modèle, l'estimation des paramètres n'est pas possible. Cette dernière est basée sur la méthode du maximum de vraisemblance. Nous avons l'outil, mais il nous manque la matière première que sont les observations, pour continuer l'étude. L'idée est de poursuivre avec des observations de synthèse. Nous ferons des estimations avec des observations complètes puis, pour se rapprocher des conditions réelles, nous continuerons avec des observations partielles. Ceci constitue d'ailleurs un défi majeur. Nous proposons pour ces dernières, de nous servir des résultats des travaux de (Bierlaire et Frejinger, 2008) en les combinant avec ceux de (Fosgerau, Frejinger et Karlström, 2013). Bien qu'elles soient de nature synthétiques, les observations que nous utilisons nous mèneront à des résultats tels, que nous serons en mesure de fournir une proposition concrète qui pourrait aider à optimiser les décisions des responsables des contrôles routiers. En effet, nous avons réussi à estimer, sur le réseau réel du Québec, avec un seuil de signification de 0,05 les valeurs des paramètres d'un modèle de choix de routes discrets, même lorsque les observations sont partielles. Ces résultats donneront lieu à des recommandations sur les changements à faire dans le questionnaire permettant de collecter des données.
Resumo:
Un résumé en français est également disponible.
Resumo:
Cette thèse est principalement constituée de trois articles traitant des processus markoviens additifs, des processus de Lévy et d'applications en finance et en assurance. Le premier chapitre est une introduction aux processus markoviens additifs (PMA), et une présentation du problème de ruine et de notions fondamentales des mathématiques financières. Le deuxième chapitre est essentiellement l'article "Lévy Systems and the Time Value of Ruin for Markov Additive Processes" écrit en collaboration avec Manuel Morales et publié dans la revue European Actuarial Journal. Cet article étudie le problème de ruine pour un processus de risque markovien additif. Une identification de systèmes de Lévy est obtenue et utilisée pour donner une expression de l'espérance de la fonction de pénalité actualisée lorsque le PMA est un processus de Lévy avec changement de régimes. Celle-ci est une généralisation des résultats existant dans la littérature pour les processus de risque de Lévy et les processus de risque markoviens additifs avec sauts "phase-type". Le troisième chapitre contient l'article "On a Generalization of the Expected Discounted Penalty Function to Include Deficits at and Beyond Ruin" qui est soumis pour publication. Cet article présente une extension de l'espérance de la fonction de pénalité actualisée pour un processus subordinateur de risque perturbé par un mouvement brownien. Cette extension contient une série de fonctions escomptée éspérée des minima successives dus aux sauts du processus de risque après la ruine. Celle-ci a des applications importantes en gestion de risque et est utilisée pour déterminer la valeur espérée du capital d'injection actualisé. Finallement, le quatrième chapitre contient l'article "The Minimal entropy martingale measure (MEMM) for a Markov-modulated exponential Lévy model" écrit en collaboration avec Romuald Hervé Momeya et publié dans la revue Asia-Pacific Financial Market. Cet article présente de nouveaux résultats en lien avec le problème de l'incomplétude dans un marché financier où le processus de prix de l'actif risqué est décrit par un modèle exponentiel markovien additif. Ces résultats consistent à charactériser la mesure martingale satisfaisant le critère de l'entropie. Cette mesure est utilisée pour calculer le prix d'une option, ainsi que des portefeuilles de couverture dans un modèle exponentiel de Lévy avec changement de régimes.
Resumo:
Nous considérons des processus de diffusion, définis par des équations différentielles stochastiques, et puis nous nous intéressons à des problèmes de premier passage pour les chaînes de Markov en temps discret correspon- dant à ces processus de diffusion. Comme il est connu dans la littérature, ces chaînes convergent en loi vers la solution des équations différentielles stochas- tiques considérées. Notre contribution consiste à trouver des formules expli- cites pour la probabilité de premier passage et la durée de la partie pour ces chaînes de Markov à temps discret. Nous montrons aussi que les résultats ob- tenus convergent selon la métrique euclidienne (i.e topologie euclidienne) vers les quantités correspondantes pour les processus de diffusion. En dernier lieu, nous étudions un problème de commande optimale pour des chaînes de Markov en temps discret. L’objectif est de trouver la valeur qui mi- nimise l’espérance mathématique d’une certaine fonction de coût. Contraire- ment au cas continu, il n’existe pas de formule explicite pour cette valeur op- timale dans le cas discret. Ainsi, nous avons étudié dans cette thèse quelques cas particuliers pour lesquels nous avons trouvé cette valeur optimale.
Resumo:
Article