Une méthode d'inférence bayésienne pour les modèles espace-état affines faiblement identifiés appliquée à une stratégie d'arbitrage statistique de la dynamique de la structure à terme des taux d'intérêt

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Estimation of State Space Models and Stochastic Volatility

Ma thèse est composée de trois chapitres reliés à l'estimation des modèles espace-état et volatilité stochastique. Dans le première article, nous développons une procédure de lissage de l'état, avec efficacité computationnelle, dans un modèle espace-état linéaire et gaussien. Nous montrons comment exploiter la structure particulière des modèles espace-état pour tirer les états latents efficacement. Nous analysons l'efficacité computationnelle des méthodes basées sur le filtre de Kalman, l'algorithme facteur de Cholesky et notre nouvelle méthode utilisant le compte d'opérations et d'expériences de calcul. Nous montrons que pour de nombreux cas importants, notre méthode est plus efficace. Les gains sont particulièrement grands pour les cas où la dimension des variables observées est grande ou dans les cas où il faut faire des tirages répétés des états pour les mêmes valeurs de paramètres. Comme application, on considère un modèle multivarié de Poisson avec le temps des intensités variables, lequel est utilisé pour analyser le compte de données des transactions sur les marchés financières. Dans le deuxième chapitre, nous proposons une nouvelle technique pour analyser des modèles multivariés à volatilité stochastique. La méthode proposée est basée sur le tirage efficace de la volatilité de son densité conditionnelle sachant les paramètres et les données. Notre méthodologie s'applique aux modèles avec plusieurs types de dépendance dans la coupe transversale. Nous pouvons modeler des matrices de corrélation conditionnelles variant dans le temps en incorporant des facteurs dans l'équation de rendements, où les facteurs sont des processus de volatilité stochastique indépendants. Nous pouvons incorporer des copules pour permettre la dépendance conditionnelle des rendements sachant la volatilité, permettant avoir différent lois marginaux de Student avec des degrés de liberté spécifiques pour capturer l'hétérogénéité des rendements. On tire la volatilité comme un bloc dans la dimension du temps et un à la fois dans la dimension de la coupe transversale. Nous appliquons la méthode introduite par McCausland (2012) pour obtenir une bonne approximation de la distribution conditionnelle à posteriori de la volatilité d'un rendement sachant les volatilités d'autres rendements, les paramètres et les corrélations dynamiques. Le modèle est évalué en utilisant des données réelles pour dix taux de change. Nous rapportons des résultats pour des modèles univariés de volatilité stochastique et deux modèles multivariés. Dans le troisième chapitre, nous évaluons l'information contribuée par des variations de volatilite réalisée à l'évaluation et prévision de la volatilité quand des prix sont mesurés avec et sans erreur. Nous utilisons de modèles de volatilité stochastique. Nous considérons le point de vue d'un investisseur pour qui la volatilité est une variable latent inconnu et la volatilité réalisée est une quantité d'échantillon qui contient des informations sur lui. Nous employons des méthodes bayésiennes de Monte Carlo par chaîne de Markov pour estimer les modèles, qui permettent la formulation, non seulement des densités a posteriori de la volatilité, mais aussi les densités prédictives de la volatilité future. Nous comparons les prévisions de volatilité et les taux de succès des prévisions qui emploient et n'emploient pas l'information contenue dans la volatilité réalisée. Cette approche se distingue de celles existantes dans la littérature empirique en ce sens que ces dernières se limitent le plus souvent à documenter la capacité de la volatilité réalisée à se prévoir à elle-même. Nous présentons des applications empiriques en utilisant les rendements journaliers des indices et de taux de change. Les différents modèles concurrents sont appliqués à la seconde moitié de 2008, une période marquante dans la récente crise financière.

Développement et validation d'un modèle de simulation numérique personnalisé à une athlète de plongeon

Les entraîneurs en sports acrobatiques disposent de peu d’outils permettant d’améliorer leur compréhension des saltos vrillés et la performance des athlètes. L’objectif de ce mémoire était de développer un environnement graphique de simulation numérique réaliste et utile des acrobaties aériennes. Un modèle composé de 17 segments et de 42 degrés de liberté a été développé et personnalisé à une athlète de plongeon. Un système optoélectronique échantillonné à 300 Hz a permis l’acquisition de huit plongeons en situation réelle d’entraînement. La cinématique articulaire reconstruite avec un filtre de Kalman étendu a été utilisée comme entrée du modèle. Des erreurs quadratiques moyennes de 20° (salto) et de 9° (vrille) entre les performances simulées et réelles ont permis de valider le modèle. Enfin, une formation basée sur le simulateur a été offerte à 14 entraîneurs en sports acrobatiques. Une augmentation moyenne de 11 % des résultats aux questionnaires post-test a permis de constater le potentiel pédagogique de l’outil pour la formation.

Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Analyse cinématique 3D de la coordination des articulations de l'épaule par l'entremise du rythme scapulo-huméral

L'épaule est souvent affectée par des troubles musculo-squelettiques. Toutefois, leur évaluation est limitée à des mesures qualitatives qui nuisent à la spécificité et justesse du diagnostic. L'analyse de mouvement tridimensionnel pourrait complémenter le traitement conventionnel à l'aide de mesures quantitatives fonctionnelles. L'interaction entre les articulations de l'épaule est estimée par le rythme scapulo-huméral, mais la variabilité prononcée qu'il affiche nuit à son utilisation clinique. Ainsi, l'objectif général de cette thèse était de réduire la variabilité de la mesure du rythme scapulo-huméral. L'effet de la méthode de calcul du rythme scapulo-huméral et des conditions d'exécution du mouvement (rotation axiale du bras, charge, vitesse, activité musculaire) ont été testées. La cinématique des articulations de l'épaule a été calculé par chaîne cinématique et filtre de Kalman étendu sur des sujets sains avec un système optoélectronique. La méthode usuelle de calcul du rythme scapulo-huméral extrait les angles d'élévation gléno-humérale et de rotation latérale scapulo-thoracique. Puisque ces angles ne sont pas co-planaires au thorax, leur somme ne correspond pas à l'angle d'élévation du bras. Une nouvelle approche de contribution articulaire incluant toutes les rotations de chaque articulation est proposée et comparée à la méthode usuelle. La méthode usuelle surestimait systématiquement la contribution gléno-humérale par rapport à la méthode proposée. Ce nouveau calcul du rythme scapulo-huméral permet une évaluation fonctionnelle dynamique de l'épaule et réduit la variabilité inter-sujets. La comparaison d'exercices de réadaptation du supra-épineux contrastant la rotation axiale du bras a été réalisée, ainsi que l'effet d'ajouter une charge externe. L'exercice «full-can» augmentait le rythme scapulo-huméral et la contribution gléno-humérale ce qui concorde avec la fonction du supra-épineux. Au contraire, l'exercice «empty-can» augmentait la contribution scapulo-thoracique ce qui est associé à une compensation pour éviter la contribution gléno-humérale. L'utilisation de charge externe lors de la réadaptation du supra-épineux semble justifiée par un rythme scapulo-huméral similaire et une élévation gléno-humérale supérieure. Le mouvement de l'épaule est souvent mesuré ou évalué en condition statique ou dynamique et passive ou active. Cependant, l'effet de ces conditions sur la coordination articulaire demeure incertain. La comparaison des ces conditions révélait des différences significatives qui montrent l'importance de considérer les conditions de mouvement pour l'acquisition ou la comparaison des données.