Efficient estimation using the characteristic function : theory and applications with high frequency data

The attached file is created with Scientific Workplace Latex

Inference for nonparametric high-frequency estimators with an application to time variation in betas

We consider the problem of conducting inference on nonparametric high-frequency estimators without knowing their asymptotic variances. We prove that a multivariate subsampling method achieves this goal under general conditions that were not previously available in the literature. We suggest a procedure for a data-driven choice of the bandwidth parameters. Our simulation study indicates that the subsampling method is much more robust than the plug-in method based on the asymptotic expression for the variance. Importantly, the subsampling method reliably estimates the variability of the Two Scale estimator even when its parameters are chosen to minimize the finite sample Mean Squared Error; in contrast, the plugin estimator substantially underestimates the sampling uncertainty. By construction, the subsampling method delivers estimates of the variance-covariance matrices that are always positive semi-definite. We use the subsampling method to study the dynamics of financial betas of six stocks on the NYSE. We document significant variation in betas within year 2006, and find that tick data captures more variation in betas than the data sampled at moderate frequencies such as every five or twenty minutes. To capture this variation we estimate a simple dynamic model for betas. The variance estimation is also important for the correction of the errors-in-variables bias in such models. We find that the bias corrections are substantial, and that betas are more persistent than the naive estimators would lead one to believe.

Sampling Interval and estimated Betas : Implications for the Presence of Transitory Components in Stock Prices

We provide a theoretical framework to explain the empirical finding that the estimated betas are sensitive to the sampling interval even when using continuously compounded returns. We suppose that stock prices have both permanent and transitory components. The permanent component is a standard geometric Brownian motion while the transitory component is a stationary Ornstein-Uhlenbeck process. The discrete time representation of the beta depends on the sampling interval and two components labelled \"permanent and transitory betas\". We show that if no transitory component is present in stock prices, then no sampling interval effect occurs. However, the presence of a transitory component implies that the beta is an increasing (decreasing) function of the sampling interval for more (less) risky assets. In our framework, assets are labelled risky if their \"permanent beta\" is greater than their \"transitory beta\" and vice versa for less risky assets. Simulations show that our theoretical results provide good approximations for the means and standard deviations of estimated betas in small samples. Our results can be perceived as indirect evidence for the presence of a transitory component in stock prices, as proposed by Fama and French (1988) and Poterba and Summers (1988).

Correcting the Errors : A Note on Volatility Forecast Evaluation Based on High-Frequency Data and Realized Volatilities

This note develops general model-free adjustment procedures for the calculation of unbiased volatility loss functions based on practically feasible realized volatility benchmarks. The procedures, which exploit the recent asymptotic distributional results in Barndorff-Nielsen and Shephard (2002a), are both easy to implement and highly accurate in empirically realistic situations. On properly accounting for the measurement errors in the volatility forecast evaluations reported in Andersen, Bollerslev, Diebold and Labys (2003), the adjustments result in markedly higher estimates for the true degree of return-volatility predictability.

An Autoregressive Spectral Density Estimator at Frequency Zero for Nonstationarity Tests.

Many unit root and cointegration tests require an estimate of the spectral density function at frequency zero at some process. Kernel estimators based on weighted sums of autocovariances constructed using estimated residuals from an AR(1) regression are commonly used. However, it is known that with substantially correlated errors, the OLS estimate of the AR(1) parameter is severely biased. in this paper, we first show that this least squares bias induces a significant increase in the bias and mean-squared error of kernel-based estimators.

Frequency of Chromosome Healing and Interstitial Telomeres in 40 Cases of Constitutional Abnormalities.

Human telomeres play a major role in stabilizing chromosome ends and preventing fusions. Chromosomes bearing a broken end are rescued by the acquisition of a new telomeric cap without any subtelomeric sequences being present at the breakpoint, a process referred to as chromosome healing. Conversely, a loss of telomeric function or integrity can lead to the presence of interstitial telomeres at the junction site in translocations or ring chromosomes. In order to determine the frequency at which interstitial telomeres or chromosome healing events are observed in target chromosome abnormalities, we conducted a retrospective FISH study using pan-telomeric and chromosome-specific subtelomeric probes on archival material from 40 cases of terminal deletions, translocations or ring chromosomes. Of the 19 terminal deletions investigated, 17 were negative for the subtelomeric probe specific to the deleted arm despite being positive for the pan-telomeric probe. These 17 cases were thus considered as been rescued through chromosome healing, suggesting that this process is frequent in terminal deletions. In addition, as two of these cases were inherited from a parent bearing the same deletion, chromosomes healed by this process are thus stable through mitosis and meiosis. Regarding the 13 cases of translocations and eight ring chromosomes, four and two cases respectively demonstrated pan-telomeric sequences at the interstitial junction point. Furthermore, two cases of translocations and one ring chromosome had both interstitial pan-telomeres and subtelomeres, whereas two other cases of ring chromosomes and one case of translocation only showed interstitial subtelomeres. Therefore, interstitial (sub)telomeric sequences in translocations and ring chromosomes are more common than previously thought, as we found a frequency of 43% in this study. Moreover, our results illustrate the necessity of performing FISH with both subtelomeric and pan-telomeric probes when investigating these rearrangements, as the breakpoints can be either in the distal part of the pan-telomeres, or in between the two types of sequences.

Non-negative matrix decomposition approaches to frequency domain analysis of music audio signals

On étudie l’application des algorithmes de décomposition matricielles tel que la Factorisation Matricielle Non-négative (FMN), aux représentations fréquentielles de signaux audio musicaux. Ces algorithmes, dirigés par une fonction d’erreur de reconstruction, apprennent un ensemble de fonctions de base et un ensemble de coef- ficients correspondants qui approximent le signal d’entrée. On compare l’utilisation de trois fonctions d’erreur de reconstruction quand la FMN est appliquée à des gammes monophoniques et harmonisées: moindre carré, divergence Kullback-Leibler, et une mesure de divergence dépendente de la phase, introduite récemment. Des nouvelles méthodes pour interpréter les décompositions résultantes sont présentées et sont comparées aux méthodes utilisées précédemment qui nécessitent des connaissances du domaine acoustique. Finalement, on analyse la capacité de généralisation des fonctions de bases apprises par rapport à trois paramètres musicaux: l’amplitude, la durée et le type d’instrument. Pour ce faire, on introduit deux algorithmes d’étiquetage des fonctions de bases qui performent mieux que l’approche précédente dans la majorité de nos tests, la tâche d’instrument avec audio monophonique étant la seule exception importante.

Modélisation bayésienne des changements aux niches écologiques causés par le réchauffement climatique

Cette thèse présente des méthodes de traitement de données de comptage en particulier et des données discrètes en général. Il s'inscrit dans le cadre d'un projet stratégique du CRNSG, nommé CC-Bio, dont l'objectif est d'évaluer l'impact des changements climatiques sur la répartition des espèces animales et végétales. Après une brève introduction aux notions de biogéographie et aux modèles linéaires mixtes généralisés aux chapitres 1 et 2 respectivement, ma thèse s'articulera autour de trois idées majeures. Premièrement, nous introduisons au chapitre 3 une nouvelle forme de distribution dont les composantes ont pour distributions marginales des lois de Poisson ou des lois de Skellam. Cette nouvelle spécification permet d'incorporer de l'information pertinente sur la nature des corrélations entre toutes les composantes. De plus, nous présentons certaines propriétés de ladite distribution. Contrairement à la distribution multidimensionnelle de Poisson qu'elle généralise, celle-ci permet de traiter les variables avec des corrélations positives et/ou négatives. Une simulation permet d'illustrer les méthodes d'estimation dans le cas bidimensionnel. Les résultats obtenus par les méthodes bayésiennes par les chaînes de Markov par Monte Carlo (CMMC) indiquent un biais relatif assez faible de moins de 5% pour les coefficients de régression des moyennes contrairement à ceux du terme de covariance qui semblent un peu plus volatils. Deuxièmement, le chapitre 4 présente une extension de la régression multidimensionnelle de Poisson avec des effets aléatoires ayant une densité gamma. En effet, conscients du fait que les données d'abondance des espèces présentent une forte dispersion, ce qui rendrait fallacieux les estimateurs et écarts types obtenus, nous privilégions une approche basée sur l'intégration par Monte Carlo grâce à l'échantillonnage préférentiel. L'approche demeure la même qu'au chapitre précédent, c'est-à-dire que l'idée est de simuler des variables latentes indépendantes et de se retrouver dans le cadre d'un modèle linéaire mixte généralisé (GLMM) conventionnel avec des effets aléatoires de densité gamma. Même si l'hypothèse d'une connaissance a priori des paramètres de dispersion semble trop forte, une analyse de sensibilité basée sur la qualité de l'ajustement permet de démontrer la robustesse de notre méthode. Troisièmement, dans le dernier chapitre, nous nous intéressons à la définition et à la construction d'une mesure de concordance donc de corrélation pour les données augmentées en zéro par la modélisation de copules gaussiennes. Contrairement au tau de Kendall dont les valeurs se situent dans un intervalle dont les bornes varient selon la fréquence d'observations d'égalité entre les paires, cette mesure a pour avantage de prendre ses valeurs sur (-1;1). Initialement introduite pour modéliser les corrélations entre des variables continues, son extension au cas discret implique certaines restrictions. En effet, la nouvelle mesure pourrait être interprétée comme la corrélation entre les variables aléatoires continues dont la discrétisation constitue nos observations discrètes non négatives. Deux méthodes d'estimation des modèles augmentés en zéro seront présentées dans les contextes fréquentiste et bayésien basées respectivement sur le maximum de vraisemblance et l'intégration de Gauss-Hermite. Enfin, une étude de simulation permet de montrer la robustesse et les limites de notre approche.

Estimation of State Space Models and Stochastic Volatility

Ma thèse est composée de trois chapitres reliés à l'estimation des modèles espace-état et volatilité stochastique. Dans le première article, nous développons une procédure de lissage de l'état, avec efficacité computationnelle, dans un modèle espace-état linéaire et gaussien. Nous montrons comment exploiter la structure particulière des modèles espace-état pour tirer les états latents efficacement. Nous analysons l'efficacité computationnelle des méthodes basées sur le filtre de Kalman, l'algorithme facteur de Cholesky et notre nouvelle méthode utilisant le compte d'opérations et d'expériences de calcul. Nous montrons que pour de nombreux cas importants, notre méthode est plus efficace. Les gains sont particulièrement grands pour les cas où la dimension des variables observées est grande ou dans les cas où il faut faire des tirages répétés des états pour les mêmes valeurs de paramètres. Comme application, on considère un modèle multivarié de Poisson avec le temps des intensités variables, lequel est utilisé pour analyser le compte de données des transactions sur les marchés financières. Dans le deuxième chapitre, nous proposons une nouvelle technique pour analyser des modèles multivariés à volatilité stochastique. La méthode proposée est basée sur le tirage efficace de la volatilité de son densité conditionnelle sachant les paramètres et les données. Notre méthodologie s'applique aux modèles avec plusieurs types de dépendance dans la coupe transversale. Nous pouvons modeler des matrices de corrélation conditionnelles variant dans le temps en incorporant des facteurs dans l'équation de rendements, où les facteurs sont des processus de volatilité stochastique indépendants. Nous pouvons incorporer des copules pour permettre la dépendance conditionnelle des rendements sachant la volatilité, permettant avoir différent lois marginaux de Student avec des degrés de liberté spécifiques pour capturer l'hétérogénéité des rendements. On tire la volatilité comme un bloc dans la dimension du temps et un à la fois dans la dimension de la coupe transversale. Nous appliquons la méthode introduite par McCausland (2012) pour obtenir une bonne approximation de la distribution conditionnelle à posteriori de la volatilité d'un rendement sachant les volatilités d'autres rendements, les paramètres et les corrélations dynamiques. Le modèle est évalué en utilisant des données réelles pour dix taux de change. Nous rapportons des résultats pour des modèles univariés de volatilité stochastique et deux modèles multivariés. Dans le troisième chapitre, nous évaluons l'information contribuée par des variations de volatilite réalisée à l'évaluation et prévision de la volatilité quand des prix sont mesurés avec et sans erreur. Nous utilisons de modèles de volatilité stochastique. Nous considérons le point de vue d'un investisseur pour qui la volatilité est une variable latent inconnu et la volatilité réalisée est une quantité d'échantillon qui contient des informations sur lui. Nous employons des méthodes bayésiennes de Monte Carlo par chaîne de Markov pour estimer les modèles, qui permettent la formulation, non seulement des densités a posteriori de la volatilité, mais aussi les densités prédictives de la volatilité future. Nous comparons les prévisions de volatilité et les taux de succès des prévisions qui emploient et n'emploient pas l'information contenue dans la volatilité réalisée. Cette approche se distingue de celles existantes dans la littérature empirique en ce sens que ces dernières se limitent le plus souvent à documenter la capacité de la volatilité réalisée à se prévoir à elle-même. Nous présentons des applications empiriques en utilisant les rendements journaliers des indices et de taux de change. Les différents modèles concurrents sont appliqués à la seconde moitié de 2008, une période marquante dans la récente crise financière.

La symptomatologie dépressive prénatale : une étude comparative des femmes canadiennes et immigrantes à Montréal.

Contexte : Environ 20 % des femmes enceintes présentent un risque élevé de dépression prénatale. Les femmes immigrantes présentent des symptômes dépressifs élevés pendant la grossesse, le début de la période suivant l'accouchement et comme mères de jeunes enfants. Tandis que les disparités ethniques dans la symptomatologie dépressive pendant la grossesse ont été décrites, la combinaison de la longueur du séjour dans le pays d’accueil et la région d'origine sont rarement évalués dans des études qui portent sur la santé des immigrants au Canada. En outre, les études auprès des femmes immigrantes enceintes ont souvent un échantillon de taille qui ne suffit pas pour démêler les effets de la région d'origine et de la durée du séjour sur la santé mentale. De plus, au Canada, presque une femme sur cinq est un immigrant, mais leur santé mentale au cours de la grossesse, les niveaux d'exposition aux facteurs de risque reconnus pour la dépression prénatale et comment leur exposition et la vulnérabilité face à ces risques se comparent à celles des femmes enceintes nés au Canada, sont peu connus. De plus, le processus d'immigration peut être accompagné de nombreux défis qui augmentent le risque de violence subie par la femme. Néanmoins, les preuves existantes dans la littérature sont contradictoires, surtout en ce qui concerne le type de violence évaluée, les minorités ethniques qui sont considérées et l'inclusion de l'état de santé mentale. Objectifs : Tout d'abord, nous avons comparé la santé mentale de femmes immigrantes et les femmes nées au Canada au cours de la grossesse en tenant compte de la durée du séjour et de la région d'origine, et nous avons évalué le rôle des facteurs socio-économiques et du soutien social dans la symptomatologie dépressive prénatale. Deuxièmement, nous avons examiné la répartition des facteurs de risque contextuels de la symptomatologie dépressive prénatale selon le statut d'immigrant et la durée du séjour au Canada. Nous avons ensuite évalué l'association entre ces facteurs de risque et les symptômes de dépression prénataux et ensuite comparé la vulnérabilité des femmes nés au Canada et les femmes immigrantes à ces facteurs de risque en ce qui concerne les symptômes de la dépression prénatale. En troisième lieu, nous avons décrit la prévalence de la violence pendant la grossesse et examiné l'association entre l'expérience de la violence depuis le début de la grossesse et la prévalence des symptômes de la dépression prénatale, en tenant compte du statut d’immigrant. Méthodes : Les données proviennent de l'étude de Montréal sur les différences socio-économiques en prématurité. Les femmes ont été recrutées lors des examens de routine d'échographie (16 à 20 semaines), lors de la prise du sang (8-12 semaines), ou dans les centres de soins prénatals. L’échelle de dépistage Center for Epidemiologic Studies (CES-D) a été utilisée pour évaluer la symptomatologie dépressive à 24-26 semaines de grossesse chez 1495 immigrantes et 3834 femmes nées au Canada. Les niveaux d'exposition à certains facteurs de risque ont été évalués selon le statut d'immigrant et la durée de séjour à l'aide des tests Chi-2 ou test- t. L'échelle de dépistage Abuse Assessment screen (AAS) a été utilisée pour déterminer la fréquence et la gravité de la violence depuis le début de la grossesse. La relation avec l'agresseur a été également considérée. Toutes les mesures d'association ont été évaluées à l'aide de régressions logistiques multiples. Des termes d'interaction multiplicative furent construits entre chacun des facteurs de risque et statut d'immigrant pour révéler la vulnérabilité différentielle entre les femmes nés au Canada et immigrantes. Résultats : La prévalence des symptômes de dépression prénatales (CES-D > = 16 points) était plus élevée chez les immigrantes (32 % [29,6-34,4]) que chez les femmes nées au Canada (22,8 % (IC 95 % [21.4-24.1]). Des femmes immigrantes présentaient une symptomatologie dépressive élevée indépendamment du temps depuis l'immigration. La région d'origine est un fort indice de la symptomatologie dépressive : les prévalences les plus élevées ont été observées chez les femmes de la région des Caraïbes (45 %), de l’Asie du Sud (43 %), du Maghreb (42 %), de l'Afrique subsaharienne (39 %) et de l’Amérique latine (33 %) comparativement aux femmes nées au Canada (22 %) et celle de l'Asie de l’Est où la prévalence était la plus faible (17 %). La susceptibilité de présenter une dépression prénatale chez les femmes immigrantes était attenuée après l’ajustement pour le manque de soutien social et de l'argent pour les besoins de base. En ce qui concerne la durée du séjour au Canada, les symptômes dépressifs ont augmenté avec le temps chez les femmes d’origines européenne et asiatique du sud-est, diminué chez les femmes venant du Maghreb, de l’Afrique subsaharienne, du Moyen-Orient, et de l’Asie de l'est, et ont varié avec le temps chez les femmes d’origine latine et des Caraïbes. Les femmes immigrantes étaient beaucoup plus exposées que celles nées au Canada à des facteurs de risques contextuels indésirables comme la mésentente conjugale, le manque de soutien social, la pauvreté et l'encombrement au domicile. Au même niveau d'exposition aux facteurs de risque, les femmes nées au Canada ont présenté une plus grande vulnérabilité à des symptômes de la dépression prénatale en l'absence de soutien social (POR = 4,14 IC95 % [2,69 ; 6.37]) tandis que les femmes immigrées ont présentées une plus grande vulnérabilité à des symptômes de la dépression prénatale en absence d'argent pour les besoins de base (POR = 2,98 IC95 % [2.06 ; 4,32]). En ce qui concerne la violence, les menaces constituent le type de la violence le plus souvent rapporté avec 63 % qui ont lieu plus d'une fois. Les femmes immigrantes de long terme ont rapporté la prévalence la plus élevée de tous les types de violence (7,7 %). La violence par le partenaire intime a été la plus fréquemment rapportées (15 %) chez les femmes enceintes les plus pauvres. Des fortes associations ont été obtenues entre la fréquence de la violence (plus d'un épisode) et la symptomatologie dépressive (POR = 5,21 [3,73 ; 7,23] ; ainsi qu’entre la violence par le partenaire intime et la symptomatologie dépressive (POR = 5, 81 [4,19 ; 8,08). Le statut d'immigrant n'a pas modifié les associations entre la violence et la symptomatologie dépressive. Conclusion: Les fréquences élevées des symptômes dépressifs observées mettent en évidence la nécessité d'évaluer l'efficacité des interventions préventives contre la dépression prénatale. La dépression chez les femmes enceintes appartenant à des groupes minoritaires mérite plus d'attention, indépendamment de leur durée de séjour au Canada. Les inégalités d’exposition aux facteurs de risque existent entre les femmes enceintes nées au Canada et immigrantes. Des interventions favorisant la réduction de la pauvreté et l'intégration sociale pourraient réduire le risque de la dépression prénatale. La violence contre les femmes enceintes n'est pas rare au Canada et elle est associée à des symptômes de la dépression prénatale. Ces résultats appuient le développement futur du dépistage périnatal de la violence, de son suivi et d'un système d'aiguillage culturellement ajusté.

"Empirical Analysis of Jumps Contribution to Volatility Forecasting Using High Frequency Data".

Rapport de recherche présenté à la Faculté des arts et des sciences en vue de l'obtention du grade de Maîtrise en sciences économiques.

Bootstrapping high frequency data

Nous développons dans cette thèse, des méthodes de bootstrap pour les données financières de hautes fréquences. Les deux premiers essais focalisent sur les méthodes de bootstrap appliquées à l’approche de "pré-moyennement" et robustes à la présence d’erreurs de microstructure. Le "pré-moyennement" permet de réduire l’influence de l’effet de microstructure avant d’appliquer la volatilité réalisée. En se basant sur cette ap- proche d’estimation de la volatilité intégrée en présence d’erreurs de microstructure, nous développons plusieurs méthodes de bootstrap qui préservent la structure de dépendance et l’hétérogénéité dans la moyenne des données originelles. Le troisième essai développe une méthode de bootstrap sous l’hypothèse de Gaussianité locale des données financières de hautes fréquences. Le premier chapitre est intitulé: "Bootstrap inference for pre-averaged realized volatility based on non-overlapping returns". Nous proposons dans ce chapitre, des méthodes de bootstrap robustes à la présence d’erreurs de microstructure. Particulièrement nous nous sommes focalisés sur la volatilité réalisée utilisant des rendements "pré-moyennés" proposés par Podolskij et Vetter (2009), où les rendements "pré-moyennés" sont construits sur des blocs de rendements à hautes fréquences consécutifs qui ne se chevauchent pas. Le "pré-moyennement" permet de réduire l’influence de l’effet de microstructure avant d’appliquer la volatilité réalisée. Le non-chevauchement des blocs fait que les rendements "pré-moyennés" sont asymptotiquement indépendants, mais possiblement hétéroscédastiques. Ce qui motive l’application du wild bootstrap dans ce contexte. Nous montrons la validité théorique du bootstrap pour construire des intervalles de type percentile et percentile-t. Les simulations Monte Carlo montrent que le bootstrap peut améliorer les propriétés en échantillon fini de l’estimateur de la volatilité intégrée par rapport aux résultats asymptotiques, pourvu que le choix de la variable externe soit fait de façon appropriée. Nous illustrons ces méthodes en utilisant des données financières réelles. Le deuxième chapitre est intitulé : "Bootstrapping pre-averaged realized volatility under market microstructure noise". Nous développons dans ce chapitre une méthode de bootstrap par bloc basée sur l’approche "pré-moyennement" de Jacod et al. (2009), où les rendements "pré-moyennés" sont construits sur des blocs de rendements à haute fréquences consécutifs qui se chevauchent. Le chevauchement des blocs induit une forte dépendance dans la structure des rendements "pré-moyennés". En effet les rendements "pré-moyennés" sont m-dépendant avec m qui croît à une vitesse plus faible que la taille d’échantillon n. Ceci motive l’application d’un bootstrap par bloc spécifique. Nous montrons que le bloc bootstrap suggéré par Bühlmann et Künsch (1995) n’est valide que lorsque la volatilité est constante. Ceci est dû à l’hétérogénéité dans la moyenne des rendements "pré-moyennés" au carré lorsque la volatilité est stochastique. Nous proposons donc une nouvelle procédure de bootstrap qui combine le wild bootstrap et le bootstrap par bloc, de telle sorte que la dépendance sérielle des rendements "pré-moyennés" est préservée à l’intérieur des blocs et la condition d’homogénéité nécessaire pour la validité du bootstrap est respectée. Sous des conditions de taille de bloc, nous montrons que cette méthode est convergente. Les simulations Monte Carlo montrent que le bootstrap améliore les propriétés en échantillon fini de l’estimateur de la volatilité intégrée par rapport aux résultats asymptotiques. Nous illustrons cette méthode en utilisant des données financières réelles. Le troisième chapitre est intitulé: "Bootstrapping realized covolatility measures under local Gaussianity assumption". Dans ce chapitre nous montrons, comment et dans quelle mesure on peut approximer les distributions des estimateurs de mesures de co-volatilité sous l’hypothèse de Gaussianité locale des rendements. En particulier nous proposons une nouvelle méthode de bootstrap sous ces hypothèses. Nous nous sommes focalisés sur la volatilité réalisée et sur le beta réalisé. Nous montrons que la nouvelle méthode de bootstrap appliquée au beta réalisé était capable de répliquer les cummulants au deuxième ordre, tandis qu’il procurait une amélioration au troisième degré lorsqu’elle est appliquée à la volatilité réalisée. Ces résultats améliorent donc les résultats existants dans cette littérature, notamment ceux de Gonçalves et Meddahi (2009) et de Dovonon, Gonçalves et Meddahi (2013). Les simulations Monte Carlo montrent que le bootstrap améliore les propriétés en échantillon fini de l’estimateur de la volatilité intégrée par rapport aux résultats asymptotiques et les résultats de bootstrap existants. Nous illustrons cette méthode en utilisant des données financières réelles.

Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.