Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Développement de la sensibilité des neurones du collicule supérieur à la durée de la stimulation auditive

Chez plusieurs espèces, les neurones auditifs sensibles à la durée de la stimulation sont présents au niveau des collicules inférieurs. Toutefois, le décours temporel de leur développement fonctionnel est inconnu. Étant donné que le collicule supérieur est l’un des principaux relais sous-cortical impliqué dans l’intégration des stimuli audio-visuels, nous voulons déterminer si le collicule supérieur du rat contient de tels neurones et s’ils sont sensibles et sélectifs à différentes durées de stimulation auditive. De plus, l'originalité de cette étude est de déterminer les étapes de leur maturation fonctionnelle. Des enregistrements neuronaux unitaires et extra-cellulaires sont effectués dans le collicule supérieur de rats juvéniles (P15-P18, P21-P24, P27-P30) et adultes anesthésiés. La sensibilité à la durée est déterminée lors de la présentation de bruits gaussiens (2-10 dB SPL au-dessus du seuil) de durées variables (3-100 ms). Seulement un faible pourcentage des neurones du collicule supérieur est de type passe-bande (3-9% des neurones parmi les ratons et 20% chez les rats adultes). Une différence significative de la distribution entre les différents types de neurones auditifs sensibles à la durée est présente au cours du développement: les neurones de type passe-haut (63-75%) sont présents en majorité chez les groupes juvéniles alors que 43% des neurones sont de type insensible à la durée de la stimulation auditive chez les rats adultes. Ces résultats montrent qu’une population importante de neurones auditifs du collicule supérieur du rat est sensible à la durée des signaux sonores et qu’un développement fonctionnel important survient au cours du premier mois postnatal.

Méthodes de génération et de validation de champs de déformation pour la recombinaison de distribution de dose à l’aide d’images 4DCT dans le cadre d’une planification de traitement de cancers pulmonaires

Des efforts de recherche considérables ont été déployés afin d'améliorer les résultats de traitement de cancers pulmonaires. L'étude de la déformation de l'anatomie du patient causée par la ventilation pulmonaire est au coeur du processus de planification de traitement radio-oncologique. À l'aide d'images de tomodensitométrie quadridimensionnelles (4DCT), une simulation dosimétrique peut être calculée sur les 10 ensembles d'images du 4DCT. Une méthode doit être employée afin de recombiner la dose de radiation calculée sur les 10 anatomies représentant une phase du cycle respiratoire. L'utilisation de recalage déformable d'images (DIR), une méthode de traitement d'images numériques, génère neuf champs vectoriels de déformation permettant de rapporter neuf ensembles d'images sur un ensemble de référence correspondant habituellement à la phase d'expiration profonde du cycle respiratoire. L'objectif de ce projet est d'établir une méthode de génération de champs de déformation à l'aide de la DIR conjointement à une méthode de validation de leur précision. Pour y parvenir, une méthode de segmentation automatique basée sur la déformation surfacique de surface à été créée. Cet algorithme permet d'obtenir un champ de déformation surfacique qui décrit le mouvement de l'enveloppe pulmonaire. Une interpolation volumétrique est ensuite appliquée dans le volume pulmonaire afin d'approximer la déformation interne des poumons. Finalement, une représentation en graphe de la vascularisation interne du poumon a été développée afin de permettre la validation du champ de déformation. Chez 15 patients, une erreur de recouvrement volumique de 7.6 ± 2.5[%] / 6.8 ± 2.1[%] et une différence relative des volumes de 6.8 ± 2.4 [%] / 5.9 ± 1.9 [%] ont été calculées pour le poumon gauche et droit respectivement. Une distance symétrique moyenne 0.8 ± 0.2 [mm] / 0.8 ± 0.2 [mm], une distance symétrique moyenne quadratique de 1.2 ± 0.2 [mm] / 1.3 ± 0.3 [mm] et une distance symétrique maximale 7.7 ± 2.4 [mm] / 10.2 ± 5.2 [mm] ont aussi été calculées pour le poumon gauche et droit respectivement. Finalement, 320 ± 51 bifurcations ont été détectées dans le poumons droit d'un patient, soit 92 ± 10 et 228 ± 45 bifurcations dans la portion supérieure et inférieure respectivement. Nous avons été en mesure d'obtenir des champs de déformation nécessaires pour la recombinaison de dose lors de la planification de traitement radio-oncologique à l'aide de la méthode de déformation hiérarchique des surfaces. Nous avons été en mesure de détecter les bifurcations de la vascularisation pour la validation de ces champs de déformation.

Design de nouvelles fonctionnelles en théorie de la fonctionnelle de la densité et conception de polymères pour application à la photovoltaïque organique

La présente thèse porte sur les calculs utilisant la théorie de la fonctionnelle de la densité (DFT) pour simuler des systèmes dans lesquels les effets à longue portée sont importants. Une emphase particulière est mise sur les calculs des énergies d’excitations, tout particulièrement dans le cadre des applications photovoltaïques. Cette thèse aborde ces calculs sous deux angles. Tout d’abord, des outils DFT déjà bien établis seront utilisés pour simuler des systèmes d’intérêt expérimental. Par la suite, la théorie sous-jacente à la DFT sera explorée, ses limites seront identifiées et de nouveaux développements théoriques remédiant à ceux-ci seront proposés. Ainsi, dans la première partie de cette thèse, des calculs numériques utilisant la DFT et la théorie de la fonctionnelle de la densité dépendante du temps (TDDFT) telles qu’implémentées dans le logiciel Gaussian [1] sont faits avec des fonctionnelles courantes sur des molécules et des polymères d’intérêt expérimental. En particulier, le projet présenté dans le chapitre 2 explore l’utilisation de chaînes latérales pour optimiser les propriétés électroniques de polymères déjà couramment utilisés en photovoltaïque organique. Les résultats obtenus montrent qu’un choix judicieux de chaînes latérales permet de contrôler les propriétés électroniques de ces polymères et d’augmenter l’efficacité des cellules photovoltaïques les utilisant. Par la suite, le projet présenté dans le chapitre 3 utilise la TDDFT pour explorer les propriétés optiques de deux polymères, le poly-3-hexyl-thiophène (P3HT) et le poly-3-hexyl- sélénophène (P3HS), ainsi que leur mélange, dans le but d’appuyer les observations expérimentales indiquant la formation d’exciplexe dans ces derniers. Les calculs numériques effectués dans la première partie de cette thèse permettent de tirer plusieurs conclusions intéressantes, mais mettent également en évidence certaines limites de la DFT et de la TDDFT pour le traitement des états excités, dues au traitement approximatif de l’interaction coulombienne à longue portée. Ainsi, la deuxième partie de cette thèse revient aux fondements théoriques de la DFT. Plus précisément, dans le chapitre 4, une série de fonctionnelles modélisant plus précisément l’interaction coulombienne à longue portée grâce à une approche non-locale est élaborée. Ces fonctionnelles sont basées sur la WDA (weighted density approximation), qui est modifiée afin d’imposer plusieurs conditions exactes qui devraient être satisfaites par le trou d’échange. Ces fonctionnelles sont ensuite implémentées dans le logiciel Gaussian [1] et leurs performances sont évaluées grâce à des tests effectués sur une série de molécules et d’atomes. Les résultats obtenus indiquent que plusieurs de ces fonctionnelles donnent de meilleurs résultats que la WDA. De plus, ils permettrent de discuter de l’importance relative de satisfaire chacune des conditions exactes.

La recherche de naines brunes et étoiles de faible masse dans les associations cinématiques jeunes du voisinage solaire

L’objectif principal de cette thèse est d’identifier les étoiles de faible masse et naines brunes membres d’associations cinématiques jeunes du voisinage solaire. Ces associations sont typiquement âgées de moins de 200 millions d’années et regroupent chacune un ensemble d’étoiles s’étant formées au même moment et dans un même environnement. La majorité de leurs membres d'environ plus de 0.3 fois la masse du Soleil sont déjà connus, cependant les membres moins massifs (et moins brillants) nous échappent encore. Leur identification permettra de lever le voile sur plusieurs questions fondamentales en astrophysique. En particulier, le fait de cibler des objets jeunes, encore chauds et lumineux par leur formation récente, permettra d’atteindre un régime de masses encore peu exploré, jusqu'à seulement quelques fois la masse de Jupiter. Elles nous permettront entre autres de contraindre la fonction de masse initiale et d'explorer la connection entre naines brunes et exoplanètes, étant donné que les moins massives des naines brunes jeunes auront des propriétés physiques très semblables aux exoplanètes géantes gazeuses. Pour mener à bien ce projet, nous avons adapté l'outil statistique BANYAN I pour qu'il soit applicable aux objets de très faibles masses en plus de lui apporter plusieurs améliorations. Nous avons entre autres inclus l'utilisation de deux diagrammes couleur-magnitude permettant de différencier les étoiles de faible masse et naines brunes jeunes à celles plus vieilles, ajouté l'utilisation de probabilités a priori pour rendre les résultats plus réalistes, adapté les modèles spatiaux et cinématiques des associations jeunes en utilisant des ellipsoïdes gaussiennes tridimensionnelles dont l'alignement des axes est libre, effectué une analyse Monte Carlo pour caractériser le taux de faux-positifs et faux-négatifs, puis revu la structure du code informatique pour le rendre plus efficace. Dans un premier temps, nous avons utilisé ce nouvel algorithme, BANYAN II, pour identifier 25 nouvelles candidates membres d'associations jeunes parmi un échantillon de 158 étoiles de faible masse (de types spectraux > M4) et naines brunes jeunes déjà connues. Nous avons ensuite effectué la corrélation croisée de deux catalogues couvrant tout le ciel en lumière proche-infrarouge et contenant ~ 500 millions d’objets célestes pour identifier environ 100 000 candidates naines brunes et étoiles de faible masse du voisinage solaire. À l'aide de l'outil BANYAN II, nous avons alors identifié quelques centaines d'objets appartenant fort probablement à une association jeune parmi cet échantillon et effectué un suivi spectroscopique en lumière proche-infrarouge pour les caractériser. Les travaux présentés ici ont mené à l'identification de 79 candidates naines brunes jeunes ainsi que 150 candidates étoiles de faible masse jeunes, puis un suivi spectroscopique nous a permis de confirmer le jeune âge de 49 de ces naines brunes et 62 de ces étoiles de faible masse. Nous avons ainsi approximativement doublé le nombre de naines brunes jeunes connues, ce qui a ouvert la porte à une caractérisation statistique de leur population. Ces nouvelles naines brunes jeunes représentent un laboratoire idéal pour mieux comprendre l'atmosphère des exoplanètes géantes gazeuses. Nous avons identifié les premiers signes d’une remontée dans la fonction de masse initiale des naines brunes aux très faibles masses dans l'association jeune Tucana-Horologium, ce qui pourrait indiquer que l’éjection d’exoplanètes joue un rôle important dans la composition de leur population. Les résultats du suivi spectroscopique nous ont permis de construire une séquence empirique complète pour les types spectraux M5-L5 à l'âge du champ, à faible (β) et très faible (γ) gravité de surface. Nous avons effectué une comparaison de ces données aux modèles d'évolution et d'atmosphère, puis nous avons construit un ensemble de séquences empiriques de couleur-magnitude et types spectraux-magnitude pour les naines brunes jeunes. Finalement, nous avons découvert deux nouvelles exoplanètes par un suivi en imagerie directe des étoiles jeunes de faible masse identifiées dans ce projet. La future mission GAIA et le suivi spectroscopique complet des candidates présentées dans cette thèse permettront de confirmer leur appartenance aux associations jeunes et de contraindre la fonction de masse initiale dans le régime sous-stellaire.

Développement d’un modèle de classification probabiliste pour la cartographie du couvert nival dans les bassins versants d’Hydro-Québec à l’aide de données de micro-ondes passives

Chaque jour, des décisions doivent être prises quant à la quantité d'hydroélectricité produite au Québec. Ces décisions reposent sur la prévision des apports en eau dans les bassins versants produite à l'aide de modèles hydrologiques. Ces modèles prennent en compte plusieurs facteurs, dont notamment la présence ou l'absence de neige au sol. Cette information est primordiale durant la fonte printanière pour anticiper les apports à venir, puisqu'entre 30 et 40% du volume de crue peut provenir de la fonte du couvert nival. Il est donc nécessaire pour les prévisionnistes de pouvoir suivre l'évolution du couvert de neige de façon quotidienne afin d'ajuster leurs prévisions selon le phénomène de fonte. Des méthodes pour cartographier la neige au sol sont actuellement utilisées à l'Institut de recherche d'Hydro-Québec (IREQ), mais elles présentent quelques lacunes. Ce mémoire a pour objectif d'utiliser des données de télédétection en micro-ondes passives (le gradient de températures de brillance en position verticale (GTV)) à l'aide d'une approche statistique afin de produire des cartes neige/non-neige et d'en quantifier l'incertitude de classification. Pour ce faire, le GTV a été utilisé afin de calculer une probabilité de neige quotidienne via les mélanges de lois normales selon la statistique bayésienne. Par la suite, ces probabilités ont été modélisées à l'aide de la régression linéaire sur les logits et des cartographies du couvert nival ont été produites. Les résultats des modèles ont été validés qualitativement et quantitativement, puis leur intégration à Hydro-Québec a été discutée.

Systematic construction of models for the exchange hole of density functional theory.

Dans ce travail, nous étendons le nombre de conditions physiques actuellement con- nues du trou d’échange exact avec la dérivation de l’expansion de quatrième ordre du trou d’échange sphérique moyenne exacte. Nous comparons les expansions de deux- ième et de quatrième ordre avec le trou d’échange exact pour des systèmes atomiques et moléculaires. Nous avons constaté que, en général, l’expansion du quatrième ordre reproduit plus fidèlement le trou d’échange exact pour les petites valeurs de la distance interélectronique. Nous démontrons que les ensembles de base de type gaussiennes ont une influence significative sur les termes de cette nouvelle condition, en étudiant com- ment les oscillations causées par ces ensembles de bases affectent son premier terme. Aussi, nous proposons quatre modèles de trous d’échange analytiques auxquels nous imposons toutes les conditions actuellement connues du trou d’échange exact et la nou- velle présentée dans ce travail. Nous évaluons la performance des modèles en calculant des énergies d’échange et ses contributions à des énergies d’atomisation. On constate que les oscillations causeés par les bases de type gaussiennes peuvent compromettre la précision et la solution des modèles.

Scoliosis curve type classification from 3D trunk image

Adolescent idiopathic scoliosis (AIS) is a deformity of the spine manifested by asymmetry and deformities of the external surface of the trunk. Classification of scoliosis deformities according to curve type is used to plan management of scoliosis patients. Currently, scoliosis curve type is determined based on X-ray exam. However, cumulative exposure to X-rays radiation significantly increases the risk for certain cancer. In this paper, we propose a robust system that can classify the scoliosis curve type from non invasive acquisition of 3D trunk surface of the patients. The 3D image of the trunk is divided into patches and local geometric descriptors characterizing the surface of the back are computed from each patch and forming the features. We perform the reduction of the dimensionality by using Principal Component Analysis and 53 components were retained. In this work a multi-class classifier is built with Least-squares support vector machine (LS-SVM) which is a kernel classifier. For this study, a new kernel was designed in order to achieve a robust classifier in comparison with polynomial and Gaussian kernel. The proposed system was validated using data of 103 patients with different scoliosis curve types diagnosed and classified by an orthopedic surgeon from the X-ray images. The average rate of successful classification was 93.3% with a better rate of prediction for the major thoracic and lumbar/thoracolumbar types.

Modelling and Analysis of Some Time Series

The thesis deals with some of the non-linear Gaussian and non-Gaussian time models and mainly concentrated in studying the properties and application of a first order autoregressive process with Cauchy marginal distribution. In this thesis some of the non-linear Gaussian and non-Gaussian time series models and mainly concentrated in studying the properties and application of a order autoregressive process with Cauchy marginal distribution. Time series relating to prices, consumptions, money in circulation, bank deposits and bank clearing, sales and profit in a departmental store, national income and foreign exchange reserves, prices and dividend of shares in a stock exchange etc. are examples of economic and business time series. The thesis discuses the application of a threshold autoregressive(TAR) model, try to fit this model to a time series data. Another important non-linear model is the ARCH model, and the third model is the TARCH model. The main objective here is to identify an appropriate model to a given set of data. The data considered are the daily coconut oil prices for a period of three years. Since it is a price data the consecutive prices may not be independent and hence a time series based model is more appropriate. In this study the properties like ergodicity, mixing property and time reversibility and also various estimation procedures used to estimate the unknown parameters of the process.

Pulse Wave Propagating in Coplanar Waveguides (cPWS) on LTCC Substrates

The propagation of pulse waves in coplanar waveguides (CPWs) is investigated, and these CPWs are assumed to be fabricated on a single -layer low- temperature co-fired ceramic (LTCC) substrate. The input pulse wave can be a Gaussian pulse or a sinusoldally modulated Gaussian pulse. Based on the standard Galerkin 's method in the spectral domain, combined with fast Fourier transform (FFT), the pulse waveform and delay in CPWs are demonstrated and compared for a second plate, oriented orthogonally to the primary planar element, thus producing a crossed planar monopole (CPM), which is simpler to produce and has lower cost than a conical monopole. In this paper, further measurements have been made on this element

Spectroscopic Investigation of Tooth Caries and Demineralization

Dental caries persists to be the most predominant oral disease in spite of remarkable progress made during the past half- century to reduce its prevalence. Early diagnosis of carious lesions is an important factor in the prevention and management of dental caries. Conventional procedures for caries detection involve visual-tactile and radiographic examination, which is considered as “gold standard”. These techniques are subjective and are unable to detect the lesions until they are well advanced and involve about one-third of the thickness of enamel. Therefore, all these factors necessitate the need for the development of new techniques for early diagnosis of carious lesions. Researchers have been trying to develop various instruments based on optical spectroscopic techniques for detection of dental caries during the last two decades. These optical spectroscopic techniques facilitate noninvasive and real-time tissue characterization with reduced radiation exposure to patient, thereby improving the management of dental caries. Nonetheless, a costeffective optical system with adequate sensitivity and specificity for clinical use is still not realized and development of such a system is a challenging task.Two key techniques based on the optical properties of dental hard tissues are discussed in this current thesis, namely laser-induced fluorescence (LIF) and diffuse reflectance (DR) spectroscopy for detection of tooth caries and demineralization. The work described in this thesis is mainly of applied nature, focusing on the analysis of data from in vitro tooth samples and extending these results to diagnose dental caries in a clinical environment. The work mainly aims to improve and contribute to the contemporary research on fluorescence and diffuse reflectance for discriminating different stages of carious lesions. Towards this, a portable and compact laser-induced fluorescence and reflectance spectroscopic system (LIFRS) was developed for point monitoring of fluorescence and diffuse reflectance spectra from tooth samples. The LIFRS system uses either a 337 nm nitrogen laser or a 404 nm diode laser for the excitation of tooth autofluorescence and a white light source (tungsten halogen lamp) for measuring diffuse reflectance.Extensive in vitro studies were carried out on extracted tooth samples to test the applicability of LIFRS system for detecting dental caries, before being tested in a clinical environment. Both LIF and DR studies were performed for diagnosis of dental caries, but special emphasis was given for early detection and also to discriminate between different stages of carious lesions. Further the potential of LIFRS system in detecting demineralization and remineralization were also assessed.In the clinical trial on 105 patients, fluorescence reference standard (FRS) criteria was developed based on LIF spectral ratios (F500/F635 and F500/F680) to discriminate different stages of caries and for early detection of dental caries. The FRS ratio scatter plots developed showed better sensitivity and specificity as compared to clinical and radiographic examination, and the results were validated with the blindtests. Moreover, the LIF spectra were analyzed by curve-fitting using Gaussian spectral functions and the derived curve-fitted parameters such as peak position, Gaussian curve area, amplitude and width were found to be useful for distinguishing different stages of caries. In DR studies, a novel method was established based on DR ratios (R500/R700, R600/R700 and R650/R700) to detect dental caries with improved accuracy. Further the diagnostic accuracy of LIFRS system was evaluated in terms of sensitivity, specificity and area under the ROC curve. On the basis of these results, the LIFRS system was found useful as a valuable adjunct to the clinicians for detecting carious lesions.

The quantum effects in quadratically damped systems

A dynamical system with a damping that is quadratic in velocity is converted into the Hamiltonian format using a nonlinear transformation. Its quantum mechanical behaviour is then analysed by invoking the Gaussian effective potential technique. The method is worked out explicitly for the Duffing oscillator potential.

Modeling and Analysis of Some Heavy Tailed Time Series

The thesis has covered various aspects of modeling and analysis of finite mean time series with symmetric stable distributed innovations. Time series analysis based on Box and Jenkins methods are the most popular approaches where the models are linear and errors are Gaussian. We highlighted the limitations of classical time series analysis tools and explored some generalized tools and organized the approach parallel to the classical set up. In the present thesis we mainly studied the estimation and prediction of signal plus noise model. Here we assumed the signal and noise follow some models with symmetric stable innovations.We start the thesis with some motivating examples and application areas of alpha stable time series models. Classical time series analysis and corresponding theories based on finite variance models are extensively discussed in second chapter. We also surveyed the existing theories and methods correspond to infinite variance models in the same chapter. We present a linear filtering method for computing the filter weights assigned to the observation for estimating unobserved signal under general noisy environment in third chapter. Here we consider both the signal and the noise as stationary processes with infinite variance innovations. We derived semi infinite, double infinite and asymmetric signal extraction filters based on minimum dispersion criteria. Finite length filters based on Kalman-Levy filters are developed and identified the pattern of the filter weights. Simulation studies show that the proposed methods are competent enough in signal extraction for processes with infinite variance.Parameter estimation of autoregressive signals observed in a symmetric stable noise environment is discussed in fourth chapter. Here we used higher order Yule-Walker type estimation using auto-covariation function and exemplify the methods by simulation and application to Sea surface temperature data. We increased the number of Yule-Walker equations and proposed a ordinary least square estimate to the autoregressive parameters. Singularity problem of the auto-covariation matrix is addressed and derived a modified version of the Generalized Yule-Walker method using singular value decomposition.In fifth chapter of the thesis we introduced partial covariation function as a tool for stable time series analysis where covariance or partial covariance is ill defined. Asymptotic results of the partial auto-covariation is studied and its application in model identification of stable auto-regressive models are discussed. We generalize the Durbin-Levinson algorithm to include infinite variance models in terms of partial auto-covariation function and introduce a new information criteria for consistent order estimation of stable autoregressive model.In chapter six we explore the application of the techniques discussed in the previous chapter in signal processing. Frequency estimation of sinusoidal signal observed in symmetric stable noisy environment is discussed in this context. Here we introduced a parametric spectrum analysis and frequency estimate using power transfer function. Estimate of the power transfer function is obtained using the modified generalized Yule-Walker approach. Another important problem in statistical signal processing is to identify the number of sinusoidal components in an observed signal. We used a modified version of the proposed information criteria for this purpose.

Statistical signal extraction using stable processes

The standard models for statistical signal extraction assume that the signal and noise are generated by linear Gaussian processes. The optimum filter weights for those models are derived using the method of minimum mean square error. In the present work we study the properties of signal extraction models under the assumption that signal/noise are generated by symmetric stable processes. The optimum filter is obtained by the method of minimum dispersion. The performance of the new filter is compared with their Gaussian counterparts by simulation.

Computationally Efficient Bootstrap Prediction Intervals for Returns and Volatilities in ARCH and GARCH Processes

We propose a novel, simple, efficient and distribution-free re-sampling technique for developing prediction intervals for returns and volatilities following ARCH/GARCH models. In particular, our key idea is to employ a Box–Jenkins linear representation of an ARCH/GARCH equation and then to adapt a sieve bootstrap procedure to the nonlinear GARCH framework. Our simulation studies indicate that the new re-sampling method provides sharp and well calibrated prediction intervals for both returns and volatilities while reducing computational costs by up to 100 times, compared to other available re-sampling techniques for ARCH/GARCH models. The proposed procedure is illustrated by an application to Yen/U.S. dollar daily exchange rate data.