Adaptive Markov chain Monte Carlo and Bayesian filtering for state space models

This thesis is concerned with the state and parameter estimation in state space models. The estimation of states and parameters is an important task when mathematical modeling is applied to many different application areas such as the global positioning systems, target tracking, navigation, brain imaging, spread of infectious diseases, biological processes, telecommunications, audio signal processing, stochastic optimal control, machine learning, and physical systems. In Bayesian settings, the estimation of states or parameters amounts to computation of the posterior probability density function. Except for a very restricted number of models, it is impossible to compute this density function in a closed form. Hence, we need approximation methods. A state estimation problem involves estimating the states (latent variables) that are not directly observed in the output of the system. In this thesis, we use the Kalman filter, extended Kalman filter, Gauss–Hermite filters, and particle filters to estimate the states based on available measurements. Among these filters, particle filters are numerical methods for approximating the filtering distributions of non-linear non-Gaussian state space models via Monte Carlo. The performance of a particle filter heavily depends on the chosen importance distribution. For instance, inappropriate choice of the importance distribution can lead to the failure of convergence of the particle filter algorithm. In this thesis, we analyze the theoretical Lᵖ particle filter convergence with general importance distributions, where p ≥2 is an integer. A parameter estimation problem is considered with inferring the model parameters from measurements. For high-dimensional complex models, estimation of parameters can be done by Markov chain Monte Carlo (MCMC) methods. In its operation, the MCMC method requires the unnormalized posterior distribution of the parameters and a proposal distribution. In this thesis, we show how the posterior density function of the parameters of a state space model can be computed by filtering based methods, where the states are integrated out. This type of computation is then applied to estimate parameters of stochastic differential equations. Furthermore, we compute the partial derivatives of the log-posterior density function and use the hybrid Monte Carlo and scaled conjugate gradient methods to infer the parameters of stochastic differential equations. The computational efficiency of MCMC methods is highly depend on the chosen proposal distribution. A commonly used proposal distribution is Gaussian. In this kind of proposal, the covariance matrix must be well tuned. To tune it, adaptive MCMC methods can be used. In this thesis, we propose a new way of updating the covariance matrix using the variational Bayesian adaptive Kalman filter algorithm.

Group-invariant solutions of semilinear Schrodinger equations in multi-dimensions

Symmetry group methods are applied to obtain all explicit group-invariant radial solutions to a class of semilinear Schr¨odinger equations in dimensions n = 1. Both focusing and defocusing cases of a power nonlinearity are considered, including the special case of the pseudo-conformal power p = 4/n relevant for critical dynamics. The methods involve, first, reduction of the Schr¨odinger equations to group-invariant semilinear complex 2nd order ordinary differential equations (ODEs) with respect to an optimal set of one-dimensional point symmetry groups, and second, use of inherited symmetries, hidden symmetries, and conditional symmetries to solve each ODE by quadratures. Through Noether’s theorem, all conservation laws arising from these point symmetry groups are listed. Some group-invariant solutions are found to exist for values of n other than just positive integers, and in such cases an alternative two-dimensional form of the Schr¨odinger equations involving an extra modulation term with a parameter m = 2−n = 0 is discussed.

Solutions de rang k et invariants de Riemann pour les systèmes de type hydrodynamique multidimensionnels

Dans ce travail, nous adaptons la méthode des symétries conditionnelles afin de construire des solutions exprimées en termes des invariants de Riemann. Dans ce contexte, nous considérons des systèmes non elliptiques quasilinéaires homogènes (de type hydrodynamique) du premier ordre d'équations aux dérivées partielles multidimensionnelles. Nous décrivons en détail les conditions nécessaires et suffisantes pour garantir l'existence locale de ce type de solution. Nous étudions les relations entre la structure des éléments intégraux et la possibilité de construire certaines classes de solutions de rang k. Ces classes de solutions incluent les superpositions non linéaires d'ondes de Riemann ainsi que les solutions multisolitoniques. Nous généralisons cette méthode aux systèmes non homogènes quasilinéaires et non elliptiques du premier ordre. Ces méthodes sont appliquées aux équations de la dynamique des fluides en (3+1) dimensions modélisant le flot d'un fluide isentropique. De nouvelles classes de solutions de rang 2 et 3 sont construites et elles incluent des solutions double- et triple-solitoniques. De nouveaux phénomènes non linéaires et linéaires sont établis pour la superposition des ondes de Riemann. Finalement, nous discutons de certains aspects concernant la construction de solutions de rang 2 pour l'équation de Kadomtsev-Petviashvili sans dispersion.

Aspects géométriques et intégrables des modèles de matrices aléatoires

Travail réalisé en cotutelle avec l'université Paris-Diderot et le Commissariat à l'Energie Atomique sous la direction de John Harnad et Bertrand Eynard.

Reconstruction des structures magnéto-convectives solaires sous une région active, par l’utilisation conjointe d’un modèle de convection anélastique et d’une méthode d’assimilation de données.

L’utilisation d’une méthode d’assimilation de données, associée à un modèle de convection anélastique, nous permet la reconstruction des structures physiques d’une partie de la zone convective située en dessous d’une région solaire active. Les résultats obtenus nous informent sur les processus d’émergence des tubes de champ magnétique au travers de la zone convective ainsi que sur les mécanismes de formation des régions actives. Les données solaires utilisées proviennent de l’instrument MDI à bord de l’observatoire spatial SOHO et concernent principalement la région active AR9077 lors de l’ ́évènement du “jour de la Bastille”, le 14 juillet 2000. Cet évènement a conduit à l’avènement d’une éruption solaire, suivie par une importante éjection de masse coronale. Les données assimilées (magnétogrammes, cartes de températures et de vitesses verticales) couvrent une surface de 175 méga-mètres de coté acquises au niveau photosphérique. La méthode d’assimilation de données employée est le “coup de coude direct et rétrograde”, une méthode de relaxation Newtonienne similaire à la méthode “quasi-linéaire inverse 3D”. Elle présente l’originalité de ne pas nécessiter le calcul des équations adjointes au modèle physique. Aussi, la simplicité de la méthode est un avantage numérique conséquent. Notre étude montre au travers d’un test simple l’applicabilité de cette méthode à un modèle de convection utilisé dans le cadre de l’approximation anélastique. Nous montrons ainsi l’efficacité de cette méthode et révélons son potentiel pour l’assimilation de données solaires. Afin d’assurer l’unicité mathématique de la solution obtenue nous imposons une régularisation dans tout le domaine simulé. Nous montrons enfin que l’intérêt de la méthode employée ne se limite pas à la reconstruction des structures convectives, mais qu’elle permet également l’interpolation optimale des magnétogrammes photosphériques, voir même la prédiction de leur évolution temporelle.

Analyse de groupe d’un modèle de la plasticité idéale planaire et sur les solutions en termes d’invariants de Riemann pour les systèmes quasilinéaires du premier ordre

Les objets d’étude de cette thèse sont les systèmes d’équations quasilinéaires du premier ordre. Dans une première partie, on fait une analyse du point de vue du groupe de Lie classique des symétries ponctuelles d’un modèle de la plasticité idéale. Les écoulements planaires dans les cas stationnaire et non-stationnaire sont étudiés. Deux nouveaux champs de vecteurs ont été obtenus, complétant ainsi l’algèbre de Lie du cas stationnaire dont les sous-algèbres sont classifiées en classes de conjugaison sous l’action du groupe. Dans le cas non-stationnaire, une classification des algèbres de Lie admissibles selon la force choisie est effectuée. Pour chaque type de force, les champs de vecteurs sont présentés. L’algèbre ayant la dimension la plus élevée possible a été obtenues en considérant les forces monogéniques et elle a été classifiée en classes de conjugaison. La méthode de réduction par symétrie est appliquée pour obtenir des solutions explicites et implicites de plusieurs types parmi lesquelles certaines s’expriment en termes d’une ou deux fonctions arbitraires d’une variable et d’autres en termes de fonctions elliptiques de Jacobi. Plusieurs solutions sont interprétées physiquement pour en déduire la forme de filières d’extrusion réalisables. Dans la seconde partie, on s’intéresse aux solutions s’exprimant en fonction d’invariants de Riemann pour les systèmes quasilinéaires du premier ordre. La méthode des caractéristiques généralisées ainsi qu’une méthode basée sur les symétries conditionnelles pour les invariants de Riemann sont étendues pour être applicables à des systèmes dans leurs régions elliptiques. Leur applicabilité est démontrée par des exemples de la plasticité idéale non-stationnaire pour un flot irrotationnel ainsi que les équations de la mécanique des fluides. Une nouvelle approche basée sur l’introduction de matrices de rotation satisfaisant certaines conditions algébriques est développée. Elle est applicable directement à des systèmes non-homogènes et non-autonomes sans avoir besoin de transformations préalables. Son efficacité est illustrée par des exemples comprenant un système qui régit l’interaction non-linéaire d’ondes et de particules. La solution générale est construite de façon explicite.

Simulation de la nage anguilliforme

Ce document traite premièrement des diverses tentatives de modélisation et de simulation de la nage anguilliforme puis élabore une nouvelle technique, basée sur la méthode de la frontière immergée généralisée et la théorie des poutres de Reissner-Simo. Cette dernière, comme les équations des fluides polaires, est dérivée de la mécanique des milieux continus puis les équations obtenues sont discrétisées afin de les amener à une résolution numérique. Pour la première fois, la théorie des schémas de Runge-Kutta additifs est combinée à celle des schémas de Runge-Kutta-Munthe-Kaas pour engendrer une méthode d’ordre de convergence formel arbitraire. De plus, les opérations d’interpolation et d’étalement sont traitées d’un nouveau point de vue qui suggère l’usage des splines interpolatoires nodales en lieu et place des fonctions d’étalement traditionnelles. Enfin, de nombreuses vérifications numériques sont faites avant de considérer les simulations de la nage.

Sur un modèle d'érythropoïèse comportant un taux de mortalité dynamique

Ce mémoire concerne la modélisation mathématique de l’érythropoïèse, à savoir le processus de production des érythrocytes (ou globules rouges) et sa régulation par l’érythropoïétine, une hormone de contrôle. Nous proposons une extension d’un modèle d’érythropoïèse tenant compte du vieillissement des cellules matures. D’abord, nous considérons un modèle structuré en maturité avec condition limite mouvante, dont la dynamique est capturée par des équations d’advection. Biologiquement, la condition limite mouvante signifie que la durée de vie maximale varie afin qu’il y ait toujours un flux constant de cellules éliminées. Par la suite, des hypothèses sur la biologie sont introduites pour simplifier ce modèle et le ramener à un système de trois équations différentielles à retard pour la population totale, la concentration d’hormones ainsi que la durée de vie maximale. Un système alternatif composé de deux équations avec deux retards constants est obtenu en supposant que la durée de vie maximale soit fixe. Enfin, un nouveau modèle est introduit, lequel comporte un taux de mortalité augmentant exponentiellement en fonction du niveau de maturité des érythrocytes. Une analyse de stabilité linéaire permet de détecter des bifurcations de Hopf simple et double émergeant des variations du gain dans la boucle de feedback et de paramètres associés à la fonction de survie. Des simulations numériques suggèrent aussi une perte de stabilité causée par des interactions entre deux modes linéaires et l’existence d’un tore de dimension deux dans l’espace de phase autour de la solution stationnaire.

Studies on the dynamics and rheology of dilute suspensions of Brownian particles in simple shear flow under the action of an external force

We present a novel approach to computing the orientation moments and rheological properties of a dilute suspension of spheroids in a simple shear flow at arbitrary Peclct number based on a generalised Langevin equation method. This method differs from the diffusion equation method which is commonly used to model similar systems in that the actual equations of motion for the orientations of the individual particles are used in the computations, instead of a solution of the diffusion equation of the system. It also differs from the method of 'Brownian dynamics simulations' in that the equations used for the simulations are deterministic differential equations even in the presence of noise, and not stochastic differential equations as in Brownian dynamics simulations. One advantage of the present approach over the Fokker-Planck equation formalism is that it employs a common strategy that can be applied across a wide range of shear and diffusion parameters. Also, since deterministic differential equations are easier to simulate than stochastic differential equations, the Langevin equation method presented in this work is more efficient and less computationally intensive than Brownian dynamics simulations.We derive the Langevin equations governing the orientations of the particles in the suspension and evolve a procedure for obtaining the equation of motion for any orientation moment. A computational technique is described for simulating the orientation moments dynamically from a set of time-averaged Langevin equations, which can be used to obtain the moments when the governing equations are harder to solve analytically. The results obtained using this method are in good agreement with those available in the literature.The above computational method is also used to investigate the effect of rotational Brownian motion on the rheology of the suspension under the action of an external force field. The force field is assumed to be either constant or periodic. In the case of con- I stant external fields earlier results in the literature are reproduced, while for the case of periodic forcing certain parametric regimes corresponding to weak Brownian diffusion are identified where the rheological parameters evolve chaotically and settle onto a low dimensional attractor. The response of the system to variations in the magnitude and orientation of the force field and strength of diffusion is also analyzed through numerical experiments. It is also demonstrated that the aperiodic behaviour exhibited by the system could not have been picked up by the diffusion equation approach as presently used in the literature.The main contributions of this work include the preparation of the basic framework for applying the Langevin method to standard flow problems, quantification of rotary Brownian effects by using the new method, the paired-moment scheme for computing the moments and its use in solving an otherwise intractable problem especially in the limit of small Brownian motion where the problem becomes singular, and a demonstration of how systems governed by a Fokker-Planck equation can be explored for possible chaotic behaviour.

Studies on integrability of some perturbed nonlinear evolution equations

Usually typical dynamical systems are non integrable. But few systems of practical interest are integrable. The soliton concept is a sophisticated mathematical construct based on the integrability of a class ol' nonlinear differential equations. An important feature in the clevelopment. of the theory of solitons and of complete integrability has been the interplay between mathematics and physics. Every integrable system has a lo11g list of special properties that hold for integrable equations and only for them. Actually there is no specific definition for integrability that is suitable for all cases. .There exist several integrable partial clillerential equations( pdes) which can be derived using physically meaningful asymptotic teclmiques from a very large class of pdes. It has been established that many 110nlinear wa.ve equations have solutions of the soliton type and the theory of solitons has found applications in many areas of science. Among these, well-known equations are Korteweg de-Vries(KdV), modified KclV, Nonlinear Schr6dinger(NLS), sine Gordon(SG) etc..These are completely integrable systems. Since a small change in the governing nonlinear prle may cause the destruction of the integrability of the system, it is interesting to study the effect of small perturbations in these equations. This is the motivation of the present work.

Orthogonal polynomials and recurrence equations, operator equations and factorization

This article surveys the classical orthogonal polynomial systems of the Hahn class, which are solutions of second-order differential, difference or q-difference equations. Orthogonal families satisfy three-term recurrence equations. Example applications of an algorithm to determine whether a three-term recurrence equation has solutions in the Hahn class - implemented in the computer algebra system Maple - are given. Modifications of these families, in particular associated orthogonal systems, satisfy fourth-order operator equations. A factorization of these equations leads to a solution basis.

MA158exam01

Exam questions and solutions in LaTex

Exercise sheet 4

Exercises and solutions in LaTex

Exam 1997

Exam and solutions in LaTex

Exam 1999 pdf

Exam and solutions in PDF