Adaptive Markov chain Monte Carlo and Bayesian filtering for state space models

This thesis is concerned with the state and parameter estimation in state space models. The estimation of states and parameters is an important task when mathematical modeling is applied to many different application areas such as the global positioning systems, target tracking, navigation, brain imaging, spread of infectious diseases, biological processes, telecommunications, audio signal processing, stochastic optimal control, machine learning, and physical systems. In Bayesian settings, the estimation of states or parameters amounts to computation of the posterior probability density function. Except for a very restricted number of models, it is impossible to compute this density function in a closed form. Hence, we need approximation methods. A state estimation problem involves estimating the states (latent variables) that are not directly observed in the output of the system. In this thesis, we use the Kalman filter, extended Kalman filter, Gauss–Hermite filters, and particle filters to estimate the states based on available measurements. Among these filters, particle filters are numerical methods for approximating the filtering distributions of non-linear non-Gaussian state space models via Monte Carlo. The performance of a particle filter heavily depends on the chosen importance distribution. For instance, inappropriate choice of the importance distribution can lead to the failure of convergence of the particle filter algorithm. In this thesis, we analyze the theoretical Lᵖ particle filter convergence with general importance distributions, where p ≥2 is an integer. A parameter estimation problem is considered with inferring the model parameters from measurements. For high-dimensional complex models, estimation of parameters can be done by Markov chain Monte Carlo (MCMC) methods. In its operation, the MCMC method requires the unnormalized posterior distribution of the parameters and a proposal distribution. In this thesis, we show how the posterior density function of the parameters of a state space model can be computed by filtering based methods, where the states are integrated out. This type of computation is then applied to estimate parameters of stochastic differential equations. Furthermore, we compute the partial derivatives of the log-posterior density function and use the hybrid Monte Carlo and scaled conjugate gradient methods to infer the parameters of stochastic differential equations. The computational efficiency of MCMC methods is highly depend on the chosen proposal distribution. A commonly used proposal distribution is Gaussian. In this kind of proposal, the covariance matrix must be well tuned. To tune it, adaptive MCMC methods can be used. In this thesis, we propose a new way of updating the covariance matrix using the variational Bayesian adaptive Kalman filter algorithm.

Determining vehicle drivetrain dynamics using system identification

Target of this book is to propose an approach for modelling drivetrain dynamics in order to design further a vibration control system of a hybrid bus. In this thesis two approaches are examined and compared. First model is obtained by theoretical means: drivetrain is represented as a system of rotating masses, which motion is described with differential equations. Second model is obtained using system identification method: mathematical description of the dynamic behavior of a system is formed based on measured input (torque) and output (speed) data. Then two models are compared and an optimal approach is suggested.

Multicomponent diffusion during Prato cheese ripening: mathematical modeling using the finite element method

The partial replacement of NaCl by KCl is a promising alternative to produce a cheese with lower sodium content since KCl does not change the final quality of the cheese product. In order to assure proper salt proportions, mathematical models are employed to control the product process and simulate the multicomponent diffusion during the reduced salt cheese ripening period. The generalized Fick's Second Law is widely accepted as the primary mass transfer model within solid foods. The Finite Element Method (FEM) was used to solve the system of differential equations formed. Therefore, a NaCl and KCl multicomponent diffusion was simulated using a 20% (w/w) static brine with 70% NaCl and 30% KCl during Prato cheese (a Brazilian semi-hard cheese) salting and ripening. The theoretical results were compared with experimental data, and indicated that the deviation was 4.43% for NaCl and 4.72% for KCl validating the proposed model for the production of good quality, reduced-sodium cheeses.

Mathematical modeling of microbial growth in milk

A mathematical model to predict microbial growth in milk was developed and analyzed. The model consists of a system of two differential equations of first order. The equations are based on physical hypotheses of population growth. The model was applied to five different sets of data of microbial growth in dairy products selected from Combase, which is the most important database in the area with thousands of datasets from around the world, and the results showed a good fit. In addition, the model provides equations for the evaluation of the maximum specific growth rate and the duration of the lag phase which may provide useful information about microbial growth.

Bayesian analysis of SEIR epidemic models

This thesis concerns the analysis of epidemic models. We adopt the Bayesian paradigm and develop suitable Markov Chain Monte Carlo (MCMC) algorithms. This is done by considering an Ebola outbreak in the Democratic Republic of Congo, former Zaïre, 1995 as a case of SEIR epidemic models. We model the Ebola epidemic deterministically using ODEs and stochastically through SDEs to take into account a possible bias in each compartment. Since the model has unknown parameters, we use different methods to estimate them such as least squares, maximum likelihood and MCMC. The motivation behind choosing MCMC over other existing methods in this thesis is that it has the ability to tackle complicated nonlinear problems with large number of parameters. First, in a deterministic Ebola model, we compute the likelihood function by sum of square of residuals method and estimate parameters using the LSQ and MCMC methods. We sample parameters and then use them to calculate the basic reproduction number and to study the disease-free equilibrium. From the sampled chain from the posterior, we test the convergence diagnostic and confirm the viability of the model. The results show that the Ebola model fits the observed onset data with high precision, and all the unknown model parameters are well identified. Second, we convert the ODE model into a SDE Ebola model. We compute the likelihood function using extended Kalman filter (EKF) and estimate parameters again. The motivation of using the SDE formulation here is to consider the impact of modelling errors. Moreover, the EKF approach allows us to formulate a filtered likelihood for the parameters of such a stochastic model. We use the MCMC procedure to attain the posterior distributions of the parameters of the SDE Ebola model drift and diffusion parts. In this thesis, we analyse two cases: (1) the model error covariance matrix of the dynamic noise is close to zero , i.e. only small stochasticity added into the model. The results are then similar to the ones got from deterministic Ebola model, even if methods of computing the likelihood function are different (2) the model error covariance matrix is different from zero, i.e. a considerable stochasticity is introduced into the Ebola model. This accounts for the situation where we would know that the model is not exact. As a results, we obtain parameter posteriors with larger variances. Consequently, the model predictions then show larger uncertainties, in accordance with the assumption of an incomplete model.

Neopentyyliglykolin ja propionihapon välisen esteröintireaktion kinetiikka

Glykolien esterit ovat haluttuja pintareaktiivisia aineita. Niitä voidaan valmistaa esteröintireaktiolla karboksyylihappojen kanssa katalyytin läsnä ollessa, jolloin toivottu reaktiotuote on yleensä muodostuva monoesteri. Monoesterin saannon lisäämiseksi reaktiossa muodostuvaa vettä voidaan poistaa jatkuvasti reaktiosta. Reaktion tasapainotilan tutkiminen on kuitenkin tärkeää, jotta reaktion kinetiikka tunnettaisiin mahdollisimman hyvin. Tällöin reaktiotuotteita ei poisteta reaktioseoksesta reaktion aikana. Glykolit esteröityvät happojen kanssa kahdessa vaiheessa. Ensimmäisessä vaiheessa muodostuu monoesteriä ja vettä ja toisessa vaiheessa diesteriä ja vettä. Kokeiden perusteella ensimmäinen vaihe on selvästi toista vaihetta nopeampi reaktio. Kirjallisuudessa on esitetty myös kaksi sivureaktiota, transesteröityminen ja disproportionaatio. Reaktion kinetiikka voidaan kuvata ilman näitä pieniä sivureaktiota, mutta täydellisen kuvaamisen vuoksi on ne myös otettava huomioon. Reaktion kinetiikan tutkimiseksi suoritettiin viisi laboratoriokoetta eri lämpötiloissa neopentyyliglykolilla ja propionihapolla homogeenisen para-tolueenisulfonihapon toimiessa katalyyttina. Lähtöaineiden ja tuotteiden konsentraatioita seurattiin ajan funktiona ja saatujen tulosten perusteella sovitettiin reaktiomekanismin differentiaaliyhtälöiden reaktionopeusvakiot. Nopeusvakioiden lämpötilariippuvuutta tutkittiin Arrheniuksen yhtälön avulla. Lisäksi määritettiin tasapainovakiot kullekin osareaktiolle.

Stochastic particle models: mean reversion and burgers dynamics. An application to commodity markets

The aim of this study is to propose a stochastic model for commodity markets linked with the Burgers equation from fluid dynamics. We construct a stochastic particles method for commodity markets, in which particles represent market participants. A discontinuity in the model is included through an interacting kernel equal to the Heaviside function and its link with the Burgers equation is given. The Burgers equation and the connection of this model with stochastic differential equations are also studied. Further, based on the law of large numbers, we prove the convergence, for large N, of a system of stochastic differential equations describing the evolution of the prices of N traders to a deterministic partial differential equation of Burgers type. Numerical experiments highlight the success of the new proposal in modeling some commodity markets, and this is confirmed by the ability of the model to reproduce price spikes when their effects occur in a sufficiently long period of time.

Sampling Interval and estimated Betas : Implications for the Presence of Transitory Components in Stock Prices

We provide a theoretical framework to explain the empirical finding that the estimated betas are sensitive to the sampling interval even when using continuously compounded returns. We suppose that stock prices have both permanent and transitory components. The permanent component is a standard geometric Brownian motion while the transitory component is a stationary Ornstein-Uhlenbeck process. The discrete time representation of the beta depends on the sampling interval and two components labelled \"permanent and transitory betas\". We show that if no transitory component is present in stock prices, then no sampling interval effect occurs. However, the presence of a transitory component implies that the beta is an increasing (decreasing) function of the sampling interval for more (less) risky assets. In our framework, assets are labelled risky if their \"permanent beta\" is greater than their \"transitory beta\" and vice versa for less risky assets. Simulations show that our theoretical results provide good approximations for the means and standard deviations of estimated betas in small samples. Our results can be perceived as indirect evidence for the presence of a transitory component in stock prices, as proposed by Fama and French (1988) and Poterba and Summers (1988).

Théorèmes d'existence pour des systèmes d'équations différentielles et d'équations aux échelles de temps.

Nous présentons dans cette thèse des théorèmes d’existence pour des systèmes d’équations différentielles non-linéaires d’ordre trois, pour des systèmes d’équa- tions et d’inclusions aux échelles de temps non-linéaires d’ordre un et pour des systèmes d’équations aux échelles de temps non-linéaires d’ordre deux sous cer- taines conditions aux limites. Dans le chapitre trois, nous introduirons une notion de tube-solution pour obtenir des théorèmes d’existence pour des systèmes d’équations différentielles du troisième ordre. Cette nouvelle notion généralise aux systèmes les notions de sous- et sur-solutions pour le problème aux limites de l’équation différentielle du troisième ordre étudiée dans [34]. Dans la dernière section de ce chapitre, nous traitons les systèmes d’ordre trois lorsque f est soumise à une condition de crois- sance de type Wintner-Nagumo. Pour admettre l’existence de solutions d’un tel système, nous aurons recours à la théorie des inclusions différentielles. Ce résultat d’existence généralise de diverses façons un théorème de Grossinho et Minhós [34]. Le chapitre suivant porte sur l’existence de solutions pour deux types de sys- tèmes d’équations aux échelles de temps du premier ordre. Les résultats d’exis- tence pour ces deux problèmes ont été obtenus grâce à des notions de tube-solution adaptées à ces systèmes. Le premier théorème généralise entre autre aux systèmes et à une échelle de temps quelconque, un résultat obtenu pour des équations aux différences finies par Mawhin et Bereanu [9]. Ce résultat permet également d’obte- nir l’existence de solutions pour de nouveaux systèmes dont on ne pouvait obtenir l’existence en utilisant le résultat de Dai et Tisdell [17]. Le deuxième théorème de ce chapitre généralise quant à lui, sous certaines conditions, des résultats de [60]. Le chapitre cinq aborde un nouveau théorème d’existence pour un système d’in- clusions aux échelles de temps du premier ordre. Selon nos recherches, aucun résultat avant celui-ci ne traitait de l’existence de solutions pour des systèmes d’inclusions de ce type. Ainsi, ce chapitre ouvre de nouvelles possibilités dans le domaine des inclusions aux échelles de temps. Notre résultat a été obtenu encore une fois à l’aide d’une hypothèse de tube-solution adaptée au problème. Au chapitre six, nous traitons l’existence de solutions pour des systèmes d’équations aux échelles de temps d’ordre deux. Le premier théorème d’existence que nous obtenons généralise les résultats de [36] étant donné que l’hypothèse que ces auteurs utilisent pour faire la majoration a priori est un cas particulier de notre hypothèse de tube-solution pour ce type de systèmes. Notons également que notre définition de tube-solution généralise aux systèmes les notions de sous- et sur-solutions introduites pour les équations d’ordre deux par [4] et [55]. Ainsi, nous généralisons également des résultats obtenus pour des équations aux échelles de temps d’ordre deux. Finalement, nous proposons un nouveau résultat d’exis- tence pour un système dont le membre droit des équations dépend de la ∆-dérivée de la fonction.

Anisotropie de la photoluminescence dans des nanostructures organiques chirales autoassemblées

Nous investiguons dans ce travail la dynamique des excitons dans une couche mince d’agrégats H autoassemblés hélicoïdaux de molécules de sexithiophène. Le couplage intermoléculaire (J=100 meV) place ce matériau dans la catégorie des semi-conducteurs à couplage de type intermédiaire. Le désordre énergétique et la forte interaction électronsphonons causent une forte localisation des excitons. Les espèces initiales se ramifient en deux états distincts : un état d’excitons autopiégés (rendement de 95 %) et un état à transfert de charge (rendement de 5%). À température de la pièce (293K), les processus de sauts intermoléculaires sont activés et l’anisotropie de la fluorescence décroît rapidement à zéro en 5 ns. À basse température (14K), les processus de sauts sont gelés. Pour caractériser la dynamique de diffusion des espèces, une expérience d’anisotropie de fluorescence a été effectuée. Celle-ci consiste à mesurer la différence entre la photoluminescence polarisée parallèlement au laser excitateur et celle polarisée perpendiculairement, en fonction du temps. Cette mesure nous donne de l’information sur la dépolarisation des excitons, qui est directement reliée à leur diffusion dans la structure supramoléculaire. On mesure une anisotropie de 0,1 après 20 ns qui perdure jusqu’à 50ns. Les états à transfert de charge causent une remontée de l’anisotropie vers une valeur de 0,15 sur une plage temporelle allant de 50 ns jusqu’à 210 ns (période entre les impulsions laser). Ces résultats démontrent que la localisation des porteurs est très grande à 14K, et qu’elle est supérieure pour les espèces à transfert de charge. Un modèle numérique simple d’équations différentielles à temps de vie radiatif et de dépolarisation constants permet de reproduire les données expérimentales. Ce modèle a toutefois ses limitations, notamment en ce qui a trait aux mécanismes de dépolarisation des excitons.

Simulation numérique de feux de forêt avec réinitialisation et contournement d’obstacles

Ce travail présente une technique de simulation de feux de forêt qui utilise la méthode Level-Set. On utilise une équation aux dérivées partielles pour déformer une surface sur laquelle est imbriqué notre front de flamme. Les bases mathématiques de la méthode Level-set sont présentées. On explique ensuite une méthode de réinitialisation permettant de traiter de manière robuste des données réelles et de diminuer le temps de calcul. On étudie ensuite l’effet de la présence d’obstacles dans le domaine de propagation du feu. Finalement, la question de la recherche du point d’ignition d’un incendie est abordée.

Solutions de rang k et invariants de Riemann pour les systèmes de type hydrodynamique multidimensionnels

Dans ce travail, nous adaptons la méthode des symétries conditionnelles afin de construire des solutions exprimées en termes des invariants de Riemann. Dans ce contexte, nous considérons des systèmes non elliptiques quasilinéaires homogènes (de type hydrodynamique) du premier ordre d'équations aux dérivées partielles multidimensionnelles. Nous décrivons en détail les conditions nécessaires et suffisantes pour garantir l'existence locale de ce type de solution. Nous étudions les relations entre la structure des éléments intégraux et la possibilité de construire certaines classes de solutions de rang k. Ces classes de solutions incluent les superpositions non linéaires d'ondes de Riemann ainsi que les solutions multisolitoniques. Nous généralisons cette méthode aux systèmes non homogènes quasilinéaires et non elliptiques du premier ordre. Ces méthodes sont appliquées aux équations de la dynamique des fluides en (3+1) dimensions modélisant le flot d'un fluide isentropique. De nouvelles classes de solutions de rang 2 et 3 sont construites et elles incluent des solutions double- et triple-solitoniques. De nouveaux phénomènes non linéaires et linéaires sont établis pour la superposition des ondes de Riemann. Finalement, nous discutons de certains aspects concernant la construction de solutions de rang 2 pour l'équation de Kadomtsev-Petviashvili sans dispersion.

Aspects géométriques et intégrables des modèles de matrices aléatoires

Travail réalisé en cotutelle avec l'université Paris-Diderot et le Commissariat à l'Energie Atomique sous la direction de John Harnad et Bertrand Eynard.

Évaluation in silico des pompes d’assistance ventriculaire de type écoulement mixte

L'insuffisance cardiaque est une maladie à grande incidence dont le traitement définitif est difficile. Les pompes d'assistance ventriculaire ont été proposées comme thérapie alternative à long terme, mais la technologie est relativement jeune et selon son design, axial ou centrifuge, le dispositif favorise soit l'hémolyse, soit la stagnation de l'écoulement sanguin. Les pompes à écoulement mixte, combinant certaines propriétés des deux types, ont été proposées comme solution intermédiaire. Pour évaluer leurs performances, nous avons effectué des comparaisons numériques entre huit pompes, deux axiales, deux centrifuges, et quatre mixtes, en employant un modèle Windkessel du système cardiovasculaire avec paramètres optimisés pour l'insuffisance cardiaque résolu avec une méthode Radau IIA3, une méthode de résolution de système d'équations différentielles ordinaires L-stable appartenant à la famille des méthodes Runge-Kutta implicites. Nos résultats semblent suggérer que les pompes d'assistance mixtes ne démontrent qu'un léger avantage comparativement aux autres types en terme de performance optimale dans le cas de l'insuffisance cardiaque, mais il faudrait effectuer plus d'essais numériques avec un modèle plus complet, entre autres avec contrôles nerveux implémentés.

New simulation schemes for the Heston model

Les titres financiers sont souvent modélisés par des équations différentielles stochastiques (ÉDS). Ces équations peuvent décrire le comportement de l'actif, et aussi parfois certains paramètres du modèle. Par exemple, le modèle de Heston (1993), qui s'inscrit dans la catégorie des modèles à volatilité stochastique, décrit le comportement de l'actif et de la variance de ce dernier. Le modèle de Heston est très intéressant puisqu'il admet des formules semi-analytiques pour certains produits dérivés, ainsi qu'un certain réalisme. Cependant, la plupart des algorithmes de simulation pour ce modèle font face à quelques problèmes lorsque la condition de Feller (1951) n'est pas respectée. Dans ce mémoire, nous introduisons trois nouveaux algorithmes de simulation pour le modèle de Heston. Ces nouveaux algorithmes visent à accélérer le célèbre algorithme de Broadie et Kaya (2006); pour ce faire, nous utiliserons, entre autres, des méthodes de Monte Carlo par chaînes de Markov (MCMC) et des approximations. Dans le premier algorithme, nous modifions la seconde étape de la méthode de Broadie et Kaya afin de l'accélérer. Alors, au lieu d'utiliser la méthode de Newton du second ordre et l'approche d'inversion, nous utilisons l'algorithme de Metropolis-Hastings (voir Hastings (1970)). Le second algorithme est une amélioration du premier. Au lieu d'utiliser la vraie densité de la variance intégrée, nous utilisons l'approximation de Smith (2007). Cette amélioration diminue la dimension de l'équation caractéristique et accélère l'algorithme. Notre dernier algorithme n'est pas basé sur une méthode MCMC. Cependant, nous essayons toujours d'accélérer la seconde étape de la méthode de Broadie et Kaya (2006). Afin de réussir ceci, nous utilisons une variable aléatoire gamma dont les moments sont appariés à la vraie variable aléatoire de la variance intégrée par rapport au temps. Selon Stewart et al. (2007), il est possible d'approximer une convolution de variables aléatoires gamma (qui ressemble beaucoup à la représentation donnée par Glasserman et Kim (2008) si le pas de temps est petit) par une simple variable aléatoire gamma.