Adaptive Markov chain Monte Carlo and Bayesian filtering for state space models

This thesis is concerned with the state and parameter estimation in state space models. The estimation of states and parameters is an important task when mathematical modeling is applied to many different application areas such as the global positioning systems, target tracking, navigation, brain imaging, spread of infectious diseases, biological processes, telecommunications, audio signal processing, stochastic optimal control, machine learning, and physical systems. In Bayesian settings, the estimation of states or parameters amounts to computation of the posterior probability density function. Except for a very restricted number of models, it is impossible to compute this density function in a closed form. Hence, we need approximation methods. A state estimation problem involves estimating the states (latent variables) that are not directly observed in the output of the system. In this thesis, we use the Kalman filter, extended Kalman filter, Gauss–Hermite filters, and particle filters to estimate the states based on available measurements. Among these filters, particle filters are numerical methods for approximating the filtering distributions of non-linear non-Gaussian state space models via Monte Carlo. The performance of a particle filter heavily depends on the chosen importance distribution. For instance, inappropriate choice of the importance distribution can lead to the failure of convergence of the particle filter algorithm. In this thesis, we analyze the theoretical Lᵖ particle filter convergence with general importance distributions, where p ≥2 is an integer. A parameter estimation problem is considered with inferring the model parameters from measurements. For high-dimensional complex models, estimation of parameters can be done by Markov chain Monte Carlo (MCMC) methods. In its operation, the MCMC method requires the unnormalized posterior distribution of the parameters and a proposal distribution. In this thesis, we show how the posterior density function of the parameters of a state space model can be computed by filtering based methods, where the states are integrated out. This type of computation is then applied to estimate parameters of stochastic differential equations. Furthermore, we compute the partial derivatives of the log-posterior density function and use the hybrid Monte Carlo and scaled conjugate gradient methods to infer the parameters of stochastic differential equations. The computational efficiency of MCMC methods is highly depend on the chosen proposal distribution. A commonly used proposal distribution is Gaussian. In this kind of proposal, the covariance matrix must be well tuned. To tune it, adaptive MCMC methods can be used. In this thesis, we propose a new way of updating the covariance matrix using the variational Bayesian adaptive Kalman filter algorithm.

Aktiivisten magneettilaakereiden tilasäädön mallinnus ja simulointi

Aktiivisten magneettilaakereiden avulla on mahdollista kannatella ferromagneettisia kappaleita, kuten sähkökoneiden roottoreita, ilman fyysistä kontaktia. Magneettilaakerit tarjoavat monia etuja, kuten esimerkiksi kitkattomuuden, verrattuina perinteisiin mekaanisiin laakereihin. Nämä edut vielä korostuvat suurnopeuskäytöissä, jotka ovat magneettilaakereiden pääasiallisia käyttökohteita. Tässä työssä esitellään magneettilaakereihin liittyvät erusteoriat ja niiden sovellustavat. Tämän jälkeen tarkastellaanmagneettilaakereiden kanssa käytettäviä säätöratkaisuja ja esitetään niille soveltuvat viritysmenetelmät. Teorioiden pohjalta rakennetaan täydellinen magneettilaakerijärjestelmän simulointimalli säätöratkaisuineen ja suoritetaan järjestelmän toimintaa kuvaavia simulointeja. Simuloinneissa saadut tulokset pyritään vielä varmentamaan suorittamalla mittauksia koelaitteistolla ja vertaamalla saatuja tuloksia keskenään.

Diskreettiaikainen liukuvan moodin säätö kiinteäoksidipolttokennon DC-tasonnostossa

Huoli ympäristön tilasta ja fossiilisten polttoaineiden hinnan nousu ovat vauhdittaneet tutkimusta uusien energialähteiden löytämiseksi. Polttokennot ovat yksi lupaavimmista tekniikoista etenkin hajautetun energiantuotannon, varavoimalaitosten sekä liikennevälineiden alueella. Polttokenno on tehonlähteenä kuitenkin hyvin epäideaalinen, ja se asettaa tehoelektroniikalle lukuisia erityisvaatimuksia. Polttokennon kytkeminen sähköverkkoon on tavallisesti toteutettu käyttämällä galvaanisesti erottavaa DC/DC hakkuria sekä vaihtosuuntaajaa sarjassa. Polttokennon kulumisen estämiseksi tehoelektroniikalta vaaditaan tarkkaa polttokennon lähtövirran hallintaa. Perinteisesti virran hallinta on toteutettu säätämällä hakkurin tulovirtaa PI (Proportional and Integral) tai PID (Proportional, Integral and Derivative) -säätimellä. Hakkurin epälineaarisuudesta johtuen tällainen ratkaisu ei välttämättä toimi kaukana linearisointipisteestä. Lisäksi perinteiset säätimet ovat herkkiä mallinnusvirheille. Tässä diplomityössä on esitetty polttokennon jännitettä nostavan hakkurin tilayhtälökeskiarvoistusmenetelmään perustuva malli, sekä malliin perustuva diskreettiaikainen integroiva liukuvan moodin säätö. Esitetty säätö on luonteeltaan epälineaarinen ja se soveltuu epälineaaristen ja heikosti tunnettujen järjestelmien säätämiseen.

Kaksisuuntaisen DC/DC-hakkurin virtasäätö polttokennosovelluksessa

Ilmastonmuutos ja fossiilisten polttoaineiden ehtyminen ovat edesauttaneet uusiutuvien energialähteiden tutkimusta huomattavasti. Lisäksi alati kasvava sähköenergian tarve lisää hajautetun sähköntuotannon ja vaihtoehtoisten energialähteiden kiinnostavuutta. Yleisimpiä hajautetun sähköntuotannon energialähteitä ovat tuulivoima, aurinkovoima ja uutena tulokkaana polttokennot. Polttokennon kytkeminen sähköverkkoon vaatii tehoelektroniikkaa, ja yleensä yksinkertaisessa polttokennosovelluksessa polttokenno kytketään galvaanisesti erottavan yksisuuntaisen DC/DC-hakkurin ja vaihtosuuntaajan kanssa sarjaan. Polttokennon rinnalla voidaan käyttää akkua tasaamaan polttokennon syöttämää jännitettä, jolloin akun ja polttokennon väliin tarvitaan kaksisuuntainen DC/DC-hakkuri, joka pystyy siirtämään energiaa molempiin suuntiin. Tässä diplomityössä on esitetty kaksisuuntaisen DC/DC-hakkurin tilayhtälökeskiarvoistusmenetelmään perustuva malli sekä mallin perusteella toteutettu virtasäätö. Tutkittava hakkuritopologia on kokosilta-tyyppinen boost-hakkuri, ja säätömenetelmä keskiarvovirtasäätö. Työn tuloksena syntyi tilayhtälömalli kaksisuuntaiselle FB boost -hakkurille sekä sen tulokelan virran säätämiseen soveltuva säädin. Säädin toimii normaalitilanteissa hyvin, mutta erikoistilanteissa, kuten hakkurin tulojännitteen äkillisessä muutostilanteessa, vaadittaisiin tehokkaampi säädin, jolla saavutettaisiin nopeampi nousuaika ilman ylitystä ja oskillointia.

Lineaarisen hammashihnaservokäytön tilasäätö

Tuotantotehokkuus näyttelee yhä suurempaa roolia teollisuudessa, minkä vuoksi myös pakkauslinjas­toille joudutaan asettamaan suuria vaatimuksia. Usein leik­kaus- ja kappaleensiirtosovelluksissa käyte­tään lineaarisia ruuvikäyttöjä, jotka voitaisiin tietyin edellytyksin korvata halvemmilla ja osittain suori­tuskykyisimmillä hammashihnavetoisilla johteilla. Yleensä paikkasäädetty työsolu muodostuu kahden tai kolmen eri koordinaatisto­akselin suuntaan asen­netuista johteista. Tällaisen työsolun paikoitustarkkuuteen vaikuttavat muun muassa käytetty säätöra­kenne, moottorisäätöketjun viiveet, sekä laitteiston eri epälineaarisuudet, kuten kitka. Tässä työssä esitetään lineaarisen hammashihnaservokäytön dynaamista käytöstä kuvaava matemaatti­nen malli ja laaditaan mallin pohjalta laitteen simulointimalli. Mallin toimivuus varmistetaan käytän­nön identifiointitesteillä. Lisäksi työssä tut­kitaan, kuinka hyvään suorituskykyyn lineaarinen hammas­hihnaservokäyttö kyke­nee, jos teollisuudessa paikoitussäätörakenteena tyypillisesti käytetty kaskadira­kenne tai PID-rakenne korvataan kehittyneemmällä mallipohjaisella tilasäädinra­kenteella. Säädön toi­mintaa arvioidaan simulointien ja koelaitteistolla suoritetta­vien mittaus­ten perusteella.

Scheduling dynamic dataflow graphs with model checking

With the shift towards many-core computer architectures, dataflow programming has been proposed as one potential solution for producing software that scales to a varying number of processor cores. Programming for parallel architectures is considered difficult as the current popular programming languages are inherently sequential and introducing parallelism is typically up to the programmer. Dataflow, however, is inherently parallel, describing an application as a directed graph, where nodes represent calculations and edges represent a data dependency in form of a queue. These queues are the only allowed communication between the nodes, making the dependencies between the nodes explicit and thereby also the parallelism. Once a node have the su cient inputs available, the node can, independently of any other node, perform calculations, consume inputs, and produce outputs. Data ow models have existed for several decades and have become popular for describing signal processing applications as the graph representation is a very natural representation within this eld. Digital lters are typically described with boxes and arrows also in textbooks. Data ow is also becoming more interesting in other domains, and in principle, any application working on an information stream ts the dataflow paradigm. Such applications are, among others, network protocols, cryptography, and multimedia applications. As an example, the MPEG group standardized a dataflow language called RVC-CAL to be use within reconfigurable video coding. Describing a video coder as a data ow network instead of with conventional programming languages, makes the coder more readable as it describes how the video dataflows through the different coding tools. While dataflow provides an intuitive representation for many applications, it also introduces some new problems that need to be solved in order for data ow to be more widely used. The explicit parallelism of a dataflow program is descriptive and enables an improved utilization of available processing units, however, the independent nodes also implies that some kind of scheduling is required. The need for efficient scheduling becomes even more evident when the number of nodes is larger than the number of processing units and several nodes are running concurrently on one processor core. There exist several data ow models of computation, with different trade-offs between expressiveness and analyzability. These vary from rather restricted but statically schedulable, with minimal scheduling overhead, to dynamic where each ring requires a ring rule to evaluated. The model used in this work, namely RVC-CAL, is a very expressive language, and in the general case it requires dynamic scheduling, however, the strong encapsulation of dataflow nodes enables analysis and the scheduling overhead can be reduced by using quasi-static, or piecewise static, scheduling techniques. The scheduling problem is concerned with nding the few scheduling decisions that must be run-time, while most decisions are pre-calculated. The result is then an, as small as possible, set of static schedules that are dynamically scheduled. To identify these dynamic decisions and to find the concrete schedules, this thesis shows how quasi-static scheduling can be represented as a model checking problem. This involves identifying the relevant information to generate a minimal but complete model to be used for model checking. The model must describe everything that may affect scheduling of the application while omitting everything else in order to avoid state space explosion. This kind of simplification is necessary to make the state space analysis feasible. For the model checker to nd the actual schedules, a set of scheduling strategies are de ned which are able to produce quasi-static schedulers for a wide range of applications. The results of this work show that actor composition with quasi-static scheduling can be used to transform data ow programs to t many different computer architecture with different type and number of cores. This in turn, enables dataflow to provide a more platform independent representation as one application can be fitted to a specific processor architecture without changing the actual program representation. Instead, the program representation is in the context of design space exploration optimized by the development tools to fit the target platform. This work focuses on representing the dataflow scheduling problem as a model checking problem and is implemented as part of a compiler infrastructure. The thesis also presents experimental results as evidence of the usefulness of the approach.

Parameter identification in time series models

Time series analysis can be categorized into three different approaches: classical, Box-Jenkins, and State space. Classical approach makes a basement for the analysis and Box-Jenkins approach is an improvement of the classical approach and deals with stationary time series. State space approach allows time variant factors and covers up a broader area of time series analysis. This thesis focuses on parameter identifiablity of different parameter estimation methods such as LSQ, Yule-Walker, MLE which are used in the above time series analysis approaches. Also the Kalman filter method and smoothing techniques are integrated with the state space approach and MLE method to estimate parameters allowing them to change over time. Parameter estimation is carried out by repeating estimation and integrating with MCMC and inspect how well different estimation methods can identify the optimal model parameters. Identification is performed in probabilistic and general senses and compare the results in order to study and represent identifiability more informative way.

Initialization of Continuous Nonlinear Models Using Extended Kalman Filter

The two main objectives of Bayesian inference are to estimate parameters and states. In this thesis, we are interested in how this can be done in the framework of state-space models when there is a complete or partial lack of knowledge of the initial state of a continuous nonlinear dynamical system. In literature, similar problems have been referred to as diffuse initialization problems. This is achieved first by extending the previously developed diffuse initialization Kalman filtering techniques for discrete systems to continuous systems. The second objective is to estimate parameters using MCMC methods with a likelihood function obtained from the diffuse filtering. These methods are tried on the data collected from the 1995 Ebola outbreak in Kikwit, DRC in order to estimate the parameters of the system.

Ionsonde Measurement Trend

Time series analysis has gone through different developmental stages before the current modern approaches. These can broadly categorized as the classical time series analysis and modern time series analysis approach. In the classical one, the basic target of the analysis is to describe the major behaviour of the series without necessarily dealing with the underlying structures. On the contrary, the modern approaches strives to summarize the behaviour of the series going through its underlying structure so that the series can be represented explicitly. In other words, such approach of time series analysis tries to study the series structurally. The components of the series that make up the observation such as the trend, seasonality, regression and disturbance terms are modelled explicitly before putting everything together in to a single state space model which give the natural interpretation of the series. The target of this diploma work is to practically apply the modern approach of time series analysis known as the state space approach, more specifically, the dynamic linear model, to make trend analysis over Ionosonde measurement data. The data is time series of the peak height of F2 layer symbolized by hmF2 which is the height of high electron density. In addition, the work also targets to investigate the connection between solar activity and the peak height of F2 layer. Based on the result found, the peak height of the F2 layer has shown a decrease during the observation period and also shows a nonlinear positive correlation with solar activity.