Monte Carlo Methods in Parameter Estimation of Nonlinear Models

Yksi keskeisimmistä tehtävistä matemaattisten mallien tilastollisessa analyysissä on mallien tuntemattomien parametrien estimointi. Tässä diplomityössä ollaan kiinnostuneita tuntemattomien parametrien jakaumista ja niiden muodostamiseen sopivista numeerisista menetelmistä, etenkin tapauksissa, joissa malli on epälineaarinen parametrien suhteen. Erilaisten numeeristen menetelmien osalta pääpaino on Markovin ketju Monte Carlo -menetelmissä (MCMC). Nämä laskentaintensiiviset menetelmät ovat viime aikoina kasvattaneet suosiotaan lähinnä kasvaneen laskentatehon vuoksi. Sekä Markovin ketjujen että Monte Carlo -simuloinnin teoriaa on esitelty työssä siinä määrin, että menetelmien toimivuus saadaan perusteltua. Viime aikoina kehitetyistä menetelmistä tarkastellaan etenkin adaptiivisia MCMC menetelmiä. Työn lähestymistapa on käytännönläheinen ja erilaisia MCMC -menetelmien toteutukseen liittyviä asioita korostetaan. Työn empiirisessä osuudessa tarkastellaan viiden esimerkkimallin tuntemattomien parametrien jakaumaa käyttäen hyväksi teoriaosassa esitettyjä menetelmiä. Mallit kuvaavat kemiallisia reaktioita ja kuvataan tavallisina differentiaaliyhtälöryhminä. Mallit on kerätty kemisteiltä Lappeenrannan teknillisestä yliopistosta ja Åbo Akademista, Turusta.

Initialization of Continuous Nonlinear Models Using Extended Kalman Filter

The two main objectives of Bayesian inference are to estimate parameters and states. In this thesis, we are interested in how this can be done in the framework of state-space models when there is a complete or partial lack of knowledge of the initial state of a continuous nonlinear dynamical system. In literature, similar problems have been referred to as diffuse initialization problems. This is achieved first by extending the previously developed diffuse initialization Kalman filtering techniques for discrete systems to continuous systems. The second objective is to estimate parameters using MCMC methods with a likelihood function obtained from the diffuse filtering. These methods are tried on the data collected from the 1995 Ebola outbreak in Kikwit, DRC in order to estimate the parameters of the system.

Customer Expectations and Organizational Buying Behavior in the Flexible Packaging Markets

Tämä työ on tehty yhteistyössä kansainvälisen metsäteollisuusyrityksen Stora Enson kanssa. Työ on osa Stora Enson strategiaa kehitettäessä uusia ja innovatiivisia pakkausmateriaaleja ja ratkaisuja joustopakkausmarkkinoille. Työn päätavoitteina oli selvittää, millaisia odotuksia tuotemerkkienomistajilla ja jatkojalostajilla on joustopakkauksista ja kuinka pakkausten ostopäätökset syntyvät monitahoisessa liikeympäristössä. Työn teoreettinen viitekehys jaettiin kahteen osaan. Asiakasodotuksia lähestyttiin tutkimalla eri palvelu- ja tuotelaadun ulottuvuuksia, ja teollisuuden ostokäyttäytymistä tutkittiin organisaatioiden ostokäyttämistä kuvaavien mallien avulla. Työn empiirisessä osuudessa käytettiin laadullista tutkimusmenetelmää käsittäen asiakashaastatteluja lähinnä Yhdysvalloissa. Haastateltavat yritykset koostuivat maailman johtavista kuluttajatuotteita valmistavista yrityksistä sekä jatkojalostajista. Tutkimustulosten mukaan odotukset pakkauksista liittyvät lähinnä tuotteen suojaamiseen sekä myynnin edistämiseen. Pääodotuksina on myös saada mahdollisimman edullisia papereita, mahdollisimman hyvillä barrier- ja paino-ominaisuuksilla. Tutkimustulokset osoittavat myös, että paperiyhtiöt ovat epäonnistuneet tekemään itseään tunnetuksi teollisuudelle ja heidän odotetaan olevan tulevaisuudessa aggressiivisempia ja innovatiivisempia. Tuotemerkkienomistajat ostavat pakkaukset ja pakkausmateriaalit normaalisti mieluiten jatkojalostajiensa kautta, mutta silti he toivovat yhteistyötä paperintoimittajien kanssa kunhan vain myös jatkojalostajat sisällytetään toimintaan mukaan.

Äitiys kulttuurisina odotuksina

Tutkimuksen kohteena ovat äitiydelle tuotetut kulttuuriset odotukset, joita tarkastellaan kahdella yhteiskunnallisella keskustelufoorumilla. Tutkimuksessa tarkastellaan yhtäältä lastensuojelun perhetyössä toimivien ammattilaisten ja toisaalta median puhetta äitiydestä. Tutkimuksen tavoitteena on tehdä näkyväksi vaihtoehtoisia tapoja konstruoida äitiyttä hyvänä tai riittämättömänä sekä haastaa pohtimaan erilaisten tulkintojen perusteita ja seurauksia lastensuojelutyössä. Kulttuuriset, äitiyttä koskevat odotukset vaikuttavat myös siihen, miten äitiys henkilökohtaisella tasolla koetaan. Äitiyden kulttuurista määrittelyä analysoidaan kahdesta tekstiaineistosta. Yhtenä aineistona ovat Stakesissa vuonna 1999 toteutetun Perhetyöprojektin yhteydessä kerätyt, lastensuojelussa toimivien perhetyöammattilaisten ryhmäkeskustelut. Toisena aineistona on projektin ajankohtana ilmestyneistä suomalaisista naisten- ja perhelehdistä (Kotiliesi, Anna, Kaksplus) kerätyt äitien haastattelut. Tutkimuksessa kysytään 1) Mihin ammattilaisten äitejä koskeva huolipuhe kiinnittyy ja millaisia kulttuurisia äitiyden odotuksia se konstruoi? 2) Millaisia äitiyden odotuksia median äitihaastattelut konstruoivat? 3) Millaisen äitiyden odotushorisontin nämä puhekäytännöt yhdessä tuottavat? Analyysin teoreettis-metodologisina kulmakivinä ovat sosiaalinen konstruktionismi ja feministinen tietokäsitys. Analyysimenetelmänä on laadullinen, aineistojen ehdoilla etenevä, feministisesti ja kriittisesti sävyttynyt lukutapa, joka hyödyntää teemoittelun, diskurssianalyysin ja feministisen metodologian ideoita ja käsitteitä. Analysoitavana olevissa keskusteluissa äitiyttä konstruoidaan lapsen tarpeiden (ammattilaiset) ja naisen tarpeiden (media) näkökulmista. Ammattilaiset puhuvat tilanteista, joissa äitien toiminta rikkoo kulttuurista hyvän äidin kuvaa, vaarantaa lapsen hyvinvointia ja äitiyteen joudutaan puuttumaan ammatillisesti. Ammattilaisten tulkinnat kuvaavat taitavaa lapsen edun näkökulmasta tehtyä arviointia, jonka kiintopisteenä ovat äidit yksilöllisine ominaisuuksineen ja piirteineen. Ammatillisen huolipuheen keskiössä ovat äidin vuorovaikutussuhteet sekä äidin tunteet, käyttäytyminen ja asenteet. Riittävää äitiyttä konstruoi kodin luominen, kiintymyssuhteen rakentaminen ja lapsen ensisijaiseksi asettaminen. Sen sijaan vaikuttaa siltä, ettei äitiyden arviointia juurikaan tehdä suhteessa äidin muihin identiteetteihin tai äitiyden toteuttamisen kontekstiin. Paikoin ammattilaisten tulkinnat heijastavat myös stereotyyppisiä ja idealistisia odotuksia, joita vasten äitiyttä arvioidaan. Tällaiset piirteet voivat kertoa siitä, että äitien avuntarpeet jäävät lastensuojelutyössä kohtaamatta ja ymmärtämättä. Mediapuhe äitiydestä käydään naiseuden ja äitiyden mallien antamisen kontekstissa. Puheen keskiössä ovat mediajulkisuuteen päässeiden naisten äidiksi tuloon ja äitiyden toteuttamiseen liittyvät valinnat ja käyttäytyminen. Mediapuhe on puhetta kulttuuristen ja ammatillisten äitiyden odotusten rikkomisesta, uudelleen tulkinnasta ja niiden muovaamisesta itselle sopiviksi. Mediapuheessa hyvää äitiyttä konstruoi äidin itsenäisyys ja oma aika, sosiaalisen elämän rikkaus, ammatillinen identiteetti ja persoonalliset valinnat. Aineistojen kautta rakentuu moninaisten ja ristiriitaisten, äitejä eri suuntaan vetävien kulttuuristen odotusten kirjo. Odotukset jäsentyvät neljälle ulottuvuudelle: 1) lapselle omistautuva – itseään toteuttava, 2) emotionaalinen side – rationaalinen tehtävä, 3) odotuksia toteuttava – omaehtoinen, 4) itsenäinen - äitiyttä jakava. Äitiyden toteuttaminen kulttuurisesti ”oikein” on näiden odotusten välissä tasapainoilua. Ulottuvuuksien kautta esille tulevat kaksoisviestit voivat heikentää äitien itsetuntoa, tuottaa riittämättömyyden tunteita tai yllyttää suorittamaan äitiyttä. Myös äitiyden ammatillinen tukeminen edellyttää tasapainoilua, jottei äitejä idealisoida tai syyllistetä kulttuurisia odotuksia vasten.

Tests of International Asset Pricing Models in Scandinavian Stock Markets

This thesis examines whether global, local and exchange risks are priced in Scandinavian countries’ equity markets by using conditional international asset pricing models. The employed international asset pricing models are the world capital asset pricing model, the international asset pricing model augmented with the currency risk, and the partially segmented model augmented with the currency risk. Moreover, this research traces estimated equity risk premiums for the Scandinavian countries. The empirical part of the study is performed using generalized method of moments approach. Monthly observations from February 1994 to June 2007 are used. Investors’ conditional expectations are modeled using several instrumental variables. In order to keep system parsimonious the prices of risk are assumed to be constant whereas expected returns and conditional covariances vary over time. The empirical findings of this thesis suggest that the prices of global and local market risk are priced in the Scandinavian countries. This indicates that the Scandinavian countries are mildly segmented from the global markets. Furthermore, the results show that the exchange risk is priced in the Danish and Swedish stock markets when the partially segmented model is augmented with the currency risk factor.

MCMC Analysis for Optimization of Stochastic Models

In any decision making under uncertainties, the goal is mostly to minimize the expected cost. The minimization of cost under uncertainties is usually done by optimization. For simple models, the optimization can easily be done using deterministic methods.However, many models practically contain some complex and varying parameters that can not easily be taken into account using usual deterministic methods of optimization. Thus, it is very important to look for other methods that can be used to get insight into such models. MCMC method is one of the practical methods that can be used for optimization of stochastic models under uncertainty. This method is based on simulation that provides a general methodology which can be applied in nonlinear and non-Gaussian state models. MCMC method is very important for practical applications because it is a uni ed estimation procedure which simultaneously estimates both parameters and state variables. MCMC computes the distribution of the state variables and parameters of the given data measurements. MCMC method is faster in terms of computing time when compared to other optimization methods. This thesis discusses the use of Markov chain Monte Carlo (MCMC) methods for optimization of Stochastic models under uncertainties .The thesis begins with a short discussion about Bayesian Inference, MCMC and Stochastic optimization methods. Then an example is given of how MCMC can be applied for maximizing production at a minimum cost in a chemical reaction process. It is observed that this method performs better in optimizing the given cost function with a very high certainty.

Defining of the material models for stainless steels to be used in FE modeling

The aim of this work is to study the results of tensile tests for austenitic stainless steel type 304 and make accurate FE-models according to the results of the tests. Tensile tests were made at Central Research Institute of Structural Material, Prometey at Saint Petersburg and Mariyenburg in Russia. The test specimens for the tensile tests were produced at Lappeenranta University of Technology in a Laboratory of Steel Structures. In total 4 different tests were made, two with base material specimens and two with transverse butt weld specimens. Each kind of a specimen was tested at room temperature and at low temperature. By comparing the results of room and low temperature tests of similar test specimen we get to study the results of work hardening that affect the austenitic steels at below room temperature. The produced specimens are to be modeled accurately and then imported for nonlinear FEM- analyzing. Using the data gained from the tensile tests the aim is to get the models work like the specimens did during the tests. By using the analyzed results of the FE-models the aim is to calculate and get the stress-strain curves that correspond to the results acquired from the tensile tests.

Adaptive Markov chain Monte Carlo and Bayesian filtering for state space models

This thesis is concerned with the state and parameter estimation in state space models. The estimation of states and parameters is an important task when mathematical modeling is applied to many different application areas such as the global positioning systems, target tracking, navigation, brain imaging, spread of infectious diseases, biological processes, telecommunications, audio signal processing, stochastic optimal control, machine learning, and physical systems. In Bayesian settings, the estimation of states or parameters amounts to computation of the posterior probability density function. Except for a very restricted number of models, it is impossible to compute this density function in a closed form. Hence, we need approximation methods. A state estimation problem involves estimating the states (latent variables) that are not directly observed in the output of the system. In this thesis, we use the Kalman filter, extended Kalman filter, Gauss–Hermite filters, and particle filters to estimate the states based on available measurements. Among these filters, particle filters are numerical methods for approximating the filtering distributions of non-linear non-Gaussian state space models via Monte Carlo. The performance of a particle filter heavily depends on the chosen importance distribution. For instance, inappropriate choice of the importance distribution can lead to the failure of convergence of the particle filter algorithm. In this thesis, we analyze the theoretical Lᵖ particle filter convergence with general importance distributions, where p ≥2 is an integer. A parameter estimation problem is considered with inferring the model parameters from measurements. For high-dimensional complex models, estimation of parameters can be done by Markov chain Monte Carlo (MCMC) methods. In its operation, the MCMC method requires the unnormalized posterior distribution of the parameters and a proposal distribution. In this thesis, we show how the posterior density function of the parameters of a state space model can be computed by filtering based methods, where the states are integrated out. This type of computation is then applied to estimate parameters of stochastic differential equations. Furthermore, we compute the partial derivatives of the log-posterior density function and use the hybrid Monte Carlo and scaled conjugate gradient methods to infer the parameters of stochastic differential equations. The computational efficiency of MCMC methods is highly depend on the chosen proposal distribution. A commonly used proposal distribution is Gaussian. In this kind of proposal, the covariance matrix must be well tuned. To tune it, adaptive MCMC methods can be used. In this thesis, we propose a new way of updating the covariance matrix using the variational Bayesian adaptive Kalman filter algorithm.

Bayesian analysis of SEIR epidemic models

This thesis concerns the analysis of epidemic models. We adopt the Bayesian paradigm and develop suitable Markov Chain Monte Carlo (MCMC) algorithms. This is done by considering an Ebola outbreak in the Democratic Republic of Congo, former Zaïre, 1995 as a case of SEIR epidemic models. We model the Ebola epidemic deterministically using ODEs and stochastically through SDEs to take into account a possible bias in each compartment. Since the model has unknown parameters, we use different methods to estimate them such as least squares, maximum likelihood and MCMC. The motivation behind choosing MCMC over other existing methods in this thesis is that it has the ability to tackle complicated nonlinear problems with large number of parameters. First, in a deterministic Ebola model, we compute the likelihood function by sum of square of residuals method and estimate parameters using the LSQ and MCMC methods. We sample parameters and then use them to calculate the basic reproduction number and to study the disease-free equilibrium. From the sampled chain from the posterior, we test the convergence diagnostic and confirm the viability of the model. The results show that the Ebola model fits the observed onset data with high precision, and all the unknown model parameters are well identified. Second, we convert the ODE model into a SDE Ebola model. We compute the likelihood function using extended Kalman filter (EKF) and estimate parameters again. The motivation of using the SDE formulation here is to consider the impact of modelling errors. Moreover, the EKF approach allows us to formulate a filtered likelihood for the parameters of such a stochastic model. We use the MCMC procedure to attain the posterior distributions of the parameters of the SDE Ebola model drift and diffusion parts. In this thesis, we analyse two cases: (1) the model error covariance matrix of the dynamic noise is close to zero , i.e. only small stochasticity added into the model. The results are then similar to the ones got from deterministic Ebola model, even if methods of computing the likelihood function are different (2) the model error covariance matrix is different from zero, i.e. a considerable stochasticity is introduced into the Ebola model. This accounts for the situation where we would know that the model is not exact. As a results, we obtain parameter posteriors with larger variances. Consequently, the model predictions then show larger uncertainties, in accordance with the assumption of an incomplete model.