Bayesian methods for estimation, optimization and experimental design

Mathematical models often contain parameters that need to be calibrated from measured data. The emergence of efficient Markov Chain Monte Carlo (MCMC) methods has made the Bayesian approach a standard tool in quantifying the uncertainty in the parameters. With MCMC, the parameter estimation problem can be solved in a fully statistical manner, and the whole distribution of the parameters can be explored, instead of obtaining point estimates and using, e.g., Gaussian approximations. In this thesis, MCMC methods are applied to parameter estimation problems in chemical reaction engineering, population ecology, and climate modeling. Motivated by the climate model experiments, the methods are developed further to make them more suitable for problems where the model is computationally intensive. After the parameters are estimated, one can start to use the model for various tasks. Two such tasks are studied in this thesis: optimal design of experiments, where the task is to design the next measurements so that the parameter uncertainty is minimized, and model-based optimization, where a model-based quantity, such as the product yield in a chemical reaction model, is optimized. In this thesis, novel ways to perform these tasks are developed, based on the output of MCMC parameter estimation. A separate topic is dynamical state estimation, where the task is to estimate the dynamically changing model state, instead of static parameters. For example, in numerical weather prediction, an estimate of the state of the atmosphere must constantly be updated based on the recently obtained measurements. In this thesis, a novel hybrid state estimation method is developed, which combines elements from deterministic and random sampling methods.

MCMC Analysis for Optimization of Stochastic Models

In any decision making under uncertainties, the goal is mostly to minimize the expected cost. The minimization of cost under uncertainties is usually done by optimization. For simple models, the optimization can easily be done using deterministic methods.However, many models practically contain some complex and varying parameters that can not easily be taken into account using usual deterministic methods of optimization. Thus, it is very important to look for other methods that can be used to get insight into such models. MCMC method is one of the practical methods that can be used for optimization of stochastic models under uncertainty. This method is based on simulation that provides a general methodology which can be applied in nonlinear and non-Gaussian state models. MCMC method is very important for practical applications because it is a uni ed estimation procedure which simultaneously estimates both parameters and state variables. MCMC computes the distribution of the state variables and parameters of the given data measurements. MCMC method is faster in terms of computing time when compared to other optimization methods. This thesis discusses the use of Markov chain Monte Carlo (MCMC) methods for optimization of Stochastic models under uncertainties .The thesis begins with a short discussion about Bayesian Inference, MCMC and Stochastic optimization methods. Then an example is given of how MCMC can be applied for maximizing production at a minimum cost in a chemical reaction process. It is observed that this method performs better in optimizing the given cost function with a very high certainty.

Viestitaktiikan kehittyminen yhtymän viestijärjestelmän käyttöönoton jälkeen

Tutkimus käynnistyi Maanpuolustuskorkeakoulun taktiikan laitoksen esittäessä aihepiiriä tutkittavaksi. Tutkimuksen tavoitteena on ollut lisätä tietämystä viestitaktiikan kehittymisestä yhtymän viestijärjestelmän käyttöönoton jälkeen 1980 – 2000-luvuilla osana operatiivistaktisten toimintaperiaatteiden ja -tapojen kehittymistä. Tutkimuksella on pyritty syventämään tietämystä taktisten periaatteiden muutoksista viestitaktiikan näkökulmasta. Tutkimuksessa tarkasteltiin maavoimien YVI-järjestelmillä varustettujen yhtymien viestitaktiikkaa sekä niissä tapahtuneita muutoksia. Muutoksia tarkasteltaessa tutkimuksessa keskityttiin käsitykseen viestitaktiikasta, viestitaktisiin periaatteisiin sekä viestipäällikköön ja hänen toimintakenttäänsä. Viestitaktisia periaatteita ja niissä tapahtuneita muutoksia vertailtiin myös yleisiin taktisiin periaatteisiin ja niiden painotuksissa tapahtuneisiin muutoksiin. Tutkimus on luonteeltaan kvalitatiivinen. Tutkimusongelmia lähestyttiin fenomenografisella tutkimusotteella, jossa tavoitteena on kuvailla, analysoida ja ymmärtää erilaisia käsityksiä ilmiöistä sekä käsitysten keskinäisistä suhteista. Lähdeaineiston muodostivat 18 viestitaktiikan asiantuntijan kokemusperäiset käsitykset viestitaktiikasta ja sen kehittymisestä YVIjärjestelmien käyttöönoton jälkeen. Käsityksistä muodostettiin merkitys- ja kuvauskategorioiden sekä tutkijan esiymmärryksen pohjalta induktiivisen päättelyn avulla tutkimuksen varsinaiset johtopäätökset. Tutkimushenkilöiden käsitysten sekä taktiikan ja viestitaktiikan aikaisempien määritelmien perusteella johtopäätöksenä määritettiin, että viestitaktiikka on tehtävän toteuttamiseen käytettävissä olevan viestillisen kapasiteetin optimaalista suunnittelua, soveltamista ja käyttöä viestivoimana haluttujen päämäärien saavuttamiseksi ja viestitaisteluiden voittamiseksi. Viestitaktikointi edellyttää viestitaisteluun liittyvien keinojen tuntemista sekä taitoa soveltaa niitä käytännössä. Tutkimustulosten perusteella keskeisiksi viestitaktisiksi periaatteiksi tärkeysjärjestyksessä muodostuivat - päämäärän ja tehtävän selkeys - varautuminen odottamattomiin tilanteen vaihteluihin - yksinkertaisuus - aktiivisuus ja oma-aloitteisuus. Keskeisiksi merkitystään lisänneiksi viestitaktisiksi periaatteiksi muodostuivat - voimien vaikutuksen keskittäminen - joukkojen ja voimien jakaminen (reservi) - varautuminen odottamattomiin tilanteen vaihteluihin - salaaminen ja harhauttaminen - turvallisuus. Selkeimpänä viestipäällikön tehtävien muutoksena pidettiin siirtymistä yksityiskohtaisesta viestiyhteyksien suunnittelijasta kokonaisvaltaiseksi yhtymän viestitoiminnan johtajaksi. Tutkimustulosten ja aikaisempien määritelmien perusteella johtopäätöksenä määritettiin, että viestipäällikkö johtaa yhtymän viestitoimintaa komentajan antamien vaatimusten mukaisesti ja vastaa yhtymän johtoryhmän jäsenenä viestitaktisista ratkaisuista haluttujen päämäärien saavuttamiseksi ja viestitaisteluiden voittamiseksi. Viestipäälliköltä edellytetään viestitaisteluun liittyvien keinojen tuntemista sekä taitoa soveltaa niitä käytännössä. Tutkimuksen mukaan yhtymän viestitaktiikkaan merkittävimmin vaikuttaneita tekijöitä olivat yhtymän viestijärjestelmien käyttöönotto, uusien esikunta- ja viestiyksiköiden kehittäminen, kiinteän viestiverkon ja johtamisjärjestelmäalan merkityksen kasvaminen, käytettävien tekniikoiden kehittyminen sekä joukkojen ja johtoportaiden tiedonsiirtotarpeiden kasvaminen. Viestitaktiikan osalta voidaan todeta deterministisen näkemyksen taistelusta ja taistelutilasta muuttuneen yleisten taktisten periaatteiden muutosten mukaisesti aikaisempaa monimuotoisempaan ja rohkeampaan, voluntaarisempaan, suuntaan.

Voimalaitoksen käytönaikaisen optimoinnin määrittely

Tässä diplomityössä määritellään biopolttoainetta käyttävän voimalaitoksen käytönaikainen tuotannon optimointimenetelmä. Määrittelytyö liittyy MW Powerin MultiPower CHP –voimalaitoskonseptin jatkokehitysprojektiin. Erilaisten olemassa olevien optimointitapojen joukosta valitaan tarkoitukseen sopiva, laitosmalliin ja kustannusfunktioon perustuva menetelmä, jonka tulokset viedään automaatiojärjestelmään PID-säätimien asetusarvojen muodossa. Prosessin mittaustulosten avulla lasketaan laitoksen energia- ja massataseet, joiden tuloksia käytetään seuraavan optimointihetken lähtötietoina. Optimoinnin kohdefunktio on kustannusfunktio, jonka termit ovat voimalaitoksen käytöstä aiheutuvia tuottoja ja kustannuksia. Prosessia optimoidaan säätimille annetut raja-arvot huomioiden niin, että kokonaiskate maksimoituu. Kun laitokselle kertyy käyttöikää ja historiadataa, voidaan prosessin optimointia nopeuttaa hakemalla tilastollisesti historiadatasta nykytilanteen olosuhteita vastaava hetki. Kyseisen historian hetken katetta verrataan kustannusfunktion optimoinnista saatuun katteeseen. Paremman katteen antavan menetelmän laskemat asetusarvot otetaan käyttöön prosessin ohjausta varten. Mikäli kustannusfunktion laskenta eikä historiadatan perusteella tehty haku anna paranevaa katetta, niiden laskemia asetusarvoja ei oteta käyttöön. Sen sijaan optimia aletaan hakea deterministisellä optimointialgoritmilla, joka hakee nykyhetken ympäristöstä paremman katteen antavia säätimien asetusarvoja. Säätöjärjestelmä on mahdollista toteuttaa myös tulevaisuutta ennustavana. Työn käytännön osuudessa voimalaitosmalli luodaan kahden eri mallinnusohjelman avulla, joista toisella kuvataan kattilan ja toisella voimalaitosprosessin toimintaa. Mallinnuksen tuloksena saatuja prosessiarvoja hyödynnetään lähtötietoina käyttökatteen laskennassa. Kate lasketaan kustannusfunktion perusteella. Tuotoista suurimmat liittyvät sähkön ja lämmön myyntiin sekä tuotantotukeen, ja suurimmat kustannukset liittyvät investoinnin takaisinmaksuun ja polttoaineen ostoon. Kustannusfunktiolle tehdään herkkyystarkastelu, jossa seurataan katteen muutosta prosessin teknisiä arvoja muutettaessa. Tuloksia vertaillaan referenssivoimalaitoksella suoritettujen verifiointimittausten tuloksiin, ja havaitaan, että tulokset eivät ole täysin yhteneviä. Erot johtuvat sekä mallinnuksen puutteista että mittausten lyhyehköistä tarkasteluajoista. Automatisoidun optimointijärjestelmän käytännön toteutusta alustetaan määrittelemällä käyttöön otettava optimointitapa, siihen liittyvät säätöpiirit ja tarvittavat lähtötiedot. Projektia tullaan jatkamaan järjestelmän ohjelmoinnilla, testauksella ja virityksellä todellisessa voimalaitosympäristössä ja myöhemmin ennustavan säädön toteuttamisella.

Marmoriruumiiden ylösnousemus

Kirjallisuusarvostelu

Differential Evolution approach and parameter estimation of chaotic

Parameter estimation still remains a challenge in many important applications. There is a need to develop methods that utilize achievements in modern computational systems with growing capabilities. Owing to this fact different kinds of Evolutionary Algorithms are becoming an especially perspective field of research. The main aim of this thesis is to explore theoretical aspects of a specific type of Evolutionary Algorithms class, the Differential Evolution (DE) method, and implement this algorithm as codes capable to solve a large range of problems. Matlab, a numerical computing environment provided by MathWorks inc., has been utilized for this purpose. Our implementation empirically demonstrates the benefits of a stochastic optimizers with respect to deterministic optimizers in case of stochastic and chaotic problems. Furthermore, the advanced features of Differential Evolution are discussed as well as taken into account in the Matlab realization. Test "toycase" examples are presented in order to show advantages and disadvantages caused by additional aspects involved in extensions of the basic algorithm. Another aim of this paper is to apply the DE approach to the parameter estimation problem of the system exhibiting chaotic behavior, where the well-known Lorenz system with specific set of parameter values is taken as an example. Finally, the DE approach for estimation of chaotic dynamics is compared to the Ensemble prediction and parameter estimation system (EPPES) approach which was recently proposed as a possible solution for similar problems.