Bayesian Estimation of Noise

In mathematical modeling the estimation of the model parameters is one of the most common problems. The goal is to seek parameters that fit to the measurements as well as possible. There is always error in the measurements which implies uncertainty to the model estimates. In Bayesian statistics all the unknown quantities are presented as probability distributions. If there is knowledge about parameters beforehand, it can be formulated as a prior distribution. The Bays’ rule combines the prior and the measurements to posterior distribution. Mathematical models are typically nonlinear, to produce statistics for them requires efficient sampling algorithms. In this thesis both Metropolis-Hastings (MH), Adaptive Metropolis (AM) algorithms and Gibbs sampling are introduced. In the thesis different ways to present prior distributions are introduced. The main issue is in the measurement error estimation and how to obtain prior knowledge for variance or covariance. Variance and covariance sampling is combined with the algorithms above. The examples of the hyperprior models are applied to estimation of model parameters and error in an outlier case.

Matemaattisessa mallinnuksessa mallin parametrien estimointi on eräs yleisimmistä ongelmista. Mittausten perusteella pyritään hakemaan ne parametrit, jotka selittävät parhaiten kohteena olevaa ilmiötä. Koska mittaukset sisältävät aina virhettä, se aiheuttaa epävarmuutta mallin parametrien määrityksessä. Bayesläisessä tilastotieteessä kaikki tuntemattomat suureet kuvataan todennäköisyysjakaumilla. Jos parametreistä on ennakolta tietoa, voidaan se esittää priorijakauman avulla. Bayesin sääntö yhdistää ennakkokäsitykset ja mittaustiedon posteriorijakaumaksi. Ilmiöitä kuvaavat mallit ovat usein epälineaarisia ja oikean tilastollisen tiedon tuottamiseen tarvitaan tehokkaita otanta-algoritmeja. Tässä työssä esitellään Metropolis-hastings (MH) ja Adaptiivinen Metropolis (AM) algoritmit sekä Gibbs otanta. Diplomityössä esitellään erilaisia tapoja käyttää prioritietoa. Pääpaino on virheen estimoinnissa ja prioritiedon esittämisessä virhevarianssille tai kovarianssille. Varianssin ja kovarianssin otanta yhdistetään edellä mainittuihin algoritmeihin. Esimerkkinä käytettyjä hyperpriorimalleja sovelletaan outlier-tapaukseen mallin parametrien ja virheen estimaattien haussa.