Paradigms in Statistical Inference for Finite Populations; Up to the 1950s

Modern sample surveys started to spread after statistician at the U.S. Bureau of the Census in the 1940s had developed a sampling design for the Current Population Survey (CPS). A significant factor was also that digital computers became available for statisticians. In the beginning of 1950s, the theory was documented in textbooks on survey sampling. This thesis is about the development of the statistical inference for sample surveys. For the first time the idea of statistical inference was enunciated by a French scientist, P. S. Laplace. In 1781, he published a plan for a partial investigation in which he determined the sample size needed to reach the desired accuracy in estimation. The plan was based on Laplace s Principle of Inverse Probability and on his derivation of the Central Limit Theorem. They were published in a memoir in 1774 which is one of the origins of statistical inference. Laplace s inference model was based on Bernoulli trials and binominal probabilities. He assumed that populations were changing constantly. It was depicted by assuming a priori distributions for parameters. Laplace s inference model dominated statistical thinking for a century. Sample selection in Laplace s investigations was purposive. In 1894 in the International Statistical Institute meeting, Norwegian Anders Kiaer presented the idea of the Representative Method to draw samples. Its idea was that the sample would be a miniature of the population. It is still prevailing. The virtues of random sampling were known but practical problems of sample selection and data collection hindered its use. Arhtur Bowley realized the potentials of Kiaer s method and in the beginning of the 20th century carried out several surveys in the UK. He also developed the theory of statistical inference for finite populations. It was based on Laplace s inference model. R. A. Fisher contributions in the 1920 s constitute a watershed in the statistical science He revolutionized the theory of statistics. In addition, he introduced a new statistical inference model which is still the prevailing paradigm. The essential idea is to draw repeatedly samples from the same population and the assumption that population parameters are constants. Fisher s theory did not include a priori probabilities. Jerzy Neyman adopted Fisher s inference model and applied it to finite populations with the difference that Neyman s inference model does not include any assumptions of the distributions of the study variables. Applying Fisher s fiducial argument he developed the theory for confidence intervals. Neyman s last contribution to survey sampling presented a theory for double sampling. This gave the central idea for statisticians at the U.S. Census Bureau to develop the complex survey design for the CPS. Important criterion was to have a method in which the costs of data collection were acceptable, and which provided approximately equal interviewer workloads, besides sufficient accuracy in estimation.

Otostutkimukset ovat demokraattisen yhteiskunnan toiminnan edellytys. Päivittäin tehdään päätöksiä, jotka perustuvat niistä saatuun informaatioon. Nykyaikaiset otostutkimukset alkoivat yleistyä sen jälkeen, kun Yhdysvaltojen tilastoviraston (Bureau of the Census) tilastotieteilijät olivat 1940-luvulla kehittäneet toteuttamiskelpoisen otantasuunnitelman valtakunnallisen Current Population Survey -tutkimuksen tarpeisiin. Suuri merkitys oli myös sillä, että ensimmäinen siviilikäytössä oleva tietokone tuli 1950-luvun alussa tilastotieteilijöiden käyttöön. Tämä tutkimus käsittelee sitä, miten otostutkimukset ja tilastollinen päättely niiden yhteydessä kehittyivät. Ranskalainen tiedemies P. S. Laplace muotoili ensimmäisenä tilastollisen päättelyn idean. Vuonna 1781 hän julkaisi osittaistutkimuksen suunnitelman, joka sisälsi useita nykyaikaisen otostutkimuksen piirteitä. Se perustui Laplacen käänteisin todennäköisyyden periaatteeseen sekä hänen johtamaansa keskeiseen raja-arvolauseeseen. Ne oli julkaistu vuonna 1774 muistiossa, joka on yksi tilastollisen päättelyn lähtökohdista. Laplacen päättelymalli hallitsi tilastollista ajattelua yli sadan vuoden ajan. Laplacen tutkimuksessa otos poimittiin harkinnanvaraisesti. Vuonna 1985 norjalainen Anders Kiaer esitteli Kansainvälisen tilastoinstituutin kokouksessa niin sanotun edustavan menetelmän otosten poimimiseksi. Pyrkimyksenä oli, että otoksesta tuli perusjoukon pienoismalli. Tämä ajatus on edelleen otostutkimuksissa keskeinen. Arthur Bowley oivalsi otantamenetelmän mahdollisuudet, ja 1900-luvun ensimmäisen neljänneksen aikana hän teki useita otostutkimuksia Englannissa. Tilastotieteen professorina hän kehitti myös otostutkimusten päättelyteorian, joka perustui Laplacen malliin. Lisäksi Bowley kehitti laajasti muitakin otostutkimusten menetelmiä. Englantilaisen R. A. Fisherin kirjoitukset 1920-luvulla muodostivat tilastotieteen teorian vedenjakaja. Ne mullistivat tilastotieteen teorian täysin. Hän esitteli myös uuden tilastollisen päättelyn mallin, joka on vallitseva edelleen. Keskeinen ajatus oli, että perusjoukosta ajatellaan poimittavan otoksia toistuvasti ja estimoitavat parametrit ovat vakioita. Puolasta Lontooseen muuttanut Jerzy Neyman omaksui Fisherin päättelymallin ja sovelsi sen otostutkimusten tarpeisiin. Neymanin mallissa ei ole juuri ollenkaan perusjoukon luonnetta koskevista oletuksista. Soveltamalla Fisherin teoriaa Neyman kehitti menetelmän luottamusvälien laskemiseksi. Vuonna 1938 Neymanin julkaisi artikkelin, jonka aiheena oli kaksivaiheinen otanta. Se tuotti keskeisen oivalluksen Yhdysvaltojen tilastoviraston tutkijoille heidän kehitellessään monimutkaista otantasuunnitelmaansa Current Population Survey -tutkimukseen. Tärkeä kriteeri oli tuottaa menetelmä, jonka tiedonkeruun kustannukset olivat hyväksyttävissä ja joka työllisti haastattelijoita tasaisesti. Sen lisäksi estimoinnin tarkkuuden tuli olla riittävä.