Otoksen edustavuuden mittaus R-indikaattorin avulla Suomen uhritutkimuspilotissa

Tutkielmassa sovelletaan aineiston edustavuutta mittaavaa laatuindikaattoria Suomen uhritutkimuspilottiin tilanteessa, jossa ilmenee vastauskatoa. Vastauskato on kasvava ongelma tilastotutkimuksissa: jos tutkimukseen osallistuneet eivät edusta otosjoukkoa tutkittavan asian suhteen, voi vastauskadosta aiheutuva harha olla estimoiduissa tunnusluvuissa hyvinkin suuri. Tutkimuksissa näkee usein julkaistavan vastausasteen ikään kuin se kertoisi aukottomasti tutkimuksen laadusta. Pelkkä korkea vastausaste ei kuitenkaan välttämättä takaa estimaattien harhattomuutta, sillä se ei kerro mitään vastanneiden ja vastaamattomien eroista tutkittavan asian suhteen. Tarvitaan siis muita mittareita, joilla vastanneiden laatua voitaisiin paremmin arvioida, ja R-indikaattori tarjoaa yhden vaihtoehdon. R-indikaattori mittaa otosalkioiden vastausalttiuksien välistä vaihtelua. R-indikaattorin estimoiminen edellyttää siis vastausalttiuksien estimointia, mikä puolestaan edellyttää apumuuttujien olemassaoloa kaikille otosalkioille. Vastausalttiuksien estimoimiseen käytettiin linkkifunktiona sekä logistista mallia että ja Särndalin ja Lundströmin (2008) vastausvaikutusten mallia. Vastauskäyttäytymiseen vaikuttavan apumuuttujajoukon valinta tehtiin alan kirjallisuuteen perustuen (Groves & Couper 1998). Koska R-indikaattorin estimaattori on satunnaismuuttuja, täytyi sille estimoida varianssi ja mahdollinen harha (Shlomo ym. 2009). Estimoinnissa käytettiin Bootstrap-pseudotoistomenetelmää, jossa alkuperäisestä aineistosta poimitaan niin kutsuttuja pseudo-otoksia, joiden avulla R-indikaattorin estimaattorille voidaan laskea keskivirhe. Suomen uhritutkimuspilotti koostui kolmesta eri tiedonkeruumenetelmällä poimitusta otoksesta: CAPI-, CATI- CAVVIotoksesta. Vastausasteet vaihtelivat aineistoissa paljon, mutta R-indikaattorin estimaatit olivat kaikille aineistoille liki samat. Suurempi vastausaste ei siis merkinnyt parempaa edustavuutta. Lisäksi CAVVI-aineistossa muistutusviestein ja -kirjein suoritettu vastausasteen kasvattaminen huononsi edustavuutta R-indikaattorin näkökulmasta. Mielivaltainen vastausasteen kasvattaminen ei siis ole välttämättä perusteltua. R-indikaattorin estimaattorin ominaisuuksien osalta empiiriset tulokset vahvistivat RISQ-projektin aiempia tutkimustuloksia. Estimaattorin arvo oli sitä pienempi mitä enemmän vastausalttiuden mallissa oli selittäjiä, koska tällöin vastausalttiuksien varianssi kasvoi (Schouten ym. 2009). Otoskoko vaikutti merkittävästi varianssin suuruuteen: mitä pienempi otoskoko oli, sitä leveämmät olivat luottamusvälit ja sitä vaikeampi oli tehdä johtopäätöksiä edustavuudesta.

Itsevalikoituminen verkkokyselytutkimuksen haasteena

Internet-yhteyksien käyttö yleistyi Suomessa vuoden 1993 jälkeen, mistä lähtien Internetiä on alettu käyttämään yhä enemmän tiedonkeruun apuvälineenä. Apuvälineenä Internetiä käytetään sekä yhteydenotossa vastaajiin että vastauksien keruussa. Internetin avulla tehtyihin kyselytutkimuksiin liittyy edelleen paljon avoimia metodologisia kysymyksiä. Useimmiten perinteistä, satunnaistettua otoksen keruuta ei voida suorittaa, koska kehikkoperusjoukkoa ei pystytä määrittelemään. Tällöin joudutaan turvautumaan itsevalikoituneeseen verkkotiedonkeruuseen, jossa kyselyä mainostetaan avoimesti tutkimuksen kohteena olevalle ryhmälle ja vastaajat itse päättävät osallistuvatko kyselyyn vai eivät. Samalla Internet-populaation alipeitto voi aiheuttaa harhaa tutkimustuloksiin, jos tavoiteperusjoukkona on jokin suuri populaatio, jossa kaikki eivät käytä Internetiä. Tutkielman tavoite on antaa kuva verkkotiedonkeruun ajanmukaisista menetelmistä sekä erityisesti selvittää itsevalikoituneen verkkotiedonkeruun tilastollista metodologiaa, mahdollisuuksia ja rajoituksia. Tarkoituksena on myös selvittää, kuinka hyvin valikoituneen verkkokyselytutkimuksen harhan korjaaminen onnistuu ajanmukaisilla painotusmenetelmillä. Kyselytutkimusten vastauskadosta sekä valikoituneisuudesta johtuvaa harhaa voidaan korjata painotusmenetelmillä, jos vastauskadon mekanismia tai valikoitumismekanismia pystytään selittämään. Harhaa voidaan korjata sopivien apumuuttujien avulla, jotka korreloivat tulosmuuttujan tai osallistumispäätöksen kanssa. Apumuuttujien tiedot täytyy olla tiedossa sekä kyselyyn osallistujilta että ei-osallistujilta. Perinteisen todennäköisyysotantaan perustuvan aineiston vastauskadosta johtuvaa harhaa korjataan useimmiten jälkiosituspainoilla. Itsevalikoituneen verkkokyselytutkimuksen valikoitumisharhan korjaamiseen on esitetty kaksivaiheista painotusmenetelmää, jonka tarkoituksena on korjata harhaa, joka johtuu Internetin käyttömahdollisuudesta sekä itse osallistumispäätöksestä. Internetin käyttömahdollisuus voidaan mallintaa propensiteettipistemäärän avulla, jonka käänteislukua voidaan käyttää painokertoimena harhan korjaamiseksi. Osallistumispäätöksestä johtuvaa harhaa voidaan korjata tasaamalla aineiston apumuuttujien reunajakaumat vastaamaan populaation reunajakaumia. Tutkimuksessa tarkastellaan kolmea aineistoa. Kelan tutkimusosasto keräsi vuoden 2010 syyskuussa pilotin itsevalikoituneesta verkkokyselytutkimuksesta. Kyselyllä pyrittiin kartoittamaan Suomen 16–80-vuotiaiden kansalaisten yksityisten terveys- ja hammashoitopalvelujen hintatietoja ja tarpeita. Sama kysely lähetettiin myös otosperusteisesti Kelan työntekijöille. Molemmissa kyselyissä vastaukset kerättiin sähköisellä Internet-kyselyllä. Lisäksi tutkielmassa tarkastellaan TNS Gallupin otosperusteisesti Suomen kansalaisilta keräämään suppeampaa puhelinhaastattelukyselyä, jota käytettiin myös itsevalikoituneen aineiston kalibrointiaineistona. Kyselytutkimusaineistojen vastauskatoa korjattiin erilaisilla painotusmenetelmillä, joiden avulla pystyttiin tarkastelemaan kuinka hyvin eri painotusmenetelmät pystyvät korjaamaan valikoitumisesta johtuvaa harhaa. Otosperusteisia verkkokyselytutkimuksia korjattiin jälkiosituspainoilla ja painotuksissa onnistuttiin hyvin, koska aineistossa ei ollut suurta valikoituneisuutta. Itsevalikoituneen verkkokyselytutkimuksen painotuksessa jouduttiin kohtaamaan paljon ongelmia, koska aineisto oli suuresti valikoitunut, ja siinä oli paljon vastauskatoa. Itsevalikoituneen aineiston valikoitumisen harhaa onnistuttiin kuitenkin osaksi korjaamaan, ja osa tulosmuuttujien jakaumatiedoista vastasi lähes otosperusteisen kyselytutkimuksen jakaumatietoja. Tutkimuksen keskeisin tulos oli, että vaikka verkkokyselyn tekeminen on halvempaa ja vähemmän työläämpää kuin otosperusteisen kyselytutkimuksen tekeminen, verkkokyselytutkimuksen suunnitteluun on panostettava entistä enemmän. Itsevalikoituneen verkkokyselytutkimuksen keruussa on suunniteltava tarkemmin kyselyn mainostaminen vastaajaehdokkaille, jotta valikoitumisesta johtuvaa harhaa voidaan paremmin hallita. Tutkimuksessa kävi myös ilmi, että sekä asennetta ja käyttäytymistä kuvaavia kysymyksiä on tärkeä olla kyselytutkimuksissa mukana, koska näiden avulla pystytään selittämään paremmin valikoitumisesta johtuvaa harhaa, kuin pelkästään sosiodemografisten muuttujien avulla.