Onko arviointitutkimus asiantuntijavaltaa vai sen puutetta?

Sosiologian valta : Sosiologipäivien yleisesitelmät

Kirjallisuutta

Lyhennelmä virallisen vastaväittäjän, dosentti Juha-Pekka Renton Tampereen yliopiston taloudellis-hallinnolliselle tiedekunnalle antamasta joulukuussa 2003 päivätystä lausunnosta

Humanistisen kokoelman evaluointi : tutkimuskirjallisuus Helsingin yliopiston kirjastossa

Kirjoitus perustuu Tampereen yliopistossa tarkastettavana olevaan informaatiotutkimuksen pro gradu -tutkielmaan

Ohjelmakauden 1995 - 1999 yritystukien vaikuttavuus Etelä-Karjalassa

TE-keskusten toimenkuvaan ei ole kuulunut systemaattisesti selvittää hankkeen päätyttyä tuen vaikutuksia. Vaikuttavuusarviointi on ollut lähinnä hankkeen aloitusajankohdan tietojen keräämistä yrityksiltä. Ensimmäisen ohjelmakauden 1995 - 1999 yritystukien vaikuttavuutta ei ole tutkittu Etelä-Karjalassa jälkikäteisarvioinnilla. Tutkimus selvitti, mitä yhteiskunnallisia ja yrityskohtaisia vaikutuksia TE-keskuksen yritystuilla on ollut 3-5 vuoden jälkeen viimeisestä tukirahan maksatuksesta. Vaikuttavuutta mitattiin laaditulla kyselylomakkeella. Lisäksi tutkimustuloksia verrattiin TE-keskuksen etukäteisarviointituloksiin tukien vaikutuksista. Tutkimustulokset painottuvat eri vaikuttavuustekijöihin kuin TE-keskuksen tuloksissa. Kysely osoitti suurimmiksi tukien vaikutuksiksi yrityksen kilpailukyvyn muutoksen, muun rahoituksen helpomman saannin ja hankkeen nopeamman toteuttamisen. Muut merkittävimmät vaikutukset olivat yritysten tuotteiden ja palveluiden laadun sekä teknologiatason parantaminen ja tuotantomenetelmien kehittäminen. Yritystuilla on myös muita vaikutuksia, mutta ne jäävät alueella pieniksi. Vuoden 2003 lopussa yritystukea saaneista 366 yrityksestä vain 49 % oli toiminnassa olevaa ja 51 % todennäköisesti toimintansa lopettanutta. Tuilla luotiin vain 184 uutta työpaikkaa Etelä-Karjalaan. Keskimäärin syntyi yksi uusi työpaikka yritystä kohden, joka maksoi 38 200 euroa. Tehty arviointi osoittaa tukien vaikuttavuuden jäävän pienemmäksi kuin TE-keskuksen etukäteisarvioinnissa.

Ajopuusta asiantuntijaksi – luottamushenkilöarvioinnin merkitys kunnan johtamisessa ja päätöksenteossa

Tässä johtaminen ja organisaatiot –oppialaan kuuluvassa väitöstutkimuksessa selvitetään luottamushenkilöarvioinnin merkitystä kunnan johtamisessa ja päätöksenteossa. Tutkimuksessa kuvataan luottamushenkilöiden tekemää kunnan talouden ja hallinnon arviointia ja sen merkitystä kunnan johtamisen ja päätöksenteon palautemekanismina. Empiirisen haastatteluaineiston avulla kuvataan eteläkarjalaisten tarkastuslautakuntien toimintaa ja niiden puheenjohtajina toimineiden henkilöiden kokemuksia tarkastuslautakuntien olemassaolon kahdella ensimmäisellä valtuustokaudella 1997–2000 ja 2001–2004. Tutkimus kohdistuu julkiselle sektorille, kuntien poliittis-hallinnolliseen päätöksentekoon. Tarkastuslautakuntien synnyn taustalla ymmärretään vaikuttavan yleisenä viitekehyksenä erityisesti New Public Managementin (NPM) eli uuden julkisjohtamisen ilmaisemat ajatukset mm. toimintojen tehokkuudesta, tuloksellisuudesta ja vaikuttavuudesta sekä arvioinnista osana päätöksentekoa. Tutkimuksessa hyödynnetään kehysteoriana uuden julkisjohtamisen doktriinia ja substanssiteoriana arviointiin ja arviointitutkimukseen liittyvää teoreettista tietovarantoa. Tutkimuksen ensisijainen empiirinen aineisto koostuu 16 tarkastuslautakunnan puheenjohtajan haastattelusta, jotka on analysoitu sisällönanalyysiä käyttäen. Tausta-aineistona on käytetty 112 tarkastuslautakuntien arviointikertomusta. Tutkimus on ensimmäinen väitöskirjatasoinen työ tältä aihealueelta. Työn keskeinen kontribuutio on tutkimuksessa esitettävä näkemys luottamushenkilöarvioinnista ja sen merkityksestä kunnan johtamisessa arviointitutkimuksen, uuden julkisjohtamisen ja tarkastuslautakunnista tähän mennessä tehtyjen tutkimusten sekä empiirisen haastattelututkimuksen pohjalta. Luottamushenkilöarvioinnin painopisteen nähdään siirtyneen tarkastuslautakunnan lainmukaisen tehtävänannon eli valtuuston asettamien taloudellisten ja toiminnallisten tavoitteiden toteutumisen arvioinnista kunnan toiminnan kehittämiseen, jolloin sillä on konkreettisemmin päätöksentekoa tukeva merkitys. Taaksepäin suuntautunutta arviointia ei koeta kovinkaan merkitykselliseksi, vaikka virheistä oppimisen näkökulmasta ja päätöksenteon palautemekanismina myös ex post –arviointi on tärkeää. Tutkimuksessa on sovellettu poikkitieteellistä lähestymistapaa organisaatiotutkimuksen ja uuden julkisjohtamisen, arviointitutkimuksen sekä kuntatutkimuksen näkökulmia yhteen sovittamalla. Tutkimuksessa esitetään väite, että tarkastuslautakuntia kahlitsee niiden voimakas yhteys ja perustuminen tilintarkastukseen. Tarkastuslautakuntien arviointi ei ole kehittynyt omaehtoisesti ja luottamushenkilöarvioinnin merkitys on vielä osin tunnistamatta eritoten johtamisen itsensä arvioinnin näkökulmasta.

Evaluation of Mobile Telephone Text Message Reminders for People with Antipsychotic Medication

Nonadherence to treatment is a worldwide problem among people with severe mental disorders. Patient treatment adherence may be supported with simple reminding methods e.g. text message reminders. However, there is limited evidence of its benefits. Intervention evaluation is essential in mHealth research. Therefore, this evaluative study was conducted. This study aimed to evaluate text message reminder use in encouraging patients’treatment adherence among people with antipsychotic medication. The data were collected between September 2011 and December 2013. First, a systematic literature review revealed that text message reminders were widely used in healthcare. However, its impacts were conflicting. Second, a sub-sample (n = 562) analysis showed that patients preferred humorous text message reminders and preferred to receive them in the morning, at the beginning of the week. Age, gender and marital status seemed to have different effects on the preferred amount and timing of the selected reminders. Third, a cross-sectional survey revealed that people with antipsychotic medication (n = 408) expressed overall satisfaction towards the reminder system. Finally, the evaluative design showed that patient recruitment for a randomized controlled trial concerning people with antipsychotic medication was challenging due to low rates of eligible participants. Follow-up drop-out rates varied depending on the data collection method. Participants’ demographic characteristics were associated with the risk of dropping out from the trial. This study suggests that text messages are a potential reminder system in healthcare services among people with antipsychotic medication. More research is needed to gain a comprehensive picture of the impacts and effectiveness of text message reminders.