Välineitä kirjastojen verkkoyhteisöpalvelujen vaikuttavuuden arvioinnille

Abstrakti

Kokemuksia kirjastopalveluiden vaikuttavuuden arvioinnista Tietoyhteiskunnan tilat ja sisällöt -hankkeessa

Marja Haapaniemen ja Samppa Rohkimaisen esitys Kirjastoverkkopäivillä 26.10.2011 Helsingissä.

Lappeenrannan seudun opiskelija-asuntosäätiön sähköisten palveluiden käytettävyyden ja vaikuttavuuden kehittäminen

Sähköiset palvelut ovat tulleet keskeiseksi osaksi Lappeenrannan seudun opiskelija-asuntosäätiön (LOAS) sisäistä ja ulkoista tiedottamista. Tiedon nopea saatavuus ja yksinkertainen käytettävyys ovat avainasemassa kehitettäessä uusia järjestelmiä. Uuden sukupolven käyttäjät ovat tottuneet tiedon saatavuuden helppouteen, joten tiedon tulee olla selkeästi esillä ja siihen on päästävä käsiksi nopeasti. Diplomityön tavoitteena oli tutkia ja kehittää LOAS:n sisäisiä ja ulospäin asiakkaille tarjottavia sähköisiä palveluita. Kehitettävät palvelut olivat intranet, Internet-sivut ja Maestro Opas-asiakashallinta. LOAS:n palvelut on hajautettu usean eri ohjelman välille, joten se aiheuttaa ongelmia informaation siirrossa järjestelmien välillä. Työssä sähköisten palveluiden käytettävyyttä parannettiin lyhentämällä polkuja ja koostamalla palveluita kokonaisuuksiksi. Työn lopputuloksena LOAS:llä on käytössään yksinkertaisemmat Internet-sivut ja selkeämpi intranet-näkymä. Palveluiden käytettävyyden ja vaikuttavuuden arviointi suoritettiin itsenäisenä perehtymisenä ongelmakohtiin ja henkilöhaastatteluina. Haastatteluilla kartoitettiin käyttäjien palvelun tarpeita, jonka avulla kehitettävät kohteet pystyttiin määrittelemään. Palveluiden käytettävyyttä parantamalla asukkaita pyritään ohjaamaan tarjottavien palveluiden piiriin. Tällöin asukkaille tarjottavien palveluiden laatua pystytään parantamaan. LOAS:n tulisi kuitenkin tarkastella erilaisia ratkaisuja toimintojen yhdistämiseen. Tämän avulla asukkaiden kaikki liikkuminen pystyttäisiin käsittelemään yhden ohjelman avulla.

Kulttuurinen vaikuttavuus – Metodologinen pohdinta Satakunnan rahaston apurahojen kulttuurisen vaikuttavuuden kartoittamisesta

Satakunnan rahasto on yksi Suomen Kulttuurirahaston seitsemästätoista maakuntarahastosta. Se on perustettu ensimmäisten maakuntarahastojen joukossa vuonna 1959. Rahaston vaikuttavuutta arvioiva Pro graduni on kaksiosainen. Tutkimuksen soveltava osa on kirjoittamani Satakunnan rahaston tilaama historiikki Viisi vuosikymmentä vaikuttamista - Suomen Kulttuurirahaston Satakunnan rahasto 1959–2009 http://www.hum.utu.fi/oppiaineet/satakunta/ tutkimus_ja_jatko-opiskelu/julkaisut/ (252s.), Varsinaisessa Pro gradu -työssäni arvioin historiikissa käyttämiäni aineistoja ja niiden soveltuvuutta erityisesti kulttuurisen vaikuttavuuden kartoittamiseen. Tätä selvitin historiikissa kutakin vuosikymmentä kuvaavilla tapaustutkimuksilla, jotka perustuvat pääosin haastattelemieni apurahansaajien kokemuksiin. Historiikissa tarkastelen vaikuttavuutta yhteisöllisestä ja yksityisestä, välillisestä ja välittömästä näkökulmasta. Peilaan rahaston vaiheita Satakunnan kulttuurielämässä tapahtuneisiin muutoksiin sekä etsin yhteyksiä hoitokuntien kokoonpanojen, temaattisten linjausten ja jakopolitiikan välillä. Tutkimusaineistona olen käyttänyt apurahansaajien haastattelujen lisäksi muuta empiiristä aineistoa, kuten arkistomateriaalia, asiantuntijahaastatteluja, kyselylomakkeen vastauksia sekä lehdistöaineistoa. Käyttämäni tutkimuskirjallisuus koostuu ensisijaisesti rahasto- ja kulttuuripoliittisista julkaisuista. Tutkimus on laadullinen tutkimus. Jokainen käyttämäni aineistotyyppi valottaa omalta osaltaan kulttuurista vaikuttavuutta tarjoamalla erilaisia näkökulmia vaikuttavuuden tarkasteluun. Arkistomateriaalista on mahdollista tehdä tilastollisia johtopäätöksiä ja tarkastella esimerkiksi, minne rahaa on jaettu ja noudattaako tämä rahaston hoitokunnan tekemiä strategisia linjauksia. Arkistomateriaalin Stipendiaattikertomuksista voi tietyin varauksin arvioida hankkeiden onnistumista. Lehdistömateriaali vuorostaan valottaa rahaston ja apurahansaajien saamaa näkyvyyttä. Hedelmällisimmin vaikuttavuutta pääsee tarkastelemaan käyttämällä yhdessä kaikki näitä aineistoja. Historiikki on kuitenkin osoittanut, että rahaston ja sen apurahojen merkitys maakunnan kulttuurielämälle pystytään selvittämään mahdollisimman kattavasti, kun vaikuttavuutta lähestytään apurahan saajien kautta. Tähän soveltuu mielestäni parhaiten apurahan saajien syvähaastattelut, sillä pelkkä kirjallinen materiaali jättää tulkintaan liikaa aukkoja. Kulttuurisen vaikuttavuuden tutkimus on 2000-luvun alussa ajankohtainen aihe. Myös Suomen Kulttuurirahasto on perustanut vaikuttavuustyöryhmän kartoittamaan toimintansa vaikutuksia. Cuporen vuonna 2010 ryhmälle tekemä raportti kuvaa, miten apurahojen jakautuminen vastaa hoitokunnan toiminnalleen asettamia linjauksia. Cuporen selvityksestä huolimatta on vaikuttavuustutkimuksessa vielä aukkoja. Esimerkiksi apurahojen vaikutuksia kulttuurintuottajille ja maakunnan kulttuurin kenttään ei ole tutkittu kattavasti. Oma Pro graduni tutkii vaikuttavuutta juuri tästä näkökulmasta.

RABIT : koulutuksen vaikuttavuuden arvioinnin teoreettinen kehys

Euroopan parlamentin ja neuvoston asetuksella (EY) 863/2007 otettiin käyttöön Euroopan unionin jäsenmaiden välinen ja Euroopan unionin rajaturvallisuusviraston Frontexin koordinoima RABIT - mekanismi. Mekanismin tarkoituksena on antaa nopeiden rajainterventioryhmien avulla nopeasti ja rajoitetun ajan operatiivista apua sitä pyytäneelle jäsenvaltiolle, tämän jouduttua poikkeuksellisen ja ennakoimattoman paineen alaiseksi erityisesti siksi, että sen ulkorajalle saapuu suuri määrä laittomasti alueelle pyrkiviä kolmansien maiden kansalaisia. Edellä mainittu asetus määrittää, että Euroopan unionin jäsenmailla on oltava muodostettuna kansalliset ”valmiusluettelot” eli henkilöstöpoolit, joihin sisältyvistä kansallisista asiantuntijoista voidaan tarvittaessa osa nopeasti kohdentaa RABIT - operaatioiden käyttöön. RABIT - ja niiden kanssa samankaltaisten FJST - poolien henkilöstölle tarjotaan koulutusta tavoitteena valmentaa heidät mekanismin käyttöperiaatteen mukaiseen toimintaan ja tehtäviin; Rajavartiolaitoksen henkilöstön osalta kansallisen koulutuksen tarjoaa Raja- ja merivartiokoulu ja kansainvälisen Frontex. Koulutuksen luonne on täydentävää ammatillista ”täsmäkoulutusta”, jonka tavoitteena on antaa poolien henkilöstölle lisävalmiuksia toteuttaa operatiivinen tehtävänsä operaatioiden edellyttämässä normaalista poikkeavassa toimintaympäristössä. Pooleille tarjottavan koulutuksen suunnittelu, käynnistäminen ja kehittäminen ovat olleet ajankohtaisia vain muutaman vuoden ajan. Tänä aikana ei koulutuksen ja ennen kaikkea sen vaikuttavuuden arvioinnin järjestelmää ole vielä juurikaan ehditty perusteellisesti suunnitella ja luoda. Tämän tutkimustyön tavoitteena on selventää Rajavartiolaitoksen RABIT- ja FJST - poolien henkilöstölle kohdennetun koulutuksen vaikuttavuuden arvioinnin teoreettista kehystä. Tämän teoreettisen kehyksen selvittäminen perustuu aiheeseen liittyvän ja ajankohtaisen tieteellisen tutkimuksen ja keskustelun kartoittamiseen ja analysointiin. Päätutkimusongelmana on selvittää, minkälainen on Rajavartiolaitoksen RABIT- ja FJST - pooleihin kohdistuvan kansallisen ja kansainvälisen koulutuksen vaikuttavuuden arvioinnin teoreettinen kehys. Tutkimus käyttää metodologiassaan kaksivaiheista lähestymistapaa: ensin kvantitatiivisella metodilla eli bibliometrisellä sitaatioanalyysilla kartoitetaan tämän hetken valideimmat ja relevanteimmat tutkimusaineistot koulutuksen vaikutuksen arviointiin liittyen. Tämän jälkeen kvalitatiivisen metodin eli sisällönanalyysin avulla pyritään löytämään aiheena olevaan koulutukseen liittyen keskeisimmät ja soveltuvimmat vaikuttavuuden arvioinnin lähestymistavat. Tutkimuksen keskeisimpänä johtopäätöksenä todetaan, että RABIT - koulutuksen laajuisen koulutusohjelman vaikuttavuuden arvioinnissa ei ole realistista etsiä yhtä tyhjentävää lähestymistapaa tai metodia vastaamaan yleispätevästi koko ohjelman arviointitarpeisiin. Tutkimusraportin neljännessä luvussa esitettäviä eri koulutuksen arvioinnin strategioita ja lähestymistapoja on tarpeen joustavasti yhdistellä riippuen siitä, mikä koulutusohjelman vaihe on menossa ja minkälaista tietoa arvioinnilla halutaan saavuttaa.

Vaikuttavuuden arviointi viranomaisyhteistyön suunnittelu- ja valmisteluprosessissa

Tutkimuksen tavoitteena on viranomaisyhteistyön suunnittelu- ja valmisteluprosessin vaikutusten arviointi ja selvittää minkälaiset tavoitteet viranomaisyhteistyölle on asetettu sekä miten asetetut tavoitteet on saavutettu ja kuinka viranomaisyhteistyön suunnittelu- ja valmisteluprosessia koordinoidaan. Lisäksi kartoitetaan kehitysesityksiä viranomaisyhteistyön suunnittelu- ja valmisteluprosessin tehostamiseksi ja kehittämiseksi hallintoyksikkö tasalla. Vaikuttavuuden arviointi on moniulotteinen kokonaisuus, jossa oleellista on löytää oikeat arviointi kohteet. Viranomaisyhteistyön kaltaisten abstraktien asioiden arvioinnissa toiminnan arviointi perustuu pääosin asiantuntijoiden näkemyksiin ja omakohtaisiin kokemuksiin tarkasteltavan asian tilasta. Arviointi on haastavaa, koska näkemykset voivat olla subjektiivisia tai toimintaympäristöön sidottuja. Viranomaisyhteistyö ymmärretään yleensä viranomaisten välisenä toimintana, jolla pyritään saavuttamaan säästöjä ja tehostamaan resurssien käyttöä. Viranomaisyhteistyön yhtenä tavoitteena tulisi olla myös lisäarvon tuottaminen omalle toiminnalle, esimerkiksi uusina toimintamalleina. Minkä tahansa toiminnan toteuttamiseksi on tärkeää määritellä yksityiskohtaiset tavoitteet. Nämä tavoitteet tulisi olla selvillä jo toimintaa tehdessä. Ilman, että toimijoilla on tavoitteet selvästi tiedossa, ei voida olettaa saatavan hyviä tuloksia aikaiseksi. Samoin toiminnan arviointi on lähes mahdotonta ilman tiedossa olevia tavoitteita. Ilman onnistunutta suunnittelu- ja valmisteluprosessia ei pystytä saavuttamaan operatiivisen viranomaisyhteistyönkään hyötyjä. Viranomaisyhteistyön suunnittelu- ja valmisteluprosessit eivät ole tällä hetkellä niin tehokkaita kuin niiden tulisi olla. Huono tehokkuus johtaa tässä yhteydessä myös vaikuttavuuden heikkenemiseen. Suunnittelu- ja valmisteluprosessin kehittämiskohteiksi todettiin oman resursoinnin lisääminen, organisaation sisäisen tiedonkulun parantaminen ja oman roolin tarkistaminen eri yhteistyöfoorumeissa.

Kyselytutkimuksen käyttömahdollisuudet koulutuksen vaikuttavuuden arvioinnissa Rajavartiolaitoksessa

Koulutuksen nykytilan selvittämistä voidaan pitää välttämättömänä edellytyksenä koulutuk-sen kehittämiselle. Rajavartiolaitoksessa ei kuitenkaan ole kerätty systemaattisesti tietoa koulutuksen vaikuttavuudesta. Tutkielman tavoitteena olikin luoda perusta kyselytutkimuk-sen avulla toteutettavalle Rajavartiolaitoksen koulutuksen vaikuttavuuden arvioinnille. Osa-na tutkielmaa esitetään vallitsevan teoreettisen tietämyksen ja siihen perustuvan pohdinnan pohjalta laadittu esimerkki kyselytutkimuksessa käytettävästä kysymyssarjasta. Samoin pyri-tään antamaan riittävät perusteet kyselytutkimuksen toteuttamiseksi, kysymyssarjan avulla saatavan tiedon hyödyntämiseksi ja kyselytutkimuksen edelleen kehittämiseksi.