Bedömningen av muntliga språkkunskaper i svenska : en analys av bedömarnas reflektioner kring elevbedömningens reliabilitet

Tutkielmassa käsitellään ruotsin suullisen kielitaidon kriteeripohjaista arviointia Eurooppalaiseen viitekehykseen perustuvan arviointiskaalan avulla arvioijan näkökulmasta. Tutkielmassa analysoidaan seitsemän arvioijan arviointiprosessin reflektointia. Arvioijat osallistuvat poikkitieteelliseen HY-TALK-pilottitutkimukseen Helsingin yliopistossa. Tutkielman tavoitteena on eritellä, miten arvioijat kokevat peruskoulu- ja lukio-opetuksen opetussuunnitelmiin sisältyvän kriteeripohjaisen kielitaidon skaalan käytön ruotsin kielen suullisen taidon arviointityön pohjana. Erityisesti painotetaan arvioijien subjektiivista kokemusta skaalan avulla arvioinnista. Lisäksi analysoidaan kyseisten arvioijien arviointitulosten reliabiliteettia HY-TALK-tutkimuksessa. Aineistona käytetään arvioijien avoimilla haastatteluilla kerättyjä kommentteja skaalan käytöstä ja arvioinnista, sekä samojen arvioijien oppilasarviointituloksia HY-TALK-pilottitutkimuksesta. Tutkimusmetodi on kvalitatiivinen kokeenjälkeinen tapaustutkimus. Tutkielman teoriatausta nojautuu suullisen kielitaidon arvioinnin tutkimukseen. Suullisen kielitaidon arvioinnin perustana voidaan pitää Bachman ja Palmerin (1996) teoriaa kommunikatiivisesta kielitaidosta. Kielitaito jaetaan organisatoriseen ja pragmaattiseen kompetenssiin. Kokeen reliabiliteetti ja validiteetti nousevat tutkielmassa keskeisiksi käsitteiksi. Suullisen kielitaidon mittaamisessa ongelmana on kommunikaation arviointi. Koetyyppinä suorituskoe, jossa kokelas arvioidaan kommunikatiivisessa tilanteessa, ei yleisen käsityksen mukaan vastaa autenttista kielenkäyttötilannetta. Kokeen perusteella halutaan kuitenkin tehdä yleistys kokelaan kielitaidosta ja selviytymisestä oikeissa kielenkäyttötilanteissa. Arvioinnissa tehdään ero analyyttisen ja holistisen arvioinnin välille. Kriteeripohjaisessa arvioinnissa pyritään pitäytymään analyyttisessa arvioinnissa, jolloin arvioija kiinnittää huomiota monipuolisesti kokelaan kielitaidon eri osa-alueisiin. Tutkielman tuloksena seitsemän analysoidun arvioijan välillä on suuria eroja arvioinnin lähtökohdissa ja subjektiivisissa painotuksissa. Osa arvioijista painotti organisatorista kompetenssia, ja osa taas pragmaattista kompetenssia. Interaktion ja kommunikaation roolista suullisen kielitaidon arvioinnissa oli suuria mielipide-eroja. Osa arvioijista painotti arvioinnissa kommunikaation tärkeyttä ja muita pragmaattiseen kompetenssiin kuuluvia osa-alueita, kun taas osa mainitsi esimerkiksi oikeakielisyyden ja rakenteiden hallinnan. Kolme arvioijaa painotti pragmaattista kompetenssia, kaksi mainitsi piirteitä molemmista, ja kaksi painotti organisatorista kompetenssia. Osa eroista selittyy arviointitapahtumien eroilla sekä arvioijien kokemuksella. Toisaalta, nämä erot arvioinnin subjektiivisissa painotuksissa eivät suuresti näy itse pilottitutkimuksen viitekehyspohjaisen arviointiskaalan avulla saaduissa oppilasarviointituloksissa. Arvioijien välisiä eroja oppilasarvioinnissa kuitenkin esiintyy. Organisatorista kompetenssia painottavat antoivat osalle oppilaista hieman muita parempia arvosanoja. Tutkielman päätelmä on, että tässä tapaustutkimuksessa arviointityössä oli subjektiivisia painotuksia, ja että jonkin verran eroja kriteeripohjaisessa oppilasarvioinnissa löytyi. Erot eivät kuitenkaan yleisesti ottaen olleet kovin suuria.

Evidence in European Asylum Procedures

This thesis explores the particular framework of evidentiary assessment of three selected appellate national asylum procedures in Europe and discusses the relationship between these procedures, on the one hand, and between these procedures and other legal systems, including the EU legal order and international law, on the other. A theme running throughout the thesis is the EU strivings towards approximation of national asylum procedures and my study analyses the evidentiary assessment of national procedures with the aim of pinpointing similarities and differences, and the influences which affect these distinctions. The thesis first explores the frames construed for national evidentiary solutions by studying the object of decision-making and the impact of legal systems outside the national. Second, the study analyses the factual evidentiary assessment of three national procedures - German, Finnish and English. Thirdly, the study explores the interrelationship between these procedures and the legal systems influencing them and poses questions in relation to the strivings of EU and methods of convergence. The thesis begins by stating the framework and starting points for the research. It moves on to establish keys of comparison concerning four elements of evidentiary assessment that are of importance to any appellate asylum procedure, and that can be compared between national procedures, on the one hand, and between international, regional and national frameworks, on the other. Four keys of comparison are established: the burden of proof, demands for evidentiary robustness, the standard of proof and requirements for the methods of evidentiary assessment. These keys of comparison are then identified in three national appellate asylum procedures, and in order to come to conclusions on the evidentiary standards of the appellate asylum procedures, relevant elements of the asylum procedures in general are presented. Further, institutional, formal and procedural matters which have an impact on the evidentiary standards in the national appellate procedures are analysed. From there, the thesis moves on to establish the relationship between national evidentiary standards and the legal systems which affect them, and gives reasons for similarities and divergences. Further, the thesis studies the impact of the national frameworks on the regional and international level. Lastly, the dissertation makes a de lege ferenda survey of the relationship between EU developments, the goal of harmonization in relation to national asylum procedures and the particular feature of evidentiary standards in national appellate asylum procedures. Methodology The thesis follows legal dogmatic methods. The aim is to analyse legal norms and legal constructions and give them content and context. My study takes as its outset an understanding of the purposes for legal research also regarding evidence and asylum to determine the contents of valid law through analysis and systematization. However, as evidentiary issues traditionally are normatively vaguely defined, a strict traditional normative dogmatic approach is not applied. For the same reason a traditionalist and strict legal positivism is not applied. The dogmatics applied to the analysis of the study is supported by practical analysis. The aim is not only to reach conclusions concerning the contents of legal norms and the requirements of law, but also to study the use and practical functioning of these norms, giving them a practcial context. Further, the study relies on a comparative method. A functionalist comparative method is employed and keys of comparison are found in evidentiary standards of three selected national appellate asylum procedures. The functioning equivalences of German, Finnish and English evidentiary standards of appellate asylum procedures are compared, and they are positioned in an European and international legal setting. Research Results The thesis provides results regarding the use of evidence in national appellate asylum procedures. It is established that evidentiary solutions do indeed impact on the asylum procedure and that the results of the procedure are dependent on the evidentiary solutions made in the procedures. Variations in, amongst other things, the interpretation of the burden of proof, the applied standard of proof and the method for determining evidentiary value, are analysed. It is established that national impacts play an important role in the adaptation of national appellate procedures to external requirements. Further, it is established that the impact of national procedures on as well the international framework as on EU law varies between the studied countries, partly depending on the position of the Member State in legislative advances at the EU level. In this comparative study it is, further, established that the impact of EU requirements concerning evidentiary issues may be have positive as well as negative effects with regard to the desired harmonization. It is also concluded that harmonization using means of convergence that primaly target legal frameworks may not in all instances be optimal in relation to evidentiary standards, and that more varied and pragmatic means of convergence must be introduced in order to secure harmonization also in terms of evidence. To date, legal culture and traditions seem to prevail over direct efforts at procedural harmonization.