Assessment of Young Learners’ English Proficiency in Bilingual Content Instruction CLIL

This applied linguistic study in the field of second language acquisition investigated the assessment practices of class teachers as well as the challenges and visions of language assessment in bilingual content instruction (CLIL) at primary level in Finnish basic education. Furthermore, pupils’ and their parents’ perceptions of language assessment and LangPerform computer simulations as an alternative, modern assessment method in CLIL contexts were examined. The study was conducted for descriptive and developmental purposes in three phases: 1) a CLIL assessment survey; 2) simulation 1; and 3) simulation 2. All phases had a varying number of participants. The population of this mixed methods study were CLIL class teachers, their pupils and the pupils’ parents. The sampling was multi-staged and based on probability and random sampling. The data were triangulated. Altogether 42 CLIL class teachers nationwide, 109 pupils from the 3rd, 4th and 5th grade as well as 99 parents from two research schools in South-Western Finland participated in the CLIL assessment survey followed by an audio-recorded theme interview of volunteers (10 teachers, 20 pupils and 7 parents). The simulation experimentations 1 and 2 produced 146 pupil and 39 parental questionnaires as well as video interviews of volunteered pupils. The data were analysed both quantitatively using percentages and numerical frequencies and qualitatively employing thematic content analysis. Based on the data, language assessment in primary CLIL is not an established practice. It largely appears to be infrequent, incidental, implicit and based on impressions rather than evidence or the curriculum. The most used assessment methods were teacher observation, bilingual tests and dialogic interaction, and the least used were portfolios, simulations and peer assessment. Although language assessment was generally perceived as important by teachers, a fifth of them did not gather assessment information systematically, and 38% scarcely gave linguistic feedback to pupils. Both pupils and parents wished to receive more information on CLIL language issues; 91% of pupils claimed to receive feedback rarely or occasionally, and 63% of them wished to get more information on their linguistic coping in CLIL subjects. Of the parents, 76% wished to receive more information on the English proficiency of their children and their linguistic development. This may be a response to indirect feedback practices identified in this study. There are several challenges related to assessment; the most notable is the lack of a CLIL curriculum, language objectives and common ground principles of assessment. Three diverse approaches to language in CLIL that appear to affect teachers’ views on language assessment were identified: instrumental (language as a tool), dual (language as a tool and object of learning) and eclectic (miscellaneous views, e.g. affective factors prioritised). LangPerform computer simulations seem to be perceived as an appropriate alternative assessment method in CLIL. It is strongly recommended that the fundamentals for assessment (curricula and language objectives) and a mutual assessment scheme should be determined and stakeholders’ knowledge base of CLIL strengthened. The principles of adequate assessment in primary CLIL are identified as well as several appropriate assessment methods suggested.

Nuorten oppijoiden englannin kielitaidon arviointi kaksikielisessä CLIL –sisällönopetuksessa Tämä vieraan kielen oppimisen, opettamisen ja arvioinnin tutkimus tarkasteli luokanopettajien arviointikäytänteitä sekä kielitaidon arvioinnin haasteita ja visioita kaksikielisessä sisällönopetuksessa (CLIL) suomalaisen perusopetuksen alakoulussa. Lisäksi tutkittiin oppilaiden ja heidän vanhempiensa käsityksiä arvioinnista ja LangPerform-tietokonesimulaatioiden soveltuvuudesta CLIL-arviointiin uutena vaihtoehtoisena arviointimenetelmänä. Kuvaileva ja kehittävä tutkimus toteutettiin kolmessa vaiheessa: CLIL-arviointikysely, simulaatio 1 ja simulaatio 2. Kaikissa vaiheissa oli eri määrä osallistujia Tutkimuksen populaation muodostivat CLIL-luokanopettajat, heidän oppilaansa sekä näiden huoltajat. Otos oli monivaiheinen ja perustui sekä harkinnan- että sattumanvaraisuuteen. Aineisto trianguloitiin. Yhteensä 42 opettajaa eri puolilta Suomea, 109 kolmas-, neljäs- ja viidesluokkalaista oppilasta sekä heidän 99 huoltajaansa kahdesta erityyppisestä lounaissuomalaisesta koulusta osallistui CLIL-arviointikyselyyn, jota syvennettiin nauhoitetuin teemahaastatteluin (10 opettajaa, 20 oppilasta ja 7 huoltajaa). Simulaatiokokeiluista 1 ja 2 kerättiin yhteensä 146 oppilaskyselykaavaketta ja 39 huoltajakaavaketta sekä vapaaehtoisten oppilaiden videohaastatteluita. Aineisto analysoitiin käyttäen sekä kvalitatiivisia (teemoitteleva sisältöanalyysi) että kvantitatiivisia (prosenttiosuudet, frekvenssit) menetelmiä. Tutkimusaineistosta kävi ilmi, että kielitaidon arviointi alakoulun CLIL-opetuksessa ei ole vakiintunut käytäntö. Se näyttää usein olevan epäsäännöllistä, satunnaista, epäsuoraa sekä ennemmin vaikutelmiin kuin näyttöön tai opetussuunnitelmaan perustuvaa. Eniten käytetyt arviointimenetelmät olivat opettajan observointi, kaksikieliset kokeet tai koeosuudet sekä opetuskeskustelu; vähiten käytettiin portfolioita, simulaatioita ja vertaisarviointia. Vaikka opettajat yleisesti pitivät kielitaidon arviointia tärkeänä, viidennes heistä ei kerännyt arviointitietoa systemaattisesti ja 38 % antoi oppilaille kielellistä palautetta harvoin. Sekä huoltajat että oppilaat toivoivat saavansa enemmän palautetta CLIL-kielitaidosta. Oppilaista 91 % koki saavansa palautetta harvoin tai satunnaisesti, ja 63 % toivoi saavansa enemmän tietoa osaamisestaan englannin kielellä eri oppiaineissa. Vanhemmista 76 % toivoi saavansa enemmän tietoa lapsensa englannin kielitaidosta ja sen kehittymisestä. Tämä saattaa olla vastareaktiota tutkimuksessa havaitusta opettajien epäsuorasta palautekäytännöstä. Arviointiin liittyy monia haasteita, joista merkittävimpiä ovat CLIL-opetussuunnitelman ja kielitaitotavoitteiden sekä yhteisten arviointikäytänteiden puute. Tutkimuksessa huomattiin kolme erilaista lähestymistapaa kieleen, jotka näyttävät vaikuttavan opettajien suhtautumiseen kielitaidon arviointiin CLIL-opetuksessa: instrumentaalinen (kieli välineenä), kaksoisfokus (kieli välineenä ja oppimisen kohteena) sekä valikoiva (sekalaisia näkemyksiä, affektiiviset tekijät keskiössä). Lisäksi LangPerform -tietokonesimulaatiokonsepti vaikuttaa toimivalta vaihtoehtoiselta arviointimenetelmältä alakoulun CLIL-opetuksessa. Tutkimuksen perusteella suositellaan voimakkaasti arvioinnin perusteiden (opetussuunnitelma, kielitavoitteet) ja yhteisen arviointirakenteen määrittelemistä sekä asianosaisten CLIL-tietopohjan vahvistamista. Tutkimuksessa identifioidaan alakoulun CLIL-opetuksen arvioinnin periaatteita sekä ehdotetaan CLIL-opetukseen soveltuvia arviointimetodeja.