Dokumentation der Befragungsinstrumente der Interventionsstudie im Projekt “Conditions and Consequences of Classroom Assessment” (Co²CA)

Das im Rahmen des DFG-Schwerpunktprogramms „Kompetenzmodelle“ durchgeführte Projekt „Conditions and Consequences of Classroom Assessment“ (Co²CA) geht in vier Teilstudien der Frage nach, wie formatives Assessment im Unterricht gestaltet werden kann, um sowohl eine präzise Leistungsmessung zu ermöglichen als auch positive Wirkungen auf den Lehr-Lernprozess zu erreichen. Das Project Co²CA leistet damit einen wichtigen Beitrag zur Erforschung zweier Kernelemente formativen Assessments – der detaillierten Diagnose von Schülerleistungen und der Nutzung der gewonnenen Informationen in Form lernförderlichen Feedbacks. Zentrale Idee von formativem Assessment (Lernbegleitende Leistungsbeurteilung und –rückmeldung) ist es mit Hilfe von Leistungsmessungen Informationen über den Lernstand der Schülerinnen und Schüler zu gewinnen und diese Informationen für die Gestaltung des weiteren Lehr- und Lernprozess zu nutzen. Den Lernenden kann auf Basis der Leistungsbeurteilung lernförderliches Feedback gegeben werden, um so die Diskrepanz zwischen Lernstand und Lernziel zu verringern. Die Kernelemente formativem Assessments bestehen also aus einer detaillierten Diagnose des Lernstandes und der Nutzung der gewonnen Informationen – z.B. in Form von Feedback. [...] Das vorliegende Skalenhandbuch dokumentiert die in der Unterrichtsstudie eingesetzten Befragungsinstrumente für Schülerinnen und Schüler sowie für Lehrkräfte. (DIPF/Autor)

Wulf Hopf: Freiheit – Leistung – Ungleichheit, Bildung und soziale Herkunft in Deutschland. Weinheim und München: Juventa 2010 [Rezension]

Rezension von: Wulf Hopf: Freiheit – Leistung – Ungleichheit, Bildung und soziale Herkunft in Deutschland Weinheim und München: Juventa 2010 (268 S.; ISBN 978-3-7799-2174-5)

Vom Widerspruch des Unterrichtens und Aneignens. Wie in der unterrichtlichen Vermittlung auch die Differenz von Sein und Sollen vermittelt wird

Schulunterricht beansprucht, mit Wolfgang Klafki gesprochen, die „doppelseitige Erschließung“ (Klafki 1959/1967, S. 43): In ihm sollen sich als relevant erachtete Inhalte den Heranwachsenden erschließen und diese sollen zugleich für jene Inhalte erschlossen werden. Nur wenn die Lern- und Bildungsprozesse der SchülerInnen im Unterricht befördert werden, wird er diesem mit ihm gesetzten pädagogischen Anspruch gerecht. Angesichts dessen, dass unterrichtliche Vermittlung vielfach ihr Ziel nicht erreicht, also SchülerInnen nicht das lernen, was ihnen gelehrt wird, stellt sich die Frage, wie die an Unterricht Beteiligten mit dieser Differenz von Sein und Sollen umgehen. Um diese zu beantworten, ist zum einen nachzuvollziehen, wie im Prozess des Unterrichts so gelehrt und gelernt wird, dass einige das zu Lernende lernen und andere dies nicht tun [...], wie also im Unterricht die „Grenze“ zwischen Verstehen und Nicht-Verstehen praktisch gezogen wird. Und zum anderen ist zu erhellen, wie der Widerspruch zwischen Sein und Sollen individuell verarbeitet wird.(DIPF/Orig.)

Student, school, and country differences in sustained test-taking effort in the 2009 PISA reading assessment

In this article, the change in examinee effort during an assessment, which we will refer to as persistence, is modeled as an effect of item position. A multilevel extension is proposed to analyze hierarchically structured data and decompose the individual differences in persistence. Data from the 2009 Program of International Student Achievement (PISA) reading assessment from N = 467,819 students from 65 countries are analyzed with the proposed model, and the results are compared across countries. A decrease in examinee effort during the PISA reading assessment was found consistently across countries, with individual differences within and between schools. Both the decrease and the individual differences are more pronounced in lower performing countries. Within schools, persistence is slightly negatively correlated with reading ability; but at the school level, this correlation is positive in most countries. The results of our analyses indicate that it is important to model and control examinee effort in low-stakes assessments. (DIPF/Orig.)

Soziale Ungleichheiten beim Übergang von der Grundschule in die Sekundarstufe I. Theorie, Forschungsstand, Interventions- und Fördermöglichkeiten

Auf der Basis eines theoretischen Modells zum Übergangsprozess, in dem primäre und sekundäre Herkunftseffekte nach Boudon unterschieden werden, fasst der vorliegende Beitrag den empirischen Kenntnisstand zum Einfluss der familiären Herkunft auf den Übergang von der Grundschule in die Sekundarstufe I zusammen. Dabei wird neben den primären Effekten zwischen verschiedenen Arten von sekundären Herkunftseffekten unterschieden: sekundäre Effekte der Leistungsbeurteilung, der Schullaufbahnempfehlung und des Übergangsverhaltens. Die Befunde sprechen für die Existenz primärer und sekundärer Herkunftseffekte im deutschen Schulsystem: Kinder aus sozial schwachen Familien haben schlechtere Schulleistungen, erhalten jedoch selbst bei gleichen Testleistungen noch schlechtere Beurteilungen durch die Lehrkräfte (Noten und Schullaufbahnempfehlungen) und gehen bei gleichen Testleistungen und Schulnoten und gleicher Empfehlung häufiger auf niedrigere Schulformen über. Weiterhin werden Ergebnisse aus Studien zur Quantifizierung und Neutralisation von primären und sekundären Herkunftseffekten vorgestellt und diskutiert sowie mögliche Interventions- und Fördermöglichkeiten zur Verringerung der Herkunftseffekte beim Übergang aufgezeigt.

High-stakes testing and Educational Governance – insights and innovations in European school systems. Special Issue Editorial

International research with regard to the intended as well as to the unintended outcomes and effects of high-stakes testing shows that the impact of high-stakes tests has important consequences for the participants involved in the respective educational systems. The purpose of this special issue is to examine the implementation of high-stakes testing in different national school systems and to refer to the effects in view of the concept of Educational Governance. (DIPF/Orig.)

Does gender make a difference? Gender-related fairness of high-stakes testing in A-level examinations in English as foreign language in the German state of North Rhine-Westphalia in the context of Educational Governance

The shift from decentralized to centralized A-level examinations (Abitur) was implemented in the German school system as a measure of Educational Governance in the last decade. This reform was mainly introduced with the intention of providing higher comparability of school examinations and student achievement as well as increasing fairness in school examinations. It is not known yet if these ambitious aims and functions of the new centralized examination format have been achieved and if fairer assessment can be guaranteed in terms of providing all students with the same opportunities to pass the examinations by allocating fair tests to different student subpopulations e.g., students of different background or gender. The research presented in this article deals with these questions and focuses on gender differences. It investigates gender-specific fairness of the test items in centralized Abitur examinations as high school exit examinations in Germany. The data are drawn from Abitur examinations in English (as a foreign language). Differential item functioning (DIF) analysis reveals that at least some parts of the examinations indicate gender inequality. (DIPF/Orig.)

Governing the transition to higher levels of education and differences between achievement and school grades by gender

The author will explore the performance of boys and girls in external examinations in Slovenia at the beginning of upper secondary and tertiary education. These are critical points in students’ educational career at which he/she has to choose a school/university. Since both transitions are managed centrally by appropriate authorities, this is also a question of Educational Governance. Transitions between levels of education should, above all, assure fairness in selection procedures. At the point of transition to upper secondary schools we will explore differences between students’ achievements in various school subjects tested at the national assessment of knowledge (NA), and their school grades by gender. Since only school grades are used as admission criteria to upper secondary schools, this comparison of school grades with external and more objective measure of students’ achievement will show possible bias. In Slovenia admission to tertiary education usually consists of (externally assessed) Matura results and school grades in the last two years of upper secondary school. The author will compare the effects of both most commonly used measures of academic achievement on admission in view of gender differences. Study courses where selection procedure was actually applied will be of specific interest since they can show signs of (un)fairness. Results show signs of bias and build case for better Educational Governance. (DIPF/Orig.)

Schreibkompetenzen von Erstklässlern quantitativ-empirisch erfassen - Herausforderungen und Zugewinn eines analytisch-kriterialen Vorgehens gegenüber einer holistischen Bewertung

Im Beitrag wird der Frage nachgegangen, ob eine holistische und eine analytische Auswertungsstrategie schon bei Texten des ersten Grundschuljahres gleichermaßen geeignet sind, um Schreibkompetenz reliabel zu erfassen. Die Analysen zu den insgesamt 540 Texten stammen aus dem DFG-Projekt Narrative Schreibkompetenz in Klasse 1 (NaSch 1). Zunächst wird die Dimensionalität des Konstrukts Schreibkompetenz anhand der analytischen Auswertung untersucht. Im Anschluss werden die mit den beiden Auswertungsstrategien ermittelten Kompetenzwerte unter Berücksichtigung der Textlänge miteinander verglichen. Die Ergebnisse der Rasch-Skalierung der analytischen Kriterien weisen auf eine zweidimensionale Struktur (semantisch-pragmatisch vs. sprachsystematisch) der Schreibkompetenz hin. Dabei zeigt sich ein stärkerer Zusammenhang des holistischen Ratings mit der semantisch-pragmatischen (r = .78) als mit der sprachsystematischen Dimension (r = .47). Die Textlänge wiederum weist eine gleichermaßen hohe Übereinstimmung mit der semantisch-pragmatischen Dimension (r = .63) und dem holistischen Rating auf (r = .62), deren Zusammenhang zueinander aber auch nach Herauspartialisieren der Textlänge deutlich bleibt (r = .64). Zwischen Textlänge und der sprachsystematischen Schreibkompetenz lässt sich dagegen kein bedeutsamer Zusammenhang nachweisen (r = .09). (DIPF/Orig.)

Assessment of student engagement among junior high school students and associations with self-esteem, burnout, and academic achievement

The aim of the study was to investigate the structure of affective and cognitive engagement using the Student Engagement Instrument (SEI; Appleton, Christenson, Kim, & Reschly, 2006) and to examine the associations to behavioral engagement, as well as student-reported self-esteem, burnout, and academic achievement among Finnish junior high school students. The analyses were carried out in the main sample of 2,485 students, as well as in an independent sample of 821 students. The results showed that the original five-factor structure of the SEI construed along three affective and two cognitive engagement factors fit the current data relatively well. Affective and cognitive student engagement correlated positively with an independent measure of behavioral engagement. Furthermore, affective and cognitive engagement were positively associated with student-reported self-esteem and academic achievement, and negatively with school burnout. The findings provided corroborating evidence for the psychometric properties and utilization of the SEI instrument for assessing the engagement of junior high school students. (DIPF/Orig.)