Im Nebel der Präzision: die Bestimmung von GrenzfallkandidatInnen oder wie viel Reliabilität ist genug?

Hintergrund: Bei der Durchführung von summativen Prüfungen wird üblicherweise eine Mindestreliabilität von 0,8 gefordert. Bei praktischen Prüfungen wie OSCEs werden manchmal 0,7 akzeptiert (Downing 2004). Doch was kann man sich eigentlich unter der Präzision einer Messung mit einer Reliabilität von 0,7 oder 0,8 vorstellen? Methode: Mittels verschiedener statistischer Methoden wie dem Standardmessfehler oder der Generalisierbarkeitstheorie lässt sich die Reliabilität in ein Konfidenzintervall um eine festgestellte Kandidatenleistung übersetzen (Brennan 2003, Harvill 1991, McManus 2012). Hat ein Kandidat beispielsweise bei einer Prüfung 57 Punkte erreicht, schwankt seine wahre Leistung aufgrund der Messungenauigkeit der Prüfung um diesen Wert (z.B. zwischen 50 und 64 Punkte). Im Bereich der Bestehensgrenze ist die Messgenauigkeit aber besonders wichtig. Läge die Bestehensgrenze in unserem Beispiel bei 60 Punkten, wäre der Kandidat mit 57 Punkten zwar pro forma durchgefallen, allerdings könnte er aufgrund der Schwankungsbreite um seine gemessene Leistung in Wahrheit auch knapp bestanden haben. Überträgt man diese Erkenntnisse auf alle KandidatInnen einer Prüfung, kann man die Anzahl der Grenzfallkandidaten bestimmen, also all jene Kandidatinnen, die mit Ihrem Prüfungsergebnis so nahe an der Bestehensgrenze liegen, dass ihr jeweiliges Prüfungsresultate falsch positiv oder falsch negativ sein kann. Ergebnisse: Die Anzahl der GrenzfallkandidatInnen in einer Prüfung ist, nicht nur von der Reliabilität abhängig, sondern auch von der Leistung der KandidatInnen, der Varianz, dem Abstand der Bestehensgrenze zum Mittelwert und der Schiefe der Verteilung. Es wird anhand von Modelldaten und konkreten Prüfungsdaten der Zusammenhang zwischen der Reliabilität und der Anzahl der Grenzfallkandidaten auch für den Nichtstatistiker verständlich dargestellt. Es wird gezeigt, warum selbst eine Reliabilität von 0.8 in besonderen Situationen keine befriedigende Präzision der Messung bieten wird, während in manchen OSCEs die Reliabilität fast ignoriert werden kann. Schlussfolgerungen: Die Berechnung oder Schätzung der Grenzfallkandidaten anstatt der Reliabilität verbessert auf anschauliche Weise das Verständnis für die Präzision einer Prüfung. Wenn es darum geht, wie viele Stationen ein summativer OSCE benötigt oder wie lange eine MC-Prüfung dauern soll, sind Grenzfallkandidaten ein valideres Entscheidungskriterium als die Reliabilität. Brennan, R.L. (2003) Generalizability Theory. New York, Springer Downing, S.M. (2004) ‘Reliability: on the reproducibility of assessment data’, Medical Education 2004, 38, 1006–12 Harvill, L.M. (1991) ‘Standard Error of Measurement’, Educational Measurement: Issues and Practice, 33-41 McManus, I.C. (2012) ‘The misinterpretation of the standard error of measurement in medical education: A primer on the problems, pitfalls and peculiarities of the three different standard errors of measurement’ Medical teacher, 34, 569 - 76

Das Paradox der Wahlbeteiligung, das keines ist. Eine theoretische Rekonstruktion und empirische Anwendung des Ansatzes von Downs aus der Perspektive der Theorie subjektiver Werterwartung

Seit der richtungweisenden wie einflußreichen Arbeit von Downs (1957) wird in der empirischen Wahlforschung das „Paradox der Wahlbeteiligung“ kontrovers diskutiert. Kritiker des ökonomischen Ansatzes führen gerade dieses Paradox an, um die Grenzen von Rational-Choice-Theorien aufzuzeigen (z.B. Green und Shapiro 1994). Ausgangspunkt dieser Debatte ist zunächst der Versuch von Downs, die Beteiligung von Individuen an politischen Wahlen mit der Theorie rationaler Entscheidung zu erklären: Demnach beteiligen sich Wahlberechtigte an Wahlen, wenn aus ihrer Sicht der erwartete Nutzen der Wahlbeteiligung (etwa persönliche Vorteile nach dem Wahlsieg der präferierten Partei) die anfallenden Kosten der Wahlbeteiligung (etwa zeitlicher Aufwand für Beschaffung, Auswertung und Analyse von Informationen über das Politikangebot) übersteigt. Wahlberechtigte diskontieren den zu maximierenden Nutzen aus ihrer Wahlbeteiligung mit der Wahrscheinlichkeit, daß ihre eigene Stimme der präferierten Partei zum Wahlsieg verhilft. Allerdings tendiert diese Wahrscheinlichkeit, den Wahlausgang alleine zu entscheiden, mit der anwachsenden Größe des Elektorats gegen Null. Da aber aus Sicht des einzelnen Wählers die eigene Stimme so gut wie keinen entscheidenden Einfluß auf den Wahlausgang hat, aber mit Sicherheit Informations-, Opportunitäts- und Teilnahmekosten anfallen, die dann immer größer als die mit der Erfolgswahrscheinlichkeit gewichteten Nutzeneinkommen sind, ist es höchst unwahrscheinlich, daß sich ein instrumentell rationaler Akteur an politischen Wahlen beteiligt (Downs 1957: 244–245). Jedoch sind in modernen Demokratien die Beteiligungen an politischen Wahlen mitunter beträchtlich, und diese empirische Beobachtung widerspricht der ökonomischen Theorie des Wählens von Downs (1957)1. Es stellt sich also die Frage, warum sich Wahlberechtigte an politischen Wahlen beteiligen und warum die Wahlbeteiligungen zumeist recht hoch sind (vgl. Palfrey und Rosenthal 1993).