Im Nebel der Präzision: die Bestimmung von GrenzfallkandidatInnen oder wie viel Reliabilität ist genug?

Hintergrund: Bei der Durchführung von summativen Prüfungen wird üblicherweise eine Mindestreliabilität von 0,8 gefordert. Bei praktischen Prüfungen wie OSCEs werden manchmal 0,7 akzeptiert (Downing 2004). Doch was kann man sich eigentlich unter der Präzision einer Messung mit einer Reliabilität von 0,7 oder 0,8 vorstellen? Methode: Mittels verschiedener statistischer Methoden wie dem Standardmessfehler oder der Generalisierbarkeitstheorie lässt sich die Reliabilität in ein Konfidenzintervall um eine festgestellte Kandidatenleistung übersetzen (Brennan 2003, Harvill 1991, McManus 2012). Hat ein Kandidat beispielsweise bei einer Prüfung 57 Punkte erreicht, schwankt seine wahre Leistung aufgrund der Messungenauigkeit der Prüfung um diesen Wert (z.B. zwischen 50 und 64 Punkte). Im Bereich der Bestehensgrenze ist die Messgenauigkeit aber besonders wichtig. Läge die Bestehensgrenze in unserem Beispiel bei 60 Punkten, wäre der Kandidat mit 57 Punkten zwar pro forma durchgefallen, allerdings könnte er aufgrund der Schwankungsbreite um seine gemessene Leistung in Wahrheit auch knapp bestanden haben. Überträgt man diese Erkenntnisse auf alle KandidatInnen einer Prüfung, kann man die Anzahl der Grenzfallkandidaten bestimmen, also all jene Kandidatinnen, die mit Ihrem Prüfungsergebnis so nahe an der Bestehensgrenze liegen, dass ihr jeweiliges Prüfungsresultate falsch positiv oder falsch negativ sein kann. Ergebnisse: Die Anzahl der GrenzfallkandidatInnen in einer Prüfung ist, nicht nur von der Reliabilität abhängig, sondern auch von der Leistung der KandidatInnen, der Varianz, dem Abstand der Bestehensgrenze zum Mittelwert und der Schiefe der Verteilung. Es wird anhand von Modelldaten und konkreten Prüfungsdaten der Zusammenhang zwischen der Reliabilität und der Anzahl der Grenzfallkandidaten auch für den Nichtstatistiker verständlich dargestellt. Es wird gezeigt, warum selbst eine Reliabilität von 0.8 in besonderen Situationen keine befriedigende Präzision der Messung bieten wird, während in manchen OSCEs die Reliabilität fast ignoriert werden kann. Schlussfolgerungen: Die Berechnung oder Schätzung der Grenzfallkandidaten anstatt der Reliabilität verbessert auf anschauliche Weise das Verständnis für die Präzision einer Prüfung. Wenn es darum geht, wie viele Stationen ein summativer OSCE benötigt oder wie lange eine MC-Prüfung dauern soll, sind Grenzfallkandidaten ein valideres Entscheidungskriterium als die Reliabilität. Brennan, R.L. (2003) Generalizability Theory. New York, Springer Downing, S.M. (2004) ‘Reliability: on the reproducibility of assessment data’, Medical Education 2004, 38, 1006–12 Harvill, L.M. (1991) ‘Standard Error of Measurement’, Educational Measurement: Issues and Practice, 33-41 McManus, I.C. (2012) ‘The misinterpretation of the standard error of measurement in medical education: A primer on the problems, pitfalls and peculiarities of the three different standard errors of measurement’ Medical teacher, 34, 569 - 76

Psychological, Educational and Sociological Perspectives on Success and Well-Being in Career Development

Back Cover Text This collection covers how success and well-being relate to each other in early career development in the domains of employment and education. It gives a conceptual overview of success and well-being as established in the psychological research tradition, complemented by educational and sociological approaches. The volume presents articles on success and well-being in applied contexts, such as well-being as an individual resource during school-to-work transition, or well-being and success at the workplace. Work psychologists, social psychologists, educational researchers, and sociologists will find this book valuable, as it provides unique insights into social and psychological processes afforded by the combination of disciplines, concepts, and a diversity of approaches. Table of Contents Acknowledgements 1. Introduction Robin Samuel, Manfred Max Bergman, Anita C. Keller and Norbert K. Semmer 2. The Influence of Career Success on Subjective Well-Being Andrea E. Abele-Brehm 3. Upper-Secondary Educational Trajectories and Young Men’s and Women’s Self-Esteem Development in Switzerland Sybille Bayard, Monika Staffelbach, Phillip Fischer and Marlies Buchmann. 4. Young People’s Progress after Dropout from Vocational Edu-cation and Training: Transitions and Occupational Integration at Stake. Longitudinal Qualitative Perspective Barbara Duc and Nadia Lamamra 5. Success, Well-Being and Social Recognition: An Interactional Perspective on Vocational Training Practices Stefano A. Losa, Barbara Duc and Laurent Filliettaz. 6. Agentic Pathways toward Fulfillment in Work Jeylan T. Mortimer, Mike Vuolo and Jeremy Staff 7. The How and Why of the Relationship between Job Insecuri-ty, Subjective Career Success, and Turnover Intention Cécile Tschopp and Gudela Grote 8. Work Experiences and Well-Being in the First Years of Professional Work in Switzerland: A Ten-Year Follow-up Study Wolfgang Kälin, Anita C. Keller, Franziska Tschan, Achim Elfering and Norbert K. Semmer 9. The Meaning and Measurement of Well-Being as an Indicator of Success Anita C. Keller, Norbert K. Semmer, Robin Samuel and Manfred Max Bergman