Wahrheit oder Lüge? Spielerisch zum Leistungsnachweis

Zeitgemässe Hochschullehre verlangt nach zeitgemässen Prüfungsformen. Mit der «Toolbox Assessment » erhalten die Lehrenden der Universität Bern ein praktisches Hilfsmittel, um für ihre Studierenden die beste Methode zu finden.

Im Nebel der Präzision: die Bestimmung von GrenzfallkandidatInnen oder wie viel Reliabilität ist genug?

Hintergrund: Bei der Durchführung von summativen Prüfungen wird üblicherweise eine Mindestreliabilität von 0,8 gefordert. Bei praktischen Prüfungen wie OSCEs werden manchmal 0,7 akzeptiert (Downing 2004). Doch was kann man sich eigentlich unter der Präzision einer Messung mit einer Reliabilität von 0,7 oder 0,8 vorstellen? Methode: Mittels verschiedener statistischer Methoden wie dem Standardmessfehler oder der Generalisierbarkeitstheorie lässt sich die Reliabilität in ein Konfidenzintervall um eine festgestellte Kandidatenleistung übersetzen (Brennan 2003, Harvill 1991, McManus 2012). Hat ein Kandidat beispielsweise bei einer Prüfung 57 Punkte erreicht, schwankt seine wahre Leistung aufgrund der Messungenauigkeit der Prüfung um diesen Wert (z.B. zwischen 50 und 64 Punkte). Im Bereich der Bestehensgrenze ist die Messgenauigkeit aber besonders wichtig. Läge die Bestehensgrenze in unserem Beispiel bei 60 Punkten, wäre der Kandidat mit 57 Punkten zwar pro forma durchgefallen, allerdings könnte er aufgrund der Schwankungsbreite um seine gemessene Leistung in Wahrheit auch knapp bestanden haben. Überträgt man diese Erkenntnisse auf alle KandidatInnen einer Prüfung, kann man die Anzahl der Grenzfallkandidaten bestimmen, also all jene Kandidatinnen, die mit Ihrem Prüfungsergebnis so nahe an der Bestehensgrenze liegen, dass ihr jeweiliges Prüfungsresultate falsch positiv oder falsch negativ sein kann. Ergebnisse: Die Anzahl der GrenzfallkandidatInnen in einer Prüfung ist, nicht nur von der Reliabilität abhängig, sondern auch von der Leistung der KandidatInnen, der Varianz, dem Abstand der Bestehensgrenze zum Mittelwert und der Schiefe der Verteilung. Es wird anhand von Modelldaten und konkreten Prüfungsdaten der Zusammenhang zwischen der Reliabilität und der Anzahl der Grenzfallkandidaten auch für den Nichtstatistiker verständlich dargestellt. Es wird gezeigt, warum selbst eine Reliabilität von 0.8 in besonderen Situationen keine befriedigende Präzision der Messung bieten wird, während in manchen OSCEs die Reliabilität fast ignoriert werden kann. Schlussfolgerungen: Die Berechnung oder Schätzung der Grenzfallkandidaten anstatt der Reliabilität verbessert auf anschauliche Weise das Verständnis für die Präzision einer Prüfung. Wenn es darum geht, wie viele Stationen ein summativer OSCE benötigt oder wie lange eine MC-Prüfung dauern soll, sind Grenzfallkandidaten ein valideres Entscheidungskriterium als die Reliabilität. Brennan, R.L. (2003) Generalizability Theory. New York, Springer Downing, S.M. (2004) ‘Reliability: on the reproducibility of assessment data’, Medical Education 2004, 38, 1006–12 Harvill, L.M. (1991) ‘Standard Error of Measurement’, Educational Measurement: Issues and Practice, 33-41 McManus, I.C. (2012) ‘The misinterpretation of the standard error of measurement in medical education: A primer on the problems, pitfalls and peculiarities of the three different standard errors of measurement’ Medical teacher, 34, 569 - 76

Die frühe hebräische Geschichtsschreibung und die Historien Herodots - zwei Paar Stiefel?

In der Vergangenheit ist vielfach behauptet worden, dass die Hebräische Bibel und die Historien Herodots in ganz verschiedene literarische bzw. konzeptionelle Kategorien gehören. Ein Textvergleich soll klären, ob diese These haltbar ist. Der Tagungsbeitrag gibt Einblick in grundsätzliche Überlegungen im Zuge der Präzisierung des methodischen Zugriffs und der Fragestellung. Es werden zunächst kurz verschiedene Begründungen für die Verneinung von Historiographie im Tanach beleuchtet (Christian Meier, Erhard Blum, Philip Davies) und dann kurz die Schwierigkeiten bei der Definition von antiker Geschichtsschreibung dargestellt, die im Ergebnis für das Offenhalten von Kategorien- und Genregrenzen sprechen. Möglicherweise kann beim Umgang mit dieser etwas diffusen Situation die Kategorienbildung in der Prototypensemantik helfen. Ausgehend von einer Liste von Elementen, die nicht als ‚KO-Kriterien‘ für antike Geschichtsschreibung in Frage kommen wird kurz erläutert, warum Geschichtsschreibung und mythisches Erzählen in frühen historiographischen Texten miteinander kompatibel sind. Kurze Beispiele zeigen, dass Herodots Verhältnis zu mythischen und religiösen Vorstellungen keineswegs einheitlich ist, und dass diese Tradition einen der Bezugsrahmen seines Werks ausmacht. Diese Einsichten schlagen sich in den methodischen Überlegungen nieder. Ein wichtiger Ausgangspunkt ist hier die Annahme der Andersartigkeit der antiken Historiographie und ihrer Auffassung von der Arbeit und Aufgabe eines Historikers. In der Forschung sind zu meinem oder ähnlichen Themen verschiedene methodische Ansätze gewählt worden; so das Ausgehen von modernen oder antiken Geschichts- bzw. Literaturtheorien oder die Rekonstruktion des Umgangs der Autoren mit ihren Quellen. Demgegenüber bietet eine literaturwissenschaftlich-vergleichende Erzähltextanalyse gewisse Vorteile. Damit die Auswahl der Vergleichshinsichten nicht willkürlich erfolgt, brauchen komparatistische Textanalysen trotzdem ein theoretisches Konzept oder zumindest einen übergeordneten Leitgedanken. Hier scheint mir das Herausarbeiten der jeweils spezifischen ‚historischen Wahrheit‘ der Texte fruchtbar zu sein.

Autobiografische Erinnerung - Fakt oder Fiktion?

Das Phänomen kennen vermutlich alle: Nach vielen Jahren trifft man ehemalige Schulkollegen und vernimmt Geschichten von sich, von denen man keine Ahnung mehr hat oder die einem völlig unglaubwürdig vorkommen: Das kann unmöglich ich gewesen sein! Sind etwa unsere autobiografischen Erinnerungen mehr Dichtung als Wahrheit?