Schriftliche Prüfungen: Vorteile von Multiple True-False Fragen gegenüber Typ-A Fragen

Fragestellung/Einleitung: Prüfungen sind essentieller Bestandteil in der ärztlichen Ausbildung. Sie liefern wertvolle Informationen über den Entwicklungsprozess der Studierenden und wirken lernbegleitend und lernmodulierend [1], [2]. Bei schriftlichen Prüfungen dominieren derzeit Multiple Choice Fragen, die in verschiedenen Typen verwendet werden. Zumeist werden Typ-A Fragen genutzt, bei denen genau eine Antwort richtig ist. Multiple True-False (MTF) Fragen hingegen lassen mehrere richtige Antworten zu: es muss für jede Antwortmöglichkeit entschieden werden, ob diese richtig oder falsch ist. Durch die Mehrfachantwort scheinen MTF Fragen bestimmte klinische Sachverhalte besser widerspiegeln zu können. Auch bezüglich Reliabilität und dem Informationsgewinn pro Testzeit scheinen MTF Fragen den Typ-A Fragen überlegen zu sein [3]. Dennoch werden MTF Fragen bislang selten genutzt und es gibt wenig Literatur zu diesem Fragenformat. In dieser Studie soll untersucht werden, inwiefern die Verwendung von MTF Fragen die Nutzbarkeit (Utility) nach van der Vleuten (Reliabilität, Validität, Kostenaufwand, Effekt auf den Lernprozess und Akzeptanz der Teilnehmer) [4] schriftlicher Prüfungen erhöhen kann. Um die Testreliabilität zu steigern, sowie den Kostenaufwand für Prüfungen zu senken, möchten wir das optimale Bewertungssystem (Scoring) für MTF Fragen ermitteln. Methoden: Wir analysieren die Daten summativer Prüfungen der Medizinischen Fakultät der Universität Bern. Unsere Daten beinhalten Prüfungen vom ersten bis zum sechsten Studienjahr, sowie eine Facharztprüfung. Alle Prüfungen umfassen sowohl MTF als auch Typ-A Fragen. Für diese Prüfungen vergleichen wir die Viertel-, Halb- und Ganzpunktbewertung für MTF Fragen. Bei der Viertelpunktbewertung bekommen Kandidaten für jede richtige Teilantwort ¼ Punkt. Bei der Halbpunktbewertung wird ½ Punkt vergeben, wenn mehr als die Hälfte der Antwortmöglichkeiten richtig ist, einen ganzen Punkt erhalten die Kandidaten wenn alle Antworten richtig beantwortet wurden. Bei der Ganzpunktbewertung erhalten Kandidaten lediglich einen Punkt wenn die komplette Frage richtig beantwortet wurde. Diese unterschiedlichen Bewertungsschemata werden hinsichtlich Fragencharakteristika wie Trennschärfe und Schwierigkeit sowie hinsichtlich Testcharakteristika wie der Reliabilität einander gegenübergestellt. Die Ergebnisse werden ausserdem mit denen für Typ A Fragen verglichen. Ergebnisse: Vorläufige Ergebnisse deuten darauf hin, dass eine Halbpunktbewertung optimal zu sein scheint. Eine Halbpunktbewertung führt zu mittleren Item-Schwierigkeiten und daraus resultierend zu hohen Trennschärfen. Dies trägt zu einer hohen Testreliabilität bei. Diskussion/Schlussfolgerung: MTF Fragen scheinen in Verbindung mit einem optimalen Bewertungssystem, zu höheren Testreliabilitäten im Vergleich zu Typ A Fragen zu führen. In Abhängigkeit des zu prüfenden Inhalts könnten MTF Fragen einen wertvolle Ergänzung zu Typ-A Fragen darstellen. Durch die geeignete Kombination von MTF und Typ A Fragen könnte die Nutzbarkeit (Utility) schriftlicher Prüfungen verbessert werden.

Haftfestigkeit eines mit β-Trikalziumphosphat angereichertem Knochenadhäsivs

Background: This investigation describes experimental tests of the biomechanical features of a new resorbable bone adhesive based on methacrylate-terminated oligolactides enhanced with osteoconductive β-tricalcium phosphate. Material and Methods: 51 New Zealand white rabbits were randomised to an adhesive group (n = 29) and a control group (n = 22). An extra-articular bone cylinder was taken from the proximal tibia, two stripes of adhesive were applied and the cylinders were replanted. After 10 and 21 days, 3 and 12 months tibial specimens were harvested and the cylinder pull-out test was performed with a servo-hydraulic machine. Additionally the pull-out force was evaluated with the bone-equivalent Ebazell® after 5, 10 and 360 minutes in 14 specimens each. Results: Average pull-out forces in the adhesive group were 28 N after 10 days (control: 57 N), 155 N after 21 days (216 N), 184 N after 3 months (197 N) and 205 N after 12 months (185 N). Investigations with Ebazell® showed almost identical pull-out forces after 5 min, 15 min and 360 min. Adhesive forces were as high as 125 N/cm2 of adhesive surface and more than 1200 N/g of adhesive mass. Conclusions: The adhesive investigated here has a very good primary adhesive power, compared to the literature data, achieved after only 5 minutes. Even in moist surroundings the adhesive capacity remains sufficient. The adhesive has to prove its resorptive properties in further investigations and in first line its medium-term and long-lasting biocompatibility. Furthermore, biomechanical features will have to be compared to those of conventional fixation techniques.

Im Nebel der Präzision: die Bestimmung von GrenzfallkandidatInnen oder wie viel Reliabilität ist genug?

Hintergrund: Bei der Durchführung von summativen Prüfungen wird üblicherweise eine Mindestreliabilität von 0,8 gefordert. Bei praktischen Prüfungen wie OSCEs werden manchmal 0,7 akzeptiert (Downing 2004). Doch was kann man sich eigentlich unter der Präzision einer Messung mit einer Reliabilität von 0,7 oder 0,8 vorstellen? Methode: Mittels verschiedener statistischer Methoden wie dem Standardmessfehler oder der Generalisierbarkeitstheorie lässt sich die Reliabilität in ein Konfidenzintervall um eine festgestellte Kandidatenleistung übersetzen (Brennan 2003, Harvill 1991, McManus 2012). Hat ein Kandidat beispielsweise bei einer Prüfung 57 Punkte erreicht, schwankt seine wahre Leistung aufgrund der Messungenauigkeit der Prüfung um diesen Wert (z.B. zwischen 50 und 64 Punkte). Im Bereich der Bestehensgrenze ist die Messgenauigkeit aber besonders wichtig. Läge die Bestehensgrenze in unserem Beispiel bei 60 Punkten, wäre der Kandidat mit 57 Punkten zwar pro forma durchgefallen, allerdings könnte er aufgrund der Schwankungsbreite um seine gemessene Leistung in Wahrheit auch knapp bestanden haben. Überträgt man diese Erkenntnisse auf alle KandidatInnen einer Prüfung, kann man die Anzahl der Grenzfallkandidaten bestimmen, also all jene Kandidatinnen, die mit Ihrem Prüfungsergebnis so nahe an der Bestehensgrenze liegen, dass ihr jeweiliges Prüfungsresultate falsch positiv oder falsch negativ sein kann. Ergebnisse: Die Anzahl der GrenzfallkandidatInnen in einer Prüfung ist, nicht nur von der Reliabilität abhängig, sondern auch von der Leistung der KandidatInnen, der Varianz, dem Abstand der Bestehensgrenze zum Mittelwert und der Schiefe der Verteilung. Es wird anhand von Modelldaten und konkreten Prüfungsdaten der Zusammenhang zwischen der Reliabilität und der Anzahl der Grenzfallkandidaten auch für den Nichtstatistiker verständlich dargestellt. Es wird gezeigt, warum selbst eine Reliabilität von 0.8 in besonderen Situationen keine befriedigende Präzision der Messung bieten wird, während in manchen OSCEs die Reliabilität fast ignoriert werden kann. Schlussfolgerungen: Die Berechnung oder Schätzung der Grenzfallkandidaten anstatt der Reliabilität verbessert auf anschauliche Weise das Verständnis für die Präzision einer Prüfung. Wenn es darum geht, wie viele Stationen ein summativer OSCE benötigt oder wie lange eine MC-Prüfung dauern soll, sind Grenzfallkandidaten ein valideres Entscheidungskriterium als die Reliabilität. Brennan, R.L. (2003) Generalizability Theory. New York, Springer Downing, S.M. (2004) ‘Reliability: on the reproducibility of assessment data’, Medical Education 2004, 38, 1006–12 Harvill, L.M. (1991) ‘Standard Error of Measurement’, Educational Measurement: Issues and Practice, 33-41 McManus, I.C. (2012) ‘The misinterpretation of the standard error of measurement in medical education: A primer on the problems, pitfalls and peculiarities of the three different standard errors of measurement’ Medical teacher, 34, 569 - 76

„Lessons learned“ in der Revision von schriftlichen Prüfungs-Fragen

Fragestellung/Einleitung: Bisher existieren kaum Daten für den deutschsprachigen Raum, welche Fehler häufig bei der Erstellung von schriftlichen Prüfungsfragen gemacht werden. Diese Erkenntnisse könnten hilfreich sein, um Autoren in Schulungsworkshops mit dem Fokus auf die häufigsten Fehler zu schulen. Im vorliegenden Projekt wird der Frage nachgegangen, welche Fehler am häufigsten bei der Erstellung von schriftlichen Prüfungsfragen gemacht werden, und welche Schlussfolgerungen daraus für Autorenschulungen gezogen werden können. Methoden: Am Institut für Medizinische Lehre Bern werden die mit der inhaltlichen und/oder formalen Fragenrevision befassten MitarbeiterInnen (N=14) anhand von semi-strukturierten Interviews befragt, mit welcher Art von Mängeln sie bei den Fragen der von ihnen betreuten schriftlichen Prüfungen am häufigsten umgehen. Weiter wird erhoben, wie dem Revisionsbedarf aus ihrer Sicht in Schulungen am besten begegnet werden kann. Ergebnisse: Die vorläufigen Ergebnisse weisen darauf hin, dass in folgenden Bereichen am häufigsten Revisionsbedarf besteht: eindeutiger Focus auf ein konkretes Lernziel authentische und relevante Vignette für den Ausbildungsstand angemessener Schwierigkeitsgrad eindeutige Lösung formale und sprachliche Korrektheit Dementsprechend sollte auf diese Themenbereiche ein besonderer Schwerpunkt bei Schulungen gelegt werden. Diskussion/Schlussfolgerung: Die vorläufigen Ergebnisse weisen darauf hin, dass Mängel von schriftlichen Prüfungsfragen häufig in den Bereichen Focus, Vignette, Schwierigkeitsgrad, Eindeutigkeit und formal-sprachlichen Aspekten liegen. Autorenschulungen sollten diese Aspekte in den Vordergrund stellen. Unsere zum Zeitpunkt der GMA-Tagung vorliegenden definitiven Ergebnisse können dazu beitragen, Workshops zur Fragenerstellung noch besser am Schulungsbedarf auszurichten.

Die Prüfung als Dreh- und Angelpunkt des (studentischen) Lernens

Hochschulen wollen mehr als träges Wissen bewirken. Lernergebnisse stellen die Grundlage für diesen angestrebten Kompetenzerwerb dar (vgl. Becker 2012, S.99). In den Lehrarrangements und Prüfungsformaten werden diese aber häufig unzureichend umgesetzt (vgl. Scharper 2012, S.32f., 34ff. u. 50). Die Formulierung von Lernergebnissen wird von Lehrenden oftmals als eine „administrative Übung“ ohne Mehrwert gesehen (vgl. Brahm & Jenert 2013, S.10f.). Berufsbegleitende Studiengänge nutzen seit jeher eine erwachsenengerechte Didaktik, um ihrer anspruchsvollen Zielgruppe gerecht zu werden. Um die Studierbarkeit zu erhöhen, werden sie häufig mit höheren Selbstlernanteilen angereichert. Zudem wird der Praxiserfahrung der Teilnehmenden vielfach durch Projektstudienansätze Rechnung getragen (vgl. Minsk et al. 2011, S.68 u.102). Ob damit auch eine Orientierung an Lernergebnissen einhergeht, ist nicht geklärt. Der vorliegende Beitrag legt den Focus auf die Prüfung als Ausgangspunkt für das Lernen. Prüfungen beeinflussen gewollt oder ungewollt das Lernverhalten maßgeblich (vgl. Dany 2008, S.5). Studierende orientieren sich eng am geforderten Prüfungswissen und vermeiden darüber hinausgehende Lernstrategien, weil sie den Nutzen darin nicht erkennen (vgl. Winter 1999, S.61). Dieser Faktor wird in der berufsbegleitenden Lehre häufig durch die hohe intrinsische Motivation der Teilnehmenden ausgeglichen. Mit einer Zunahme von „corporate programs“ könnte sich dies wandeln. Die steuernde Funktion der Prüfung sollte daher positiv eingesetzt werden, um zukünftig auch extrinsisch motivierte Teilnehmende zu erreichen. Anhand dreier praktischer Beispiele wird vergleichend aufgezeigt, wie wirkmächtig die Prüfungsform Einfluss auf das Studierverhalten nimmt und wie sie als Erfolgsfaktor für eine wirksame Didaktik eingesetzt werden kann.

Anwendung einer Liste von Qualitätsmerkmale des Rollenspiels von SPs im Rahmen von OSCE

Fragestellung / Zielsetzung Rollenspiel von standardisierten Patienten (SPs) bei hochstehenden Prüfungen unterliegt hohen Qualitätsansprüchen, um die Reliabilität und Validität der Prüfung zu gewährleisten. Die Literatur über die Qualitätskontrolle bei SPs konzentriert sich vor allen Dingen auf das Feedback (1,2) oder das Ausfüllen der Checklisten (3,4). Bei Qualitätskontrollen bezüglich des Rollenspiels sind Instrumente mit Bezug auf spezifische Rollen publiziert(5). In den meisten Fakultäten beobachten die SP Trainer die von ihnen trainierten SPs während der OSCEs und bilden sich so ein Urteil über die Qualität der Performance. Die Machbarkeit / Notwendigkeit einer systematischen Qualitätskontrolle des Rollenspiels von SPs in OSCEs über diese Praxis hinaus ist unter SP Trainern umstritten. Das Ziel des hier beschriebenen Projektes ist es, die Anwendungen einer Liste von rollenunabhängigen Qualitätsmerkmalen der Spiels von SPs im Rahmen von OSCEs in der Praxis zu testen. Materialien und Methoden Im Rahmen einer Konsensbildung von Experten auf nationaler Ebene wurde eine Liste von Qualitätsmerkmalen zum Rollenspiel von SPs bei OSCEs erstellt. Diese Liste wurde seitdem systematisch zur Vorbereitung, Durchführung und zum Debriefing von OSCEs eingesetzt. Ergebnisse 1. Bei der Erarbeitung der Liste wurde klar, dass verschiedene SP Trainer unterschiedliche Vorstellungen bezüglich von Qualitätsmerkmalen des Rollenspiels beim OSCE hatten. Diese Vorstellungen konnten im Rahmen Erarbeitung der Liste vereinheitlicht werden. 2. Die Liste wird eingesetzt, um den SPs die in sie gesetzten Erwartungen bezüglich eines guten Rollenspiels beim OSCE gezielt zu vermitteln. 3. Die Liste wird zur Qualitätssicherung des Schauspiels in OSCE Prüfungen eingesetzt. Dabei zeigte sich, dass die SPs in der Qualität ihres Spiels in über 90% der Beobachtungen den in sie gesetzten Erwartungen der SP Trainer entsprechen. 4. Anhand der Liste wird den SPs ein formatives Feedbacks zu ihrer Leistung gegeben. Die SPs in unserem Programm haben uns immer wieder zurückgemeldet, dass sie diese Rückmeldungen zu ihrer Performance sehr schätzen. 5. Die Dokumentation der Performance in den vergangenen Prüfungen kann im Training zur nächsten Rolle benutzt werden, um gezielt etwaige Schwächen zu trainieren und die Performance dadurch zu verbessern. 6. In seltenen Fällen, in denen ein SP nicht mehr im Programm behalten werden kann, liefert die Dokumentation der Performance eine gute Gesprächsgrundlage zur Begründung der Differenzen bezüglich der Erwartung und der aktuellen Leistung. Diskussion In unseren Händen ist der Einsatz der Liste von Qualitätsmerkmalen zur Beurteilung der Leistung von Schauspielpatienten mit hoher Konzentration verbunden. Die gewonnene Klarheit in Bezug auf die Erwartungen und die gebrachten Leistungen bringt eine Struktur und Transparenz in unser Programm, die wir und entsprechend ihrer Rückmeldungen auch unsere SPs sehr schätzen.

Computerbasierte Prüfung von klinischem Denken in der klinischen Ausbildung: Ein Mixed-Method Vergleich von Key Feature Problemen mit fallbasierten Multiple Choice Typ A Fragen

Fragestellung/Einleitung: Es ist unklar inwiefern Unterschiede bestehen im Einsatz von Key Feature Problemen (KFP) mit Long Menu Fragen und fallbasierten Typ A Fragen (FTA) für die Überprüfung des klinischen Denkens (Clinical Reasoning) in der klinischen Ausbildung von Medizinstudierenden. Methoden: Medizinstudierende des fünften Studienjahres nahmen an ihrer klinischen Pädiatrie-Rotation teil, die mit einer summativen Prüfung endete. Die Überprüfung des Wissen wurde pro Prüfung elektronisch mit 6-9 KFP [1], [3], 9-20 FTA und 9-28 nichtfallbasierten Multiple Choice Fragen (NFTA) durchgeführt. Jedes KFP bestand aus einer Fallvignette und drei Key Features und nutzen ein sog. Long Menu [4] als Antwortformat. Wir untersuchten die Perzeption der KFP und FTA in Focus Gruppen [2] (n of students=39). Weiterhin wurden die statistischen Kennwerte der KFP und FTA von 11 Prüfungen (n of students=377) verglichen. Ergebnisse: Die Analyse der Fokusgruppen resultierte in vier Themen, die die Perzeption der KFP und deren Vergleich mit FTA darstellten: KFP wurden als 1. realistischer, 2. schwerer, und 3. motivierender für das intensive Selbststudium des klinischen Denkens als FTA aufgenommen und zeigten 4. insgesamt eine gute Akzeptanz sofern gewisse Voraussetzungen berücksichtigt werden. Die statistische Auswertung zeigte keinen Unterschied im Schwierigkeitsgrad; jedoch zeigten die KFP eine höhere Diskrimination und Reliabilität (G-coefficient) selbst wenn für die Prüfungszeit korrigiert wurde. Die Korrelation der verschiedenen Prüfungsteile war mittel. Diskussion/Schlussfolgerung: Die Studierenden erfuhren die KFP als motivierenden für das Selbststudium des klinischen Denkens. Statistisch zeigten die KFP eine grössere Diskrimination und höhere Relibilität als die FTA. Der Einbezug von KFP mit Long Menu in Prüfungen des klinischen Studienabschnitts erscheint vielversprechend und einen „educational effect“ zu haben.