Schriftliche Prüfungen: Vorteile von Multiple True-False Fragen gegenüber Typ-A Fragen

Fragestellung/Einleitung: Prüfungen sind essentieller Bestandteil in der ärztlichen Ausbildung. Sie liefern wertvolle Informationen über den Entwicklungsprozess der Studierenden und wirken lernbegleitend und lernmodulierend [1], [2]. Bei schriftlichen Prüfungen dominieren derzeit Multiple Choice Fragen, die in verschiedenen Typen verwendet werden. Zumeist werden Typ-A Fragen genutzt, bei denen genau eine Antwort richtig ist. Multiple True-False (MTF) Fragen hingegen lassen mehrere richtige Antworten zu: es muss für jede Antwortmöglichkeit entschieden werden, ob diese richtig oder falsch ist. Durch die Mehrfachantwort scheinen MTF Fragen bestimmte klinische Sachverhalte besser widerspiegeln zu können. Auch bezüglich Reliabilität und dem Informationsgewinn pro Testzeit scheinen MTF Fragen den Typ-A Fragen überlegen zu sein [3]. Dennoch werden MTF Fragen bislang selten genutzt und es gibt wenig Literatur zu diesem Fragenformat. In dieser Studie soll untersucht werden, inwiefern die Verwendung von MTF Fragen die Nutzbarkeit (Utility) nach van der Vleuten (Reliabilität, Validität, Kostenaufwand, Effekt auf den Lernprozess und Akzeptanz der Teilnehmer) [4] schriftlicher Prüfungen erhöhen kann. Um die Testreliabilität zu steigern, sowie den Kostenaufwand für Prüfungen zu senken, möchten wir das optimale Bewertungssystem (Scoring) für MTF Fragen ermitteln. Methoden: Wir analysieren die Daten summativer Prüfungen der Medizinischen Fakultät der Universität Bern. Unsere Daten beinhalten Prüfungen vom ersten bis zum sechsten Studienjahr, sowie eine Facharztprüfung. Alle Prüfungen umfassen sowohl MTF als auch Typ-A Fragen. Für diese Prüfungen vergleichen wir die Viertel-, Halb- und Ganzpunktbewertung für MTF Fragen. Bei der Viertelpunktbewertung bekommen Kandidaten für jede richtige Teilantwort ¼ Punkt. Bei der Halbpunktbewertung wird ½ Punkt vergeben, wenn mehr als die Hälfte der Antwortmöglichkeiten richtig ist, einen ganzen Punkt erhalten die Kandidaten wenn alle Antworten richtig beantwortet wurden. Bei der Ganzpunktbewertung erhalten Kandidaten lediglich einen Punkt wenn die komplette Frage richtig beantwortet wurde. Diese unterschiedlichen Bewertungsschemata werden hinsichtlich Fragencharakteristika wie Trennschärfe und Schwierigkeit sowie hinsichtlich Testcharakteristika wie der Reliabilität einander gegenübergestellt. Die Ergebnisse werden ausserdem mit denen für Typ A Fragen verglichen. Ergebnisse: Vorläufige Ergebnisse deuten darauf hin, dass eine Halbpunktbewertung optimal zu sein scheint. Eine Halbpunktbewertung führt zu mittleren Item-Schwierigkeiten und daraus resultierend zu hohen Trennschärfen. Dies trägt zu einer hohen Testreliabilität bei. Diskussion/Schlussfolgerung: MTF Fragen scheinen in Verbindung mit einem optimalen Bewertungssystem, zu höheren Testreliabilitäten im Vergleich zu Typ A Fragen zu führen. In Abhängigkeit des zu prüfenden Inhalts könnten MTF Fragen einen wertvolle Ergänzung zu Typ-A Fragen darstellen. Durch die geeignete Kombination von MTF und Typ A Fragen könnte die Nutzbarkeit (Utility) schriftlicher Prüfungen verbessert werden.

Do multiple true-false items beat the commonly used one-best-answers questions regarding to the Ottawa Criteria for Good Assessment? Results of a literature review

Background: Multiple True-False-Items (MTF-Items) might offer some advantages compared to one-best-answer-questions (TypeA) as they allow more than one correct answer and may better represent clinical decisions. However, in medical education assessment MTF-Items are seldom used. Summary of Work: With this literature review existing findings on MTF-items and on TypeA were compared along the Ottawa Criteria for Good Assessment, i.e. (1) reproducibility, (2) feasibility, (3) validity, (4) acceptance, (5) educational effect, (6) catalytic effects, and (7) equivalence. We conducted a literature research on ERIC and Google Scholar including papers from the years 1935 to 2014. We used the search terms “multiple true-false”, “true-false”, “true/false”, and “Kprim” combined with “exam”, “test”, and “assessment”. Summary of Results: We included 29 out of 33 studies. Four of them were carried out in the medical field Compared to TypeA, MTF-Items are associated with (1) higher reproducibility (2) lower feasibility (3) similar validity (4) higher acceptance (5) higher educational effect (6) no studies on catalytic effects or (7) equivalence. Discussion and Conclusions: While studies show overall good characteristics of MTF items according to the Ottawa criteria, this type of question seems to be rather seldom used. One reason might be the reported lower feasibility. Overall the literature base is still weak. Furthermore, only 14 % of literature is from the medical domain. Further studies to better understand the characteristics of MTF-Items in the medical domain are warranted. Take-home messages: Overall the literature base is weak and therefore further studies are needed. Existing studies show that: MTF-Items show higher reliability, acceptance and educational effect; MTF-Items are more difficult to produce

La perspectiva feminista en los estudios internacionales. Su aporte metodológico : Reseña de : Ackerly, Brooke, Maria, Stern y True, Jaquie (eds), Feminist Methodologies for International Relations, Cambridge: Cambridge University Press, 2006

Fil: Sánchez, Leandro Enrique. Universidad Nacional de La Plata. Facultad de Humanidades y Ciencias de la Educación. Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET); Argentina.

La perspectiva feminista en los estudios internacionales. Su aporte metodológico : Reseña de : Ackerly, Brooke, Maria, Stern y True, Jaquie (eds), Feminist Methodologies for International Relations, Cambridge: Cambridge University Press, 2006

Fil: Sánchez, Leandro Enrique. Universidad Nacional de La Plata. Facultad de Humanidades y Ciencias de la Educación. Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET); Argentina.

La perspectiva feminista en los estudios internacionales. Su aporte metodológico : Reseña de : Ackerly, Brooke, Maria, Stern y True, Jaquie (eds), Feminist Methodologies for International Relations, Cambridge: Cambridge University Press, 2006

Fil: Sánchez, Leandro Enrique. Universidad Nacional de La Plata. Facultad de Humanidades y Ciencias de la Educación. Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET); Argentina.

(Table 2) Horizontal ice flow velocities, azimuths (relative to true north), and vertical ice-particle velocities in the vicinity of Vostok Station, Antarctica

In the austral summer seasons 2001/02 and 2002/03, Global Positioning System (GPS) data were collected in the vicinity of Vostok Station to determine ice flow velocities over Lake Vostok. Ten GPS sites are located within a radius of 30 km around Vostok Station on floating ice as well as on grounded ice to the east and to the west of the lake. Additionally, a local deformation network around the ice core drilling site 5G-1 was installed. The derived ice flow velocity for Vostok Station is 2.00 m/a ± 0.01 m/a. Along the flowline of Vostok Station an extension rate of about 10**-5/a (equivalent to 1 cm/km/a) was determined. This significant velocity gradient results in a new estimate of 28700 years for the transit time of an ice particle along the Vostok flowline from the bedrock ridge in the southwest of the lake to the eastern shoreline. With these lower velocities compared to earlier studies and, hence, larger transit times the basal accretion rate is estimated to be 4 mm/a along a portion of the Vostok flowline. An assessment of the local accretion rate at Vostok Station using the observed geodetic quantities yields an accretion rate in the same order of magnitude. Furthermore, the comparison of our geodetic observations with results inferred from ice-penetrating radar data indicates that the ice flow may not have changed significantly for several thousand years.

Chlorophyll and true-color maps of sediments from the intertidal zones in Winyah Bay, South Carolina, USA and List, Sylt, Germany

We used hyperspectral imaging to study short-term effects of bioturbation by lugworms (Arenicola marina) on the surficial biomass of microphytobenthos (MPB) in permeable marine sediments. Within days to weeks after the addition of a lugworm to a homogenized and recomposed sediment, the average surficial MPB biomass and its spatial heterogeneity were, respectively, 150 - 250% and 280% higher than in sediments without lugworms. The surficial sediment area impacted by a single medium-sized lugworm (~4 g wet weight) over this time-scale was at least 340 cm**2. While sediment reworking was the primary cause of the increased spatial heterogeneity, experiments with lugworm-mimics together with modeling showed that bioadvective porewater transport from depth to the sediment surface, as induced by the lugworm ventilating its burrow, was the main cause of the increased surficial MPB biomass. Although direct measurements of nutrient fluxes are lacking, our present data show that enhanced advective supply of nutrients from deeper sediment layers induced by faunal ventilation is an important mechanism that fuels high primary productivity at the surface of permeable sediments even though these systems are generally characterized by low standing stocks of nutrients and organic material.