Im Nebel der Präzision: die Bestimmung von GrenzfallkandidatInnen oder wie viel Reliabilität ist genug?

Hintergrund: Bei der Durchführung von summativen Prüfungen wird üblicherweise eine Mindestreliabilität von 0,8 gefordert. Bei praktischen Prüfungen wie OSCEs werden manchmal 0,7 akzeptiert (Downing 2004). Doch was kann man sich eigentlich unter der Präzision einer Messung mit einer Reliabilität von 0,7 oder 0,8 vorstellen? Methode: Mittels verschiedener statistischer Methoden wie dem Standardmessfehler oder der Generalisierbarkeitstheorie lässt sich die Reliabilität in ein Konfidenzintervall um eine festgestellte Kandidatenleistung übersetzen (Brennan 2003, Harvill 1991, McManus 2012). Hat ein Kandidat beispielsweise bei einer Prüfung 57 Punkte erreicht, schwankt seine wahre Leistung aufgrund der Messungenauigkeit der Prüfung um diesen Wert (z.B. zwischen 50 und 64 Punkte). Im Bereich der Bestehensgrenze ist die Messgenauigkeit aber besonders wichtig. Läge die Bestehensgrenze in unserem Beispiel bei 60 Punkten, wäre der Kandidat mit 57 Punkten zwar pro forma durchgefallen, allerdings könnte er aufgrund der Schwankungsbreite um seine gemessene Leistung in Wahrheit auch knapp bestanden haben. Überträgt man diese Erkenntnisse auf alle KandidatInnen einer Prüfung, kann man die Anzahl der Grenzfallkandidaten bestimmen, also all jene Kandidatinnen, die mit Ihrem Prüfungsergebnis so nahe an der Bestehensgrenze liegen, dass ihr jeweiliges Prüfungsresultate falsch positiv oder falsch negativ sein kann. Ergebnisse: Die Anzahl der GrenzfallkandidatInnen in einer Prüfung ist, nicht nur von der Reliabilität abhängig, sondern auch von der Leistung der KandidatInnen, der Varianz, dem Abstand der Bestehensgrenze zum Mittelwert und der Schiefe der Verteilung. Es wird anhand von Modelldaten und konkreten Prüfungsdaten der Zusammenhang zwischen der Reliabilität und der Anzahl der Grenzfallkandidaten auch für den Nichtstatistiker verständlich dargestellt. Es wird gezeigt, warum selbst eine Reliabilität von 0.8 in besonderen Situationen keine befriedigende Präzision der Messung bieten wird, während in manchen OSCEs die Reliabilität fast ignoriert werden kann. Schlussfolgerungen: Die Berechnung oder Schätzung der Grenzfallkandidaten anstatt der Reliabilität verbessert auf anschauliche Weise das Verständnis für die Präzision einer Prüfung. Wenn es darum geht, wie viele Stationen ein summativer OSCE benötigt oder wie lange eine MC-Prüfung dauern soll, sind Grenzfallkandidaten ein valideres Entscheidungskriterium als die Reliabilität. Brennan, R.L. (2003) Generalizability Theory. New York, Springer Downing, S.M. (2004) ‘Reliability: on the reproducibility of assessment data’, Medical Education 2004, 38, 1006–12 Harvill, L.M. (1991) ‘Standard Error of Measurement’, Educational Measurement: Issues and Practice, 33-41 McManus, I.C. (2012) ‘The misinterpretation of the standard error of measurement in medical education: A primer on the problems, pitfalls and peculiarities of the three different standard errors of measurement’ Medical teacher, 34, 569 - 76

Coupled human and natural system dynamics as key to the sustainability of Lake Victoria's ecosystem services

East Africa’s Lake Victoria provides resources and services to millions of people on the lake’s shores and abroad. In particular, the lake’s fisheries are an important source of protein, employment, and international economic connections for the whole region. Nonetheless, stock dynamics are poorly understood and currently unpredictable. Furthermore, fishery dynamics are intricately connected to other supporting services of the lake as well as to lakeshore societies and economies. Much research has been carried out piecemeal on different aspects of Lake Victoria’s system; e.g., societies, biodiversity, fisheries, and eutrophication. However, to disentangle drivers and dynamics of change in this complex system, we need to put these pieces together and analyze the system as a whole. We did so by first building a qualitative model of the lake’s social-ecological system. We then investigated the model system through a qualitative loop analysis, and finally examined effects of changes on the system state and structure. The model and its contextual analysis allowed us to investigate system-wide chain reactions resulting from disturbances. Importantly, we built a tool that can be used to analyze the cascading effects of management options and establish the requirements for their success. We found that high connectedness of the system at the exploitation level, through fisheries having multiple target stocks, can increase the stocks’ vulnerability to exploitation but reduce society’s vulnerability to variability in individual stocks. We describe how there are multiple pathways to any change in the system, which makes it difficult to identify the root cause of changes but also broadens the management toolkit. Also, we illustrate how nutrient enrichment is not a self-regulating process, and that explicit management is necessary to halt or reverse eutrophication. This model is simple and usable to assess system-wide effects of management policies, and can serve as a paving stone for future quantitative analyses of system dynamics at local scales.

Promoting palliative care in the community: production of the primary palliative care toolkit by the European Association of Palliative Care Taskforce in primary palliative care

BACKGROUND A multidisciplinary European Association of Palliative Care Taskforce was established to scope the extent of and learn what facilitates and hinders the development of palliative care in the community across Europe. AIM To document the barriers and facilitators for palliative care in the community and to produce a resource toolkit that palliative care specialists, primary care health professionals or policymakers, service developers, educationalists and national groups more generally could use to facilitate the development of palliative care in their own country. DESIGN (1) A survey instrument was sent to general practitioners with knowledge of palliative care services in the community in a diverse sample of European countries. We also conducted an international systematic review of tools used to identify people for palliative care in the community. (2) A draft toolkit was then constructed suggesting how individual countries might best address these issues, and an online survey was then set up for general practitioners and specialists to make comments. Iterations of the toolkit were then presented at international palliative care and primary care conferences. RESULTS Being unable to identify appropriate patients for palliative care in the community was a major barrier internationally. The systematic review identified tools that might be used to help address this. Various facilitators such as national strategies were identified. A primary palliative care toolkit has been produced and refined, together with associated guidance. CONCLUSION Many barriers and facilitators were identified. The primary palliative care toolkit can help community-based palliative care services to be established nationally.