Validity evidence and reliability of a Simulated Patient Feedback Instrument

In the training of healthcare professionals, one of the advantages of communication training with simulated patients (SPs) is the SP's ability to provide direct feedback to students after a simulated clinical encounter. The quality of SP feedback must be monitored, especially because it is well known that feedback can have a profound effect on student performance. Due to the current lack of valid and reliable instruments to assess the quality of SP feedback, our study examined the validity and reliability of one potential instrument, the 'modified Quality of Simulated Patient Feedback Form' (mQSF). Methods Content validity of the mQSF was assessed by inviting experts in the area of simulated clinical encounters to rate the importance of the mQSF items. Moreover, generalizability theory was used to examine the reliability of the mQSF. Our data came from videotapes of clinical encounters between six simulated patients and six students and the ensuing feedback from the SPs to the students. Ten faculty members judged the SP feedback according to the items on the mQSF. Three weeks later, this procedure was repeated with the same faculty members and recordings. Results All but two items of the mQSF received importance ratings of > 2.5 on a four-point rating scale. A generalizability coefficient of 0.77 was established with two judges observing one encounter. Conclusions The findings for content validity and reliability with two judges suggest that the mQSF is a valid and reliable instrument to assess the quality of feedback provided by simulated patients.

Koproduktion von Wissen in der Entwicklung des Biolandbaus - Einflüsse von Marginalisierung, Anerkennung und Markt

The empirical analysis of the historical development of transdisciplinary co-production of knowledge (CPK) in organic agriculture (OA) in Switzerland has revealed three distinct phases. The initial phase shows various characteristics of transdisciplinary CPK and a high importance of experiential knowledge. The 2nd and 3rd phases involve an in-creasing segregation of farmers’, extension agents’, and scientists’ knowledge, caused by internal and external impacts, i.e. foundation of independent research institutions, changes in agriculture policy, and new market strategies. These developments strikingly represent an ambiguous trend: the growing societal and political recognition of OA and the increasing market, which are positive achievements, are associated by a gradual loss of very precious forms of CPK. A successful re-establishment of CPK processes and re-integration of experiential knowledge would help to resolve this dilemma and thus improve future research in OA and sustainability research in general.

Learner preferences regarding integrating, sequencing and aligning virtual patients with other activities in the undergraduate medical curriculum: A focus group study

CONTEXT: E-learning resources, such as virtual patients (VPs), can be more effective when they are integrated in the curriculum. To gain insights that can inform guidelines for the curricular integration of VPs, we explored students' perceptions of scenarios with integrated and non-integrated VPs aimed at promoting clinical reasoning skills. METHODS: During their paediatric clerkship, 116 fifth-year medical students were given at least ten VPs embedded in eight integrated scenarios and as non-integrated add-ons. The scenarios differed in the sequencing and alignment of VPs and related educational activities, tutor involvement, number of VPs, relevance to assessment and involvement of real patients. We sought students' perceptions on the VP scenarios in focus group interviews with eight groups of 4-7 randomly selected students (n = 39). The interviews were recorded, transcribed and analysed qualitatively. RESULTS: The analysis resulted in six themes reflecting students' perceptions of important features for effective curricular integration of VPs: (i) continuous and stable online access, (ii) increasing complexity, adapted to students' knowledge, (iii) VP-related workload offset by elimination of other activities, (iv) optimal sequencing (e.g.: lecture--1 to 2 VP(s)--tutor-led small group discussion--real patient) and (V) optimal alignment of VPs and educational activities, (vi) inclusion of VP topics in assessment. CONCLUSIONS: The themes appear to offer starting points for the development of a framework to guide the curricular integration of VPs. Their impact needs to be confirmed by studies using quantitative controlled designs.

Exploring the validity and reliability of a questionnaire for evaluating virtual patient design with a special emphasis on fostering clinical reasoning

Background: The design of Virtual Patients (VPs) is essential. So far there are no validated evaluation instruments for VP design published. Summary of work: We examined three sources of validity evidence of an instrument to be filled out by students aimed at measuring the quality of VPs with a special emphasis on fostering clinical reasoning: (1) Content was examined based on theory of clinical reasoning and an international VP expert team. (2) Response process was explored in think aloud pilot studies with students and content analysis of free text questions accompanying each item of the instrument. (3) Internal structure was assessed by confirmatory factor analysis (CFA) using 2547 student evaluations and reliability was examined utilizing generalizability analysis. Summary of results: Content analysis was supported by theory underlying Gruppen and Frohna’s clinical reasoning model on which the instrument is based and an international VP expert team. The pilot study and analysis of free text comments supported the validity of the instrument. The CFA indicated that a three factor model comprising 6 items showed a good fit with the data. Alpha coefficients per factor were 0,74 - 0,82. The findings of the generalizability studies indicated that 40-200 student responses are needed in order to obtain reliable data on one VP. Conclusions: The described instrument has the potential to provide faculty with reliable and valid information about VP design. Take-home messages: We present a short instrument which can be of help in evaluating the design of VPs.

Sportmotorische Leistungsfähigkeit und schulische Leistung – Zum mediierenden Effekt der exekutiven Funktionen

Introduction: Die sportmotorische Leistungsfähigkeit (SMLF) hängt nicht nur positiv mit der körperlichen Gesundheit zusammen, sondern gilt auch als Prädiktor für die schulische Leistung (SL) (van der Niet, Hartmann, Smith, & Visscher, 2014). Um die Frage zu beantworten, wie denn zwei auf den ersten Blick so distale Merkmale zusammenhängen sollen, werden unterschiedliche erklärende Variablen diskutiert, wobei die kognitive Stimulationshypothese die exekutiven Funktionen (EF) als mediierende Variable im Zusammenhang zwischen SMLF und SL postuliert. Die Annahme hierbei ist, dass die mit komplexen motorischen Kontrollprozessen einhergehende kognitive Beanspruchung bei einem wiederholten Ausführen von nicht-automatisierten sportbezogenen Handlungen zu einer Aktivierung und somit Förderung der EF führt (Best, 2010). EF, verstanden als höhere kognitive Prozesse, die ein zielorientiertes und situationsangepasstes Handeln erlauben, sind für den schulischen Erfolg von zentraler Bedeutung und gleichzeitig wichtige Prädiktoren der SL (Diamond, 2013). Obwohl diese Mediation seit einigen Jahren in der Literatur diskutiert wird, wurde sie bis heute noch nicht mit Hilfe längsschnittlicher Daten geprüft. Daher wird im Folgenden der mediierende Effekt der EF im Zusammenhang zwischen SMLF und SL getestet. Methods: Im Rahmen der Studie Sport und Kognition 5.0 wurden insgesamt 237 Primarschulkinder (52.3% ♀; 11.31 ± 0.62 Jahre) zu drei Messzeitpunkten in ihrer SMLF (T1) und ihren EF (T2) getestet. Zusätzlich wurde die SL (T3) mittels objektiver Schulleistungstests (Mathematik und Deutsch) erhoben. Um die Hauptfragestellung zu prüfen, ob die SL vorwiegend mediiert über die EF durch die SMLF vorhergesagt werden kann, wurde eine bootstrapping-basierte Mediationsanalyse in AMOS 22 durchgeführt. Results: Das theoretisch abgeleitete Strukturgleichungsmodell (2 (22, N = 237) = 30.357, p = .110; CFI = .978) weist eine zufriedenstellende Anpassungsgüte auf. Erwartungsgemäss zerfällt der Zusammenhang innerhalb des Mediationsmodells zwischen der SMLF und der SL, alsbald die EF ins Modell aufgenommen werden (β = .16, p = .634). Sowohl der Zusammenhang zwischen der SMLF und den EF (β = .38, p = .039), als auch der Zusammenhang zwischen den EF und der SL fallen signifikant aus (β = .91, p = .001) und ergeben dabei eine volle Mediation über den indirekten (p = .021) und totalen Effekt (p = .001). Discussion/Conclusion: Die erstmals vorliegenden längsschnittlichen Daten bestätigen den Zusammenhang zwischen SMLF und SL bei einer Mediation über die EF und decken sich mit den, aus einem querschnittlichen Design stammenden, Befunden von van der Niet et al. (2014). Zur Steigerung der schulischen Leistung sollten zukünftige Schulsportinterventionen die SMLF von Kindern erhöhen und dabei die EF bei der Auswahl von sportlichen Aufgaben mitberücksichtigen. References: Best, J. R. (2010). Effects of physical activity on children’s executive function: Contributions of experimental research on aerobic exercise. Developmental Review, 30, 331-351. Diamond, A. (2013). Executive functions. Annual Review of Psychology, 64, 135-168. van der Niet, A. G., Hartmann, E., Smith, J. & Visscher, C. (2014). Modeling relationships between physical fitness, executive functioning, and academic achievement in primary school children. Psychology of Sport & Exercise, 15(4), 319-325.

Exploring the validity and reliability of a questionnaire for evaluating virtual patient design with a special emphasis on fostering clinical reasoning

Background: Virtual patients (VPs) are increasingly used to train clinical reasoning. So far, no validated evaluation instruments for VP design are available. Aims: We examined the validity of an instrument for assessing the perception of VP design by learners. Methods: Three sources of validity evidence were examined: (i) Content was examined based on theory of clinical reasoning and an international VP expert team. (ii) The response process was explored in think-aloud pilot studies with medical students and in content analyses of free text questions accompanying each item of the instrument. (iii) Internal structure was assessed by exploratory factor analysis (EFA) and inter-rater reliability by generalizability analysis. Results: Content analysis was reasonably supported by the theoretical foundation and the VP expert team. The think-aloud studies and analysis of free text comments supported the validity of the instrument. In the EFA, using 2547 student evaluations of a total of 78 VPs, a three-factor model showed a reasonable fit with the data. At least 200 student responses are needed to obtain a reliable evaluation of a VP on all three factors. Conclusion: The instrument has the potential to provide valid information about VP design, provided that many responses per VP are available.

Sportmotorische Leistungsfähigkeit und schulische Leistung – Zum mediierenden Effekt der exekutiven Funktionen

Die sportmotorische Leistungsfähigkeit (SMLF) gilt in jüngster Zeit als ein Prädiktor für schulische Leistung (SL) (Diamond, 2013). Um die Frage zu beantworten, wie denn zwei auf den ersten Blick so distale Merkmale zusammenhängen sollen, werden unterschiedliche erklärende Variablen diskutiert, wobei die kognitive Stimulationshypothese die exekutiven Funktionen (EF) als mediierende Variable im Zusammenhang zwischen SMLF und SL postuliert. Die Annahme hierbei ist, dass die mit komplexen motorischen Kontrollprozessen einhergehende kognitive Beanspruchung bei einem wiederholten Ausführen von nicht-automatisierten sportbezogenen Handlungen zu einer Aktivierung und somit Förderung der EF führt (Best, 2010). Der mediierende Effekt der EF im Zusammenhang zwischen der SMLF und der SL wird seit einigen Jahren in der Literatur diskutiert und wird im Folgenden innerhalb einer längsschnittlichen Untersuchung getestet. Im Rahmen der Studie SpuK wurden 237 Primarschulkinder (52.3% ♀; 11.31 ± 0.62 Jahre) zu drei Messzeitpunkten in ihrer SMLF (T1) und ihren EF (T2) getestet. Zur Ermittlung der SMLF wurden drei sportmotorische Tests in den Bereichen Koordination, Ausdauer und Schnellkraft durchgeführt. Die EF Inhibition, kognitive Flexibilität und Arbeitsgedächtnis wurden computerbasiert über den N-Back- und Flanker-Test operationalisiert. Zusätzlich wurde die SL (T3) mittels objektiver Schulleistungstests erhoben. Um die Hauptfragestellung zu prüfen, wurde eine bootstrapping basierte Mediationsanalyse in AMOS durchgeführt. Das Strukturgleichungsmodell (2 (22, N=237)=30.357, p=.110; CFI=.978) weist eine zufriedenstellende Anpassungsgüte auf. Erwartungsgemäss zerfällt der Zusammenhang innerhalb des Mediationsmodells zwischen der SMLF und der SL, alsbald die EF ins Modell aufgenommen werden (β=.16, p= .634). Sowohl der Zusammenhang zwischen der SMLF und den EF (β=.38, p= .039), als auch der Zusammenhang zwischen den EF und der SL fallen signifikant aus (β=.91, p=.001) und ergeben dabei eine volle Mediation über den indirekten (p=.021) und totalen Effekt (p=.001). Die vorliegenden längs-schnittlichen Daten bestätigen den Zusammenhang zwischen SMLF und SL bei einer Mediation über die EF und bestätigen somit die aus querschnittlichem Design stammenden Resultate von van der Niet et al. (2014). Literatur Best, J. R. (2010). Effects of physical activity on children’s executive function: Contributions of ex-perimental research on aerobic exercise. Developmental Review, 30, 331-351. Diamond, A. (2013). Executive functions. Annual Review of Psychology, 64, 135-168. van der Niet, A. G., Hartmann, E., Smith, J. & Visscher, C. (2014). Modeling relationships between physical fitness, executive functioning, and academic achievement in primary school chil-dren. Psychology of Sport & Exercise, 15(4), 319-325.