The integration of curriculum and assessment in interpreter education

In dieser interdisziplinären, translationswissenschaftlichen Studie wird die Integration von Curriculum und Evaluierung in der Dolmetscherausbildung theoretisch fundiert und im Rahmen einer Fallstudie empirisch untersucht. Dolmetschkompetenz wird als ein durch zweckgerechte und messgenaue (valid and reliable) Bewertungsmethoden dokumentiertes Ergebnis der Curriculumanwendung betrachtet. Definitionen, Grundlagen, Ansätze, Ausbildungs- und Lernziele werden anhand der Curriculumtheorie und Dolmetschwissenschaft beschrieben. Traditionelle und alternative Evaluierungsmethoden werden hinsichtlich ihrer Anwendbarkeit in der Dolmetscherausbildung erprobt. In der Fallstudie werden die Prüfungsergebnisse zweier Master-Studiengänge-MA Konferenzdolmetschen und MA Dolmetschen und Übersetzen-quantitativ analysiert. Die zur Dokumentation der Prüfungsergebnisse eingesetzte Bewertungsmethodik wird qualitativ untersucht und zur quantitativen Analyse in Bezug gesetzt. Die Fallstudie besteht aus 1) einer chi-square-Analyse der Abschlussprüfungsnoten getrennt nach Sprachkombination und Prüfungskategorie (n=260), 2) einer Umfrage unter den Jurymitgliedern hinsichtlich der Evaluierungsansätze, -verfahren, und -kriterien (n = 45; 62.22% Rücklaufrate); und 3) einer Analyse des ausgangssprachlichen Prüfungsmaterials ebenfalls nach Sprachkombination und Prüfungskategorie. Es wird nachgewiesen, dass Studierende im MA Dolmetschen und Übersetzen tendenziell schlechtere Prüfungsleistungen erbringen als Studierende im MA Konferenzdolmetschen. Die Analyseergebnisse werden jedoch als aussageschwach betrachtet aufgrund mangelnder Evaluierungsvalidität. Schritte zur Curriculum- und Evaluierungsoptimierung sowie ein effizienteres Curriculummodell werden aus den theoretischen Ansätzen abgeleitet. Auf die Rolle der Ethik in der Evaluierungsmethodik wird hingewiesen.

Visualization and validation of (Q)SAR models

Analyzing and modeling relationships between the structure of chemical compounds, their physico-chemical properties, and biological or toxic effects in chemical datasets is a challenging task for scientific researchers in the field of cheminformatics. Therefore, (Q)SAR model validation is essential to ensure future model predictivity on unseen compounds. Proper validation is also one of the requirements of regulatory authorities in order to approve its use in real-world scenarios as an alternative testing method. However, at the same time, the question of how to validate a (Q)SAR model is still under discussion. In this work, we empirically compare a k-fold cross-validation with external test set validation. The introduced workflow allows to apply the built and validated models to large amounts of unseen data, and to compare the performance of the different validation approaches. Our experimental results indicate that cross-validation produces (Q)SAR models with higher predictivity than external test set validation and reduces the variance of the results. Statistical validation is important to evaluate the performance of (Q)SAR models, but does not support the user in better understanding the properties of the model or the underlying correlations. We present the 3D molecular viewer CheS-Mapper (Chemical Space Mapper) that arranges compounds in 3D space, such that their spatial proximity reflects their similarity. The user can indirectly determine similarity, by selecting which features to employ in the process. The tool can use and calculate different kinds of features, like structural fragments as well as quantitative chemical descriptors. Comprehensive functionalities including clustering, alignment of compounds according to their 3D structure, and feature highlighting aid the chemist to better understand patterns and regularities and relate the observations to established scientific knowledge. Even though visualization tools for analyzing (Q)SAR information in small molecule datasets exist, integrated visualization methods that allows for the investigation of model validation results are still lacking. We propose visual validation, as an approach for the graphical inspection of (Q)SAR model validation results. New functionalities in CheS-Mapper 2.0 facilitate the analysis of (Q)SAR information and allow the visual validation of (Q)SAR models. The tool enables the comparison of model predictions to the actual activity in feature space. Our approach reveals if the endpoint is modeled too specific or too generic and highlights common properties of misclassified compounds. Moreover, the researcher can use CheS-Mapper to inspect how the (Q)SAR model predicts activity cliffs. The CheS-Mapper software is freely available at http://ches-mapper.org.