Optimal Correction for Guessing in Multiple-Choice Tests

Building on Item Response Theory we introduce students’ optimal behavior in multiple-choice tests. Our simulations indicate that the optimal penalty is relatively high, because although correction for guessing discriminates against risk-averse subjects, this effect is small compared with the measurement error that the penalty prevents. This result obtains when knowledge is binary or partial, under different normalizations of the score, when risk aversion is related to knowledge and when there is a pass-fail break point. We also find that the mean degree of difficulty should be close to the mean level of knowledge and that the variance of difficulty should be high.

Are multiple-choice tests a suitable method to evaluate students' knowledge? : against the extensive use of multiple-choice evaluation test. '¿Son los test de opción múltiple un método adecuado para evaluar el conocimiento de los estudiantes? : en contra del uso extensivo del test de evaluación de opción múltiple'.

Resumen basado en el de la publicación

Large-scale assessment of language proficiency: theoretical and pedagogical reflections on the use of multiple-choice tests

The new requirement placed on students in tertiary settings in Spain to demonstrate a B1 or a B2 proficiency level of English, in accordance with the Common European Framework of Reference for Languages (CEFRL), has led most Spanish universities to develop a program of certification or accreditation of the required level. The first part of this paper aims to provide a rationale for the type of test that has been developed at the Universidad Politécnica de Madrid for the accreditation of a B2 level, a multiple choice version, and to describe how it was constructed and validated. Then, in the second part of the paper, the results from its application to 924 students enrolled in different degree courses at a variety of schools and faculties at the university are analyzed based on a final test version item analysis. To conclude, some theoretical as well as practical conclusions about testing grammar that affect the teaching and learning process are drawn. RESUMEN. Las nuevas exigencias sobre niveles de competencia B1 y B2 en inglés según el Marco Común Europeo de Referencia para las Lenguas (MCERL) que se imponen sobre los estudiantes de grado y posgrado han llevado a la mayoría de las universidades españolas a desarrollar programas de acreditación o de certificación de estos niveles. La primera parte de este trabajo trata sobre las razones que fundamentan la elección de un tipo concreto de examen para la acreditación del nivel B2 de lengua inglesa en la Universidad Politécnica de Madrid. Se trata de un test de opción múltiple y en esta parte del trabajo se describe cómo fue diseñado y validado. En la segunda parte, se analizan los resultados de la aplicación del test a gran escala a un total de 924 estudiantes matriculados en varias escuelas y Facultades de la Universidad. Para terminar, se apuntan una serie de conclusiones teóricas y prácticas sobre la evaluación de la gramática y de qué modo influye en los procesos de enseñanza y aprendizaje.

On the strategic equivalence of multiple-choice test scoring rules

A disadvantage of multiple-choice tests is that students have incentives to guess. To discourage guessing, it is common to use scoring rules that either penalize wrong answers or reward omissions. These scoring rules are considered equivalent in psychometrics, although experimental evidence has not always been consistent with this claim. We model students' decisions and show, first, that equivalence holds only under risk neutrality and, second, that the two rules can be modified so that they become equivalent even under risk aversion. This paper presents the results of a field experiment in which we analyze the decisions of subjects taking multiple-choice exams. The evidence suggests that differences between scoring rules are due to risk aversion as theory predicts. We also find that the number of omitted items depends on the scoring rule, knowledge, gender and other covariates.

Using constructed-response and multiple-choice questions in undergraduate examinations

This paper looks at the use of constructed-response and multiple-choice questions in first year management examinations involving 2364 students over a three semester period in 2008-9. It also compares student’s performance in research and analytical assignments with their results in Multiple-Choice tests. The results show that students who perform poorly in non-multiple-choice tests are slightly advantaged by multiple-choice tests. However, students who display high distinction scores in other pieces of assessment do not receive any advantage from multiple-choice testing. Interestingly, the research also highlighted that female students perform better in their articulation of management techniques overall, but do not gain the same comparative advantage from multiple choice testing. The analysis of the assessment methods was extremely useful in predicting the level of failures for the unit in the subsequent year. Finding the right balance of assessment tasks in first year university business courses is extremely difficult, using multiple-choice tests can be useful tool as part of the assessment mix in management units.

English tests : graded multiple choice : A1. 'Test de Inglés : respuesta de múltiple elección : A1'.

Se trata de una serie de libros de test de respuesta de múltiple elección sobre el idioma inglés. La serie abarca los seis niveles del Marco Común Europeo, de A1 a C2, con un libro dedicado a cada nivel. Cada libro se compone de doce test de 30 minutos, cada uno de los cuales puede ser fácilmente realizado y corregido. Pero no son sólo pruebas para determinar los conocimientos de un estudiante en gramática y vocabulario, también están diseñados para ser utilizados como herramientas de enseñanza valiosas por derecho propio, permitiendo a profesores y estudiantes revisar las estructuras más comunes y las dificultades del lenguaje inglés, así como controlar su progreso a medida que avanzan.

English tests : graded multiple choice : A2. 'Test de Inglés : respuesta de múltiple elección : A2'.

Se trata de una serie de libros de test de respuesta de múltiple elección sobre el idioma inglés. La serie abarca los seis niveles del Marco Común Europeo, de A1 a C2, con un libro dedicado a cada nivel. Cada libro se compone de doce test de 30 minutos, cada uno de los cuales puede ser fácilmente realizado y corregido. Pero no son sólo pruebas para determinar los conocimientos de un estudiante en gramática y vocabulario, también están diseñados para ser utilizados como herramientas de enseñanza valiosas por derecho propio, permitiendo a profesores y estudiantes revisar las estructuras más comunes y las dificultades del lenguaje inglés, así como controlar su progreso a medida que avanzan.

English tests : graded multiple choice : B1. 'Test de Inglés : respuesta de múltiple elección : B1'.

Se trata de una serie de libros de test de respuesta de múltiple elección sobre el idioma inglés. La serie abarca los seis niveles del Marco Común Europeo, de A1 a C2, con un libro dedicado a cada nivel. Cada libro se compone de doce test de 30 minutos, cada uno de los cuales puede ser fácilmente realizado y corregido. Pero no son sólo pruebas para determinar los conocimientos de un estudiante en gramática y vocabulario, también están diseñados para ser utilizados como herramientas de enseñanza valiosas por derecho propio, permitiendo a profesores y estudiantes revisar las estructuras más comunes y las dificultades del lenguaje inglés, así como controlar su progreso a medida que avanzan.

English tests : graded multiple choice : C2. 'Test de Inglés : respuesta de múltiple elección : C2'.

Se trata de una serie de libros de test de respuesta de múltiple elección sobre el idioma inglés. La serie abarca los seis niveles del Marco Común Europeo, de A1 a C2, con un libro dedicado a cada nivel. Cada libro se compone de doce test de 30 minutos, cada uno de los cuales puede ser fácilmente realizado y corregido. Pero no son sólo pruebas para determinar los conocimientos de un estudiante en gramática y vocabulario, también están diseñados para ser utilizados como herramientas de enseñanza valiosas por derecho propio, permitiendo a profesores y estudiantes revisar las estructuras más comunes y las dificultades del lenguaje inglés, así como controlar su progreso a medida que avanzan.

English : multiple choice : 11 + practice papers.

Estos tests evalúan el nivel de inglés alcanzado por los niños durante la educación primaria, y les proporciona, además, la práctica para las pruebas de selección de la escuela secundaria.

Guidelines based on validity criteria for the development of multiple choice items

Resumen tomado de la publicaci??n

Multiple-choice versus short-response items: Differences in omit behavior

The overall rate of omission of items for 28,331 17 year old Australian students on a high stakes test of achievement in the common elements or cognitive skills of the senior school curriculum is reported for a subtest in multiple choice format and a subtest in short response format. For the former, the omit rates were minuscule and there was no significant difference by gender or by type of school attended. For the latter, where an item can be 'worth' up to five times that of a single multiple choice item, the omit rates were between 10 and 20 times that for multiple choice and the difference between male and female omit rate was significant as was the difference between students from government and non-government schools. For both formats, females from single sex schools omitted significantly fewer items than did females from co-educational schools. Some possible explanations of omit behaviour are alluded to.

Sustainable assessment for large science classes : non-multiple choice, randomised assignments through a Learning Management System

This paper reports on the development of a tool that generates randomised, non-multiple choice assessment within the BlackBoard Learning Management System interface. An accepted weakness of multiple-choice assessment is that it cannot elicit learning outcomes from upper levels of Biggs’ SOLO taxonomy. However, written assessment items require extensive resources for marking, and are susceptible to copying as well as marking inconsistencies for large classes. This project developed an assessment tool which is valid, reliable and sustainable and that addresses the issues identified above. The tool provides each student with an assignment assessing the same learning outcomes, but containing different questions, with responses in the form of words or numbers. Practice questions are available, enabling students to obtain feedback on their approach before submitting their assignment. Thus, the tool incorporates automatic marking (essential for large classes), randomised tasks to each student (reducing copying), the capacity to give credit for working (feedback on the application of theory), and the capacity to target higher order learning outcomes by requiring students to derive their answers rather than choosing them. Results and feedback from students are presented, along with technical implementation details.