The Effect of using online homework exercises on student achievement in a Quantitative methods course

Abstract: Quantitative Methods (QM) is a compulsory course in the Social Science program in CEGEP. Many QM instructors assign a number of homework exercises to give students the opportunity to practice the statistical methods, which enhances their learning. However, traditional written exercises have two significant disadvantages. The first is that the feedback process is often very slow. The second disadvantage is that written exercises can generate a large amount of correcting for the instructor. WeBWorK is an open-source system that allows instructors to write exercises which students answer online. Although originally designed to write exercises for math and science students, WeBWorK programming allows for the creation of a variety of questions which can be used in the Quantitative Methods course. Because many statistical exercises generate objective and quantitative answers, the system is able to instantly assess students’ responses and tell them whether they are right or wrong. This immediate feedback has been shown to be theoretically conducive to positive learning outcomes. In addition, the system can be set up to allow students to re-try the problem if they got it wrong. This has benefits both in terms of student motivation and reinforcing learning. Through the use of a quasi-experiment, this research project measured and analysed the effects of using WeBWorK exercises in the Quantitative Methods course at Vanier College. Three specific research questions were addressed. First, we looked at whether students who did the WeBWorK exercises got better grades than students who did written exercises. Second, we looked at whether students who completed more of the WeBWorK exercises got better grades than students who completed fewer of the WeBWorK exercises. Finally, we used a self-report survey to find out what students’ perceptions and opinions were of the WeBWorK and the written exercises. For the first research question, a crossover design was used in order to compare whether the group that did WeBWorK problems during one unit would score significantly higher on that unit test than the other group that did the written problems. We found no significant difference in grades between students who did the WeBWorK exercises and students who did the written exercises. The second research question looked at whether students who completed more of the WeBWorK exercises would get significantly higher grades than students who completed fewer of the WeBWorK exercises. The straight-line relationship between number of WeBWorK exercises completed and grades was positive in both groups. However, the correlation coefficients for these two variables showed no real pattern. Our third research question was investigated by using a survey to elicit students’ perceptions and opinions regarding the WeBWorK and written exercises. Students reported no difference in the amount of effort put into completing each type of exercise. Students were also asked to rate each type of exercise along six dimensions and a composite score was calculated. Overall, students gave a significantly higher score to the written exercises, and reported that they found the written exercises were better for understanding the basic statistical concepts and for learning the basic statistical methods. However, when presented with the choice of having only written or only WeBWorK exercises, slightly more students preferred or strongly preferred having only WeBWorK exercises. The results of this research suggest that the advantages of using WeBWorK to teach Quantitative Methods are variable. The WeBWorK system offers immediate feedback, which often seems to motivate students to try again if they do not have the correct answer. However, this does not necessarily translate into better performance on the written tests and on the final exam. What has been learned is that the WeBWorK system can be used by interested instructors to enhance student learning in the Quantitative Methods course. Further research may examine more specifically how this system can be used more effectively.

Résumé: Méthodes quantitatives est un cours obligatoire dans le programme de sciences humaines au CEGEP. La plupart des instructeurs donnent un certain nombre d'exercices de devoirs aux étudiants pour donner la possibilité de pratiquer les méthodes statistiques, ce qui améliore leur apprentissage. Toutefois, des exercices écrits traditionnels ont deux inconvénients importants. Le premier est que le processus de correction et de rétroaction est souvent très lent. Le deuxième inconvénient est que les exercices écrits peuvent générer une grande quantité de correction pour l'instructeur. WeBWorK est un système code source ouvert (open source) qui permet aux instructeurs d'écrire des exercices dont les étudiants répondent en ligne. Conçu à l'origine pour les étudiants en mathématiques et en sciences de la nature, la programmation de WeBWorK permet la création d'une variété de questions qui peuvent être utilisés dans le cadre des méthodes quantitatives. Parce que de nombreux exercices dans les statistiques engendrent des réponses objectives et quantitatives, le système est en mesure d'évaluer instantanément les réponses des élèves et de leur dire s'ils ont tort ou raison. Cette rétroaction immédiate a été démontré théoriquement propice à la réussite de l'apprentissage. Aussi, le système peut être programmé pour permettre aux élèves de réessayer le problème s’ils se sont trompés. Cela présente des avantages à la fois en termes de motivation des élèves et en termes de renforcer l'apprentissage. Grâce à l'utilisation d'une quasi-expérience, ce projet de recherche a mesuré et analysé les effets de l'utilisation des exercices de WeBWorK dans un cours de Méthodes quantitatives au Collège Vanier. Trois questions de recherche spécifiques ont été abordées. Tout d'abord, nous avons examiné si les étudiants qui ont fait les exercices de WeBWorK ont obtenu de meilleures notes que les élèves qui ont fait les exercices écrits. Deuxièmement, nous avons examiné si les étudiants qui ont complété plus des exercices de WeBWorK ont obtenu de meilleures notes que les étudiants qui ont complété moins des exercices de WeBWorK. Enfin, nous avons utilisé un questionnaire d'auto-évaluation pour déterminer les perceptions et les opinions des élèves vis-à-vis les exercices WeBWorK et les exercices écrits. Pour la première question de recherche, un plan d’étude croisé (crossover design) a été utilisé afin de comparer si le groupe qui a fait des problèmes de WeBWorK pendant une unité d’apprentissage aurait des notes significativement plus élevés par rapport au groupe de référence qui a fait les problèmes écrits. Nous n’avons trouvé aucune différence significative entre les étudiants qui ont fait les exercices de WeBWorK et les étudiants qui ont fait les exercices écrits. La deuxième question de recherche visait à déterminer si les étudiants qui ont complété plus des exercices de WeBWorK obtiendraient des notes beaucoup plus élevées que les étudiants qui ont complété moins des exercices de WeBWorK. La relation linéaire entre le nombre d'exercices de WeBWorK complétés et les notes a été positive dans les deux groupes. Cependant, les coefficients de corrélation pour ces deux variables ne présentaient aucun motif perceptible. Dans l'ensemble, faire plus d'exercices de WeBWorK était positivement corrélée avec des notes plus élevés, mais cette relation était ni forte ni toujours statistiquement significative. Notre troisième question de recherche a été étudiée en utilisant un sondage pour connaitre les perceptions et les opinions des étudiants concernant les exercices WeBWorK et les exercices écrits. Les étudiants n’ont rapporté aucune différence dans la quantité d'effort consacré à la réalisation de chaque type d’exercice. On a également demandé aux élèves d'évaluer chaque type d'exercice sur six dimensions et un score composite a été calculé. Dans l'ensemble, les élèves ont donné un score significativement plus élevé pour les exercices écrits, et ont indiqué qu'ils ont trouvé que les exercices écrits étaient mieux pour comprendre les concepts statistiques de base et pour apprendre les méthodes statistiques. Toutefois, lorsque présenté avec le choix d'avoir seulement des exercices écrit ou seulement des exercices de WeBWorK, légèrement plus d'étudiants ont préférés ou fortement préférés ayant seulement des exercices de WeBWorK. Les résultats de cette étude suggèrent que les avantages de l’utiliser WeBWorK pour enseigner le cours Méthodes quantitatives sont variables. Le système de WeBWorK offre une rétroaction immédiate, ce qui motive les étudiants à essayer de nouveau s’ils n’ont pas la bonne réponse. Toutefois, cela ne se traduit pas nécessairement par de meilleures performances sur les épreuves écrites et à l'examen final. Qu'est-ce qui a été appris est que le système de WeBWorK peut être utilisé par des instructeurs intéressés pour améliorer l'apprentissage des élèves dans le cours de Méthodes quantitatives. D'autres recherches pourraient examiner plus précisément comment ce système peut être utilisé de manière plus efficace.