Performance assessment in serious games: Compensating for the effects of randomness

This paper is about performance assessment in serious games. We conceive serious gaming as a process of player-lead decision taking. Starting from combinatorics and item-response theory we provide an analytical model that makes explicit to what extent observed player performances (decisions) are blurred by chance processes (guessing behaviors). We found large effects both theoretically and practically. In two existing serious games random guess scores were found to explain up to 41% of total scores. Monte Carlo simulation of random game play confirmed the substantial impact of randomness on performance. For valid performance assessments, be it in-game or post-game, the effects of randomness should be included to produce re-calibrated scores that can reasonably be interpreted as the players´ achievements.

‘Optimaliserend Onderwijs’ voor elke leerling. Multiniveau theoretisch ontwerp en praktijkontwikkeling

Een review van onderwijsanalyses en (beleids)onderzoeken verricht in de periode 1916-2015 wijst uit dat de reguliere jaarklassensystematiek in het Nederlandse primair en voortgezet onderwijs aanleiding geeft tot prestatie- en motivatieproblemen bij risico-leerlingen. Dit zijn met name de leerlingen die qua ontwikkelingspotenties of leervorderingen (aanvankelijk) duidelijk naar beneden of naar boven afwijken van leeftijdsgenoten in een groep of klas. Ondervanging van deze problemen lijkt mogelijk via een preventieve systematiek van ‘Optimaliserend Onderwijs’ voor elk kind in de vóór- of vroegschoolse educatie en elke leerling in het primair of voortgezet onderwijs. Een eerste vraag betreft de inhoudelijke en vormgevingskenmerken van dit onderwijsontwerp: welke richtlijnen en specificaties daarvan kunnen het onderwijs, spelen en leren voor elke leerling, zo optimaal mogelijk inhoud en vorm geven en hoe ziet een model van dit Optimaliserend Onderwijs eruit? Een tweede vraag is gericht op de realisatie van dit onderwijsontwerp: hoe is deze onderwijssystematiek te ontwikkelen in de Nederlandse schoolpraktijk? Gebruik van de sneeuwbalmethode in met name Nederlandse onderzoeks- en designliteratuur leidt tot beantwoording van de eerste vraag in de vorm van een multiniveau theoretisch ontwerp van ‘Optimaliserend Onderwijs’. Kernpunten hierin zijn: landelijke (deel)curricula gekenmerkt door instructievarianten; integratie van dubbele diagnostiek (individueel-longitudinaal en vergelijkend-genormeerd); flexibele certificerings- en diplomeringsstructuur; een ondersteunende schoolorganisatie; gecontroleerde opbrengst-optimalisering per kind of leerling en op instellings- en schoolniveau; per vóór- of vroegschoolse instelling of school(bestuur) kunnen ook vrije ofwel eigen onderwijsinvullingen worden ingericht. Beantwoording van de tweede vraag gebeurt met behulp van (onderzoeks)literatuur over multiniveau onderwijsinnovatie in de schoolpraktijk. Aanbevolen wordt om, op basis van een gezamenlijk besluit van het ministerie van Onderwijs, Cultuur en Wetenschap, de Tweede Kamer, relevante onderwijsinstanties, schoolbesturen en ouderorganisaties, te komen tot inrichting van samenhangende ontwikkelingsprojecten en -onderzoeken. Via een projectenserie in instellingen voor vóór- of vroegschoolse educatie en scholen voor primair en voortgezet onderwijs kan gecontroleerd worden samengewerkt tussen leid(st)ers, leerkrachten en docenten, scholen, ontwikkelings- en andere onderwijsinstellingen, instellingen voor onderzoek en informatietechnologie, en onderwijspolitiek. Tussenresultaten van Optimaliserend Onderwijs worden steeds in andere instellingen en scholen beproefd en verder verspreid.

Mobile authoring of open educational resources for authentic learning scenarios

The proliferation of smartphones in the last decade and the number of publications in the field of authoring systems for computer-assisted learning depict a scenario that needs to be explored in order to facilitate the scaffolding of learning activities across contexts. Learning resources are traditionally designed in desktop-based authoring systems where the context is mostly restricted to the learning objective, capturing relevant case characteristics, or virtual situation models. Mobile authoring tools enable learners and teachers to foster universal access to educational resources not only providing channels to share, remix or re-contextualize these, but also capturing the context in-situ and in-time. As a further matter, authoring educational resources in a mobile context is an authentic experience where authors can link learning with their own daily life activities and reflections. The contribution of this manuscript is fourfold: first, the main barriers for ubiquitous and mobile authoring of educational resources are identified; second, recent research on mobile authoring tools is reviewed, and 10 key shortcomings of current approaches are identified; third, the design of a mobile environment to author educational resources (MAT for ARLearn) is presented, and the results of an evaluation of usability and hedonic quality are presented; fourth, conclusions and a research agenda for mobile authoring are discussed.