Making sense of game based user data: learning analytics in applied games

Digital learning games are useful educational tools with high motivational potential. With the application of games for instruction there comes the need of acknowledging learning game experiences also in the context of educational assessment. Learning analytics provides new opportunities for supporting assessment in and of educational games. We give an overview of current learning analytics methods in this field and reflect on existing challenges. An approach of providing reusable software assets for interaction assessment and evaluation in games is presented. This is part of a broader initiative of making available advanced methodologies and tools for supporting applied game development.

What's in it for us? A case study research about micro sense making processes through the eyes of front line employees, during culture change implementation

Abstract How employees make sense of change is a very complex process. Recently, academics have neglected to research sense making activities in a micro culture implementation context, through the eyes of front line employees. In contrast to a macro view, a micro perspective limits researchers to only look at an individual, departmental or group level. By doing so, we can zoom in on the details of sense making processes that employees use in their daily work life. A macro (organisational) view is based on the notion that there is a general integrated culture that can be found in all organisational units and departments. It is assumed that culture can be researched by using the entire organisation as one single research entity. This thesis challenges this assumption. In case of planned change it is usually the management community who are in charge of the change intervention. Because of their formal hierarchical position, they have the power to abort or initiate change programs. It is perhaps therefore that researchers tend to be focused on the management community rather than on lower level organisational members, such as front line employees. Apart from the micro view, scholars also neglected to research culture change implementation through the eyes of front line employees. This thesis is an attempt to fill these two gaps that currently exists in academic change management publications. The main research question is therefore: From a micro point of view how do front-line employees make sense of the impact of culture change, during the implementation phase? This thesis starts with a literature review which exposes the two main gaps. The most important outcome of this review is that only 2% of the research articles dealt with culture implementation, through the eyes of front line employees. A conceptual research model is built on the integrated sense making theory of Weber and Manning (2001) and the micro variables of Raelin and Cataldo (2011). These theories emphasize elements of sense making in a daily working context. It is likely that front line employees can identify themselves with research elements such as tasks, skills practices, involvement and behaviour. Front line employees were selected, because as lower level organisational members they are usually the change recipients. They are further away from the change initiating scene (usually the management of an organisation) and form a potential sense making ‘hotspot’ that could provide new academic insights. In order to carry out the primary research, two case organisations were selected in the leisure industry. A participative case study research method was chosen. This meant that the researcher worked in the concerning departments of the case organisations. The goal was to observe and interview front line employees, while they were performing their jobs. The most important advantage of this approach is that the researcher temporarily becomes one with the organisation and is therefore able to acquire both formal and informal narratives that front line employees use during sense making activities. It was found that front line employees make sense of organisational change by using a practical approach. They make sense of the change program by carrying out new tasks, developing new skills and sharing best practices. The most noticeable conclusion was that sense making activities predominantly take place at an individual level in relation to change acceptance. Organisational members tend to create a mental equation in order to weigh the advantages against the disadvantages. They evaluate whether the concerning change program is beneficial to them or not. For future research a sense making scheme model is suggested that is based on two methods: an introspection and an action method.

Sense making by middlemanagement

Aanleiding voor het onderzoek Deze scriptie sluit aan bij de afstudeerkring “effectieve verandermanagers”. Aanleiding voor dit onderzoek was de brede vraag “Wat onderscheidt een effectieve veranderingsmanager op het middenniveau in organisaties van een minder effectieve bij het implementeren van veranderingen?” Binnen deze brede vraag past de centrale vraagstelling in dit onderzoek: “Welke neerwaartse activiteiten oefenen middenmanagers uit in een sensemakingproces tijdens een verandering?“ Middenmanager Allereerst definiëren we het begrip ‘middenmanager’. De middenmanager bevindt zich op een kruispunt: In de verticale lijn tussen het topmanagement en de werkvloer, op de horizontale lijn tussen de diverse afdelingen (Nonaka,1994). Ten behoeve van mijn onderzoek sluit ik mij aan bij de positionering van Huy (2001). Hij plaatst de middenmanager 2 lagen onder de CEO en 1 laag boven lijnmedewerkers en professionals. In een veranderingsproces heeft de middenmanager verschillende rollen te vervullen. Deze verschillende rollen zijn, onder anderen, beschreven door Huy (2001) en Quinn (1998). Zij noemen: entrepreneur, communicator en therapeut, stimulator, mentor, innovator, bemiddelaar, producent, bestuurder, coördinator, controleur. De onderzoekers zijn het er over eens dat de middenmanager moet balanceren en doseren in de verschillende rollen om effectief te kunnen zijn in een veranderingsproces. Sensemakingproces Dit onderzoek probeert meer kennis te genereren over welke neerwaartse activiteiten middenmanagers uitoefenen gedurende een sensemakingproces tijdens een verandering. We definiëren het begrip ‘sensemakingproces’. Het sensemakingproces vindt plaats als mensen geconfronteerd worden met boodschappen of gebeurtenissen die nieuw zijn. Door met deze nieuwe informatie te kijken naar de bestaande werkelijkheid, is een bewustwording op gang geholpen die kan leiden tot verandering. Er is nog weinig onderzoek gedaan naar de activiteiten (wat doen middenmanagers op dagelijkse basis) van middenmanagers in sensemakingprocessen. Rouleau & Balogun (2007) hebben dat wel onderzocht en onderscheiden de volgende vier sensegivingactiviteiten: het uitrollen van netwerken; het distribueren van gedachten door het voeren van gesprekken; het identificeren van sociale en culturele systemen. Relevantie onderzoek De externe validiteit van het hierboven genoemde onderzoek van Rouleau & Balogun (2007) is echter beperkt, doordat deze is uitgevoerd onder een kleine populatie in Canada en het Verenigd Koninkrijk. Mijn onderzoek wil een bijdrage leveren aan de toename van de externe validiteit door te verifiëren of de neerwaartse activiteiten van de middenmanager die gevonden zijn in het onderzoek van Rouleau & Balogun (2007) middels een andere onderzoeksmethode en met een andere onderzoekspopulatie (de Nederlandse zorginstelling Tactus). Wat betreft de praktische relevantie kan gezegd worden dat mijn onderzoek meer inzicht geeft aan de middenmanagers in welke activiteiten zij uitvoeren of zouden kunnen uitvoeren. Zij kunnen zich bewust worden van hun mogelijkheden om invloed uit te oefenen op het sensemakingproces van hun medewerkers. Ik verwacht daarmee hun effectiviteit te vergroten. Centrale vraag en deelvragen Bij de centrale vraag kunnen de volgende deelvragen geformuleerd worden: 1. Wat is de rol van middenmanagers in een sensemakingproces tijdens een verandering? 2. Zijn de neerwaartse sensemakingactiviteiten van middenmanagers (uit de studie van Rouleau & Balogun, 2007) ook te identificeren zijn binnen één Nederlandse GGZ-stichting? 3. Zijn er andere neerwaartse sensemakingactiviteiten van middenmanagers te identificeren? Conceptuele model Het model dat de basis is voor de beantwoording van de tweede en derde deelvraag, is gebaseerd op de literatuur. In dit model worden de sensemakingactiviteiten van de middenmanager als een onafhankelijke variabele gezien die direct invloed heeft op het sensemakingproces binnen het team. Daarbij kunnen we enkele mediërende en modererende factoren onderscheiden. Als modererende factor noemen we, ten eerste, de mate waarin voor het teamlid het persoonlijke triggerpoint bereikt is. Hoe dichter genaderd, hoe meer kans op verandering bij dit teamlid (Kloosterboer, 2008). Ten tweede noemen we het sneeuwbaleffect van de positieve feedback (Kelman, 2005): hoe verder in het proces, hoe meer kans op verandering. Tenslotte noemen we als modererende factor het emotiemanagement van de middenmanager. Hoe meer de middenmanager in staat is de balans te vinden, hoe meer kans op verandering (Huy, 2002). Als mediërende factor kunnen we de horizontale sensegiving noemen, ofwel de sensegiving door peers (Balogun & Johnson, 2005). Deze sensegiving kan, los van de sensemakingactiviteiten van de manager een geheel eigen verandering op gang brengen. Het kan dus gezien worden als (een deel van) de verklaring voor het sensemakingproces binnen het team. Dit onderzoek beperkt zich tot het bestuderen van de sensemakingactiviteiten van de middenmanager en hun effect op het sensemakingproces binnen het team. In het onderzoek worden de modererende factoren en de mediërende factor dus niet meegenomen. Onderzoeksopzet Het onderzoek is opgesteld als multiple-case design, toetsend onderzoek. Toetsend, omdat de externe validering van de neerwaartse sensemakingactiviteiten van de middenmanager nog laag is. Het multiple-case design biedt de mogelijkheid om cases met elkaar te vergelijken en bredere steun te vinden voor de geformuleerde proposities. De voorgenomen bronnen waren een (één op één) interview met acht middenmanagers, een groepsinterview met meerdere medewerkers per middenmanager en documenten. De focus in alle interviews was de middenmanager en diens sensemakingactiviteiten. De opgevraagde en aangeleverde documenten zijn echter geen adequate bron van informatie gebleken. Resultaten De eerste deelvraag is beantwoord middels literatuurstudie. De onderzoekers zijn het er over eens dat de middenmanager moet balanceren en doseren in de verschillende rollen om effectief te kunnen zijn in een veranderingsproces. De tweede en derde deelvraag werden beantwoord middels een multiple-case design onderzoek. De resultaten uit dit onderzoek laten zien dat de neerwaartse sensemakingactiviteiten uit de studie van Rouleau & Balogun (2007), inderdaad gevonden werden binnen de genoemde GGZ-stichting. De hypothese is daarmee geverifieerd. De derde conclusie is dat er geen andere neerwaartse sensemakingactiviteiten van middenmanagers zijn geïdentificeerd. Door de verkregen informatie over de vier sensemakingactiviteiten van middenmanager terug te brengen naar handelingsniveau, is zichtbaar geworden dat er verschillen zijn tussen de middenmanagers. De handelingen in gezamenlijkheid leidden wel tot de vier sensemakingactiviteiten. Discussie De casestudie heeft geen nieuwe activiteiten aangetoond. Dat maakt de definiëring van het begrip steviger. Door de vier sensemakingactiviteiten (Rouleau & Balogun, 2007) op een derde niveau op te delen in kleinere eenheden, draagt deze casestudie tevens bij aan een nadere definiëring van het begrip ‘neerwaartse sensemakingactiviteiten van de middenmanager’. Door de verduidelijking van het begrip is kwantitatief onderzoek beter mogelijk, waardoor nu ook causale verbanden tussen de neerwaartse sensemakingactiviteiten van de middenmanager en de sensemaking bij de medewerkers gemaakt kunnen worden. Aanbevelingen In een vervolgonderzoek zou het conceptuele model deels of geheel onderzocht kunnen worden. Met een dergelijk onderzoek, of meerdere onderzoeken zou meer duidelijkheid kunnen komen over de mate van invloed van de mediërende factoren en modererende factor op de sensemaking. Aanbeveling voor verder onderzoek is om de onderzoeksmethode te variëren of uit te breiden met bijvoorbeeld participerende observatie. Dan zou waarneming kunnen plaatsvinden vanuit het perspectief van een betrokkene (Yin, 2003). Een andere methode om de activiteiten beter te inventariseren is het laten bijhouden door managers van hun sensemakingactiviteiten. Een bijkomende propositie die dit onderzoek oplevert, is dat de relatie tussen al dan niet hebben van onbewuste kennis en het beschikken over ervaring als leidinggevende niet gelegd kan worden. Deze propositie zou verder onderzocht kunnen worden.