Metrics for Predicting User Behavior and Experience in an Interactive Storytelling System

In much of the previous research into the field of interactive storytelling, the focus has been on the creation of complete systems, then evaluating the performance of those systems based on user experience. Less focus has been placed on finding general solutions to problems that manifest in many different types of interactive storytelling systems. The goal of this thesis was to identify potential candidates for metrics that a system could use to predict player behavior or how players experience the story they are presented with, and to put these metrics to an empirical test. The three metrics that were used were morality, relationships and conflict. The game used for user testing of the metrics, Regicide is an interactive storytelling experience that was created in conjunction with Eero Itkonen. Data, in the forms of internal system data and survey answers, collected through user testing, was used to evaluate hypotheses for each metric. Out of the three chosen metrics, morality performed the best in this study. Though further research and refinement may be required, the results were promising, and point to the conclusion that user responses to questions of morality are a strong predictor for their choices in similar situations later on in the course of an interactive story. A similar examination for user relationships with other characters in the story did not produce promising results, but several problems were recognized in terms of methodology and further research with a better optimized system may yield different results. On the subject of conflict, several aspects, proposed by Ware et al. (2012), were evaluated separately. Results were inconclusive, with the aspect of directness showing the most promise.

Suuressa osassa aiemmasta tutkimuksesta vuorovaikutteisen tarinankerronnan piirissä tutkijat ovat keskittyneet luomaan uusia järjestelmiä, ja arvioimaan niitä käyttäjäkokemuksien vertailun kautta. Vähemmälle huomiolle on jäänyt tutkimus, jonka tavoitteena on etsiä yleistettäviä ratkaisuja ongelmiin, jotka vaivaavat monia erilaisia vuorovaikutteisen tarinankerronnan järjestelmiä. Tutkielman tavoitteena oli tunnistaa mahdollisia metriikkoja, joilla voitaisiin ennustaa käyttäjien toimintaa tai käyttäjäkokemuksia, ja arvioida niiden tehokkuutta empiirisen tutkimuksen kautta. Tutkimuksen kohteiksi valittiin kolme metriikkaa: moraliteetti, käyttäjän suhteet pelihahmoihin ja konfliktit. Näiden käyttäjätestaamiseen käytettiin peliä Regicide, joka kehitettiin vuorovaikutteiseksi tarinaksi yhteistyössä Eero Itkosen kanssa. Dataa kerättiin sekä järjestelmän sisäisestä toiminnasta, että käyttäjäkyselyn kautta, ja sitä tutkimalla arvioitiin metriikkoihin liittyviä hypoteeseja. Valituista metriikoista, käyttäjän moraliteetin arvioiminen suoriutui tutkimuksessa parhaiten. Sen tuottamat tulokset olivat lupaavia, ja niiden perusteella voidaan olettaa moraliteetin toimivan hyvänä metriikkana käyttäjän valintojen ennustamisessa. Samalla metodologialla toteutettu tutkimus hahmosuhteisiin ei tuottanut merkittäviä tuloksia. Tämän metriikan arvoinnissa tutkimuksessa käytetyn järjestelmän kautta todettiin merkittäviä puutteita, ja paremmin sen tutkimiseen sopeutettu järjestelmä saattaisi tuottaa erilaisia tuloksia. Konflikteja tutkittiin diskreettien aspektien, jotka Ware ym. (2012) esittivät, kautta. Näistä aspekteista läheisyys osoittautui lupaavimmaksi, mutta konfliktimetriikkojen tulokset eivät nousseet moraliteettimetriikan tasolle.