Aspetti cognitivi dei videogiochi di ruolo: l'impatto della personalizzazione degli avatar sulle performance di gioco

La tesi tratta dell'influenza cognitivo-emozionale che gli avatar esercitano sui gameplayers all'interno del mondo virtuale, nella fattispecie i videogiochi.

Theatre, networked performance, and notions of ‘democratised’ spectatorship

The potential to cultivate new relationships with spectators has long been cited as a primary motivator for those using digital technologies to construct networked or telematics performances or para-performance encounters in which performers and spectators come together in virtual – or at least virtually augmented – spaces and places. Today, with Web 2.0 technologies such as social media platforms becoming increasingly ubiquitous, and increasingly easy to use, more and more theatre makers are developing digitally mediated relationships with spectators. Sometimes for the purpose of an aesthetic encounter, sometimes for critical encounter, or sometimes as part of an audience politicisation, development or engagement agenda. Sometimes because this is genuinely an interest, and sometimes because spectators or funding bodies expect at least some engagement via Facebook, Twitter or Instagram. In this paper, I examine peculiarities and paradoxes emerging in some of these efforts to engage spectators via networked performance or para-performance encounters. I use examples ranging from theatre, to performance art, to political activism – from ‘cyberformaces’ on Helen Varley Jamieson’s Upstage Avatar Performance Platform, to Wafaa Bilal’s Domestic Tension installation where spectators around the world could use a webcam in a chat room to target him with paintballs while he was in residence in a living room set up in a gallery for a week, as a comment on use of drone technology in war, to Liz Crow’s Bedding Out where she invited people to physically and virtually join her in her bedroom to discuss the impact of an anti-disabled austerity politics emerging in her country, to Dislife’s use of holograms of disabled people popping up in disabled parking spaces when able bodied drivers attempted to pull into them, amongst others. I note the frequency with which these performance practices deploy discourses of democratisation, participation, power and agency to argue that these technologies assist in positioning spectators as co-creators actively engaged in the evolution of a performance (and, in politicised pieces that point to racism, sexism, or ableism, pushing spectators to reflect on their agency in that dramatic or daily-cum-dramatic performance of prejudice). I investigate how a range of issues – from the scenographic challenges in deploying networked technologies for both participant and bystander audiences others have already noted, to the siloisation of aesthetic, critical and audience activation activities on networked technologies, to conventionalised dramaturgies of response informed by power, politics and impression management that play out in online as much as offline performances, to the high personal, social and professional stakes involved in participating in a form where spectators responses are almost always documented, recorded and re-represented to secondary and tertiary sets of spectators via the circulation into new networks social media platforms so readily facilitate – complicate discourses of democratic co-creativity associated with networked performance and para-performance activities.

Rotating Brains / Beating Heart:International collaborative performance with Stelarc, the virtual reality ensemble Avatar Orchestra Metaverse, Pauline Oliveros, Martin Parker and saxophonist Franziska Schroeder.

The work ROTATING BRAINS / BEATING HEART was specifically developed for the opening performance of the 2010 DRHA conference. The conference’s theme ‘Sensual Technologies: Collaborative Practices of Interdisciplinarity explored collaborative relationships between the body and sensual/sensing technologies across various disciplines, looking to new approaches offered by various emerging fields and practices that incorporate new and existing technologies. The conference had a specific focus on SecondLife with roundtable events and discussions, led by performance artist Stelarc, as well as international participation via SecondLife.
The collaboration between Stelarc, the Avatar Orchestra Metaverse (AOM) and myself as the DRHA2010 conference program chair was a unique occurrence for this conference.

Agency and animation: the performance of interactive game characters

As an animator and practice-based researcher with a background in games development, I am interested in technological change in the video game medium, with a focus on the tools and technologies that drive game character animation and interactive story. In particular, I am concerned with the issue of ‘user agency’, or the ability of the end user to affect story development—a key quality of the gaming experience and essential to the aesthetics of gaming, which is defined in large measure by its interactive elements. In this paper I consider the unique qualities of the video game1 as an artistic medium and the impact that these qualities have on the production of animated virtual character performances. I discuss the somewhat oppositional nature of animated character performances found in games from recent years, which range from inactive to active—in other words, low to high agency. Where procedural techniques (based on coded rules of movement) are used to model dynamic character performances, the user has the ability to interactively affect characters in real-time within the larger sphere of the game. This game play creates a high degree of user agency. However, it lacks the aesthetic nuances of the more crafted sections of games: the short cut-scenes, or narrative interludes where entire acted performances are mapped onto game characters (often via performance capture)2 and constructed into relatively cinematic representations. While visually spectacular, cut-scenes involve minimal interactivity, so user agency is low. Contemporary games typically float between these two distinct methods of animation, from a focus on user agency and dynamically responsive animation to a focus on animated character performance in sections where the user is a passive participant. We tend to think of the majority of action in games as taking place via playable figures: an avatar or central character that represents a player. However, there is another realm of characters that also partake in actions ranging from significant to incidental: non-playable characters, or NPCs, which populate action sequences where game play takes place as well as cut scenes that unfold without much or any interaction on the part of the player. NPCs are the equivalent to supporting roles, bit characters, or extras in the world of cinema. Minor NPCs may simply be background characters or enemies to defeat, but many NPCs are crucial to the overall game story. It is my argument that, thus far, no game has successfully utilized the full potential of these characters to contribute toward development of interactive, high performance action. In particular, a type of NPC that I have identified as ‘pivotal’3—those constituting the supporting cast of a video game—are essential to the telling of a game story, particularly in genres that focus on story and characters: adventure games, action games, and role-playing games. A game story can be defined as the entirety of the narrative, told through non-interactive cut-scenes as well a interactive sections of play, and development of more complex stories in games clearly impacts the animation of NPCs. I argue that NPCs in games must be capable of acting with emotion throughout a game—in the cutscenes, which are tightly controlled, but also in sections of game play, where player agency can potentially alter the story in real-time. When the animated performance of NPCs and user agency are not continuous throughout the game, the implication is that game stories may be primarily told through short movies within games, making it more difficult to define video games animation as a distinct artistic medium.

Videogames, persuasion & deceit

Tese de doutoramento, Informática (Engenharia Informática), Universidade de Lisboa, Faculdade de Ciências, 2014

Il senso di presenza nelle realtà virtuali vissute tramite HMD: l'interazione e le interfacce

Grazie alla crescente evoluzione tecnologica è oggi possibile, tramite Head Mounted Display (HMD), vivere una realtà virtuale ricca nei dettagli, interattiva ed immersiva. L’avanzamento in questo settore ha infatti portato a una vera e propria rivoluzione, aprendo la possibilità di utilizzare questa tecnologia in molteplici ambiti. L’ostacolo riscontrato è che a un progresso di tale entità non si associa un adeguato aggiornamento e perfezionamento riguardo alle metodologie di interazione con oggetti 3D, dell’utilizzo di interfacce grafiche e del generale design ambientale. La diretta conseguenza di questo mancato aggiornamento è quella di indebolire o addirittura annullare l’effetto presenza dell'HMD, requisito indispensabile che consente all’utente di immergersi sensorialmente nel contesto simulato. L’obiettivo di questo studio consiste nel comprendere cosa è necessario tenere in considerazione e quali regole vanno cambiate per poter mantenere un'alta sensazione di presenza per l'utente all’interno di una realtà virtuale. A questo scopo è stato creato un ambiente virtuale 3D in grado di supportare l'utilizzo di un HMD, l'Oculus Rift, e di diversi dispositivi di input in grado di consentire controllo tramite movimenti naturali, il Razer Hydra ed il Leap Motion, in modo da poter effettuare un'analisi diretta sul livello del fattore presenza percepito nell'effettuare diverse interazioni con l'ambiente virtuale e le interfacce grafiche attraverso questi dispositivi. Questa analisi ha portato all'individuazione di molteplici aspetti in queste tipologie di interazioni e di design di intrefacce utente che, pur essendo di uso comune negli ambienti 3D contemporanei, se vissuti in un contesto di realtà virtuale non risultano più funzionali e indeboliscono il senso di presenza percepito dall'utente. Per ognuno di questi aspetti è stata proposta ed implementata una soluzione alternativa (basata su concetti teorici quali Natural Mapping, Diegesis, Affordance, Flow) in grado di risultare funzionale anche in un contesto di realtà virtuale e di garantire una forte sensazione di presenza all'utente. Il risultato finale di questo studio sono quindi nuovi metodi di design di ambienti virtuali per realtà aumentata. Questi metodi hanno permesso la creazione di un ambiente virtuale 3D pensato per essere vissuto tramite HMD dove l'utente è in grado di utilizzare movimenti naturali per interagire con oggetti 3D ed operare interfacce grafiche.

Migrazione concorrente di macchine virtuali su piattaforme open source

Questa tesi si pone l’obiettivo di effettuare un’analisi aggiornata sulla recente evoluzione del Cloud Computing e dei nuovi modelli architetturali a sostegno della continua crescita di richiesta di risorse di computazione, di storage e di rete all'interno dei data center, per poi dedicarsi ad una fase sperimentale di migrazioni live singole e concorrenti di macchine virtuali, studiandone le prestazioni a livello di risorse applicative e di rete all’interno della piattaforma open source di virtualizzazione QEMU-KVM, oggi alla base di sistemi cloud-based come Openstack. Nel primo capitolo, viene effettuato uno studio dello stato dell’arte del Cloud Computing, dei suoi attuali limiti e delle prospettive offerte da un modello di Cloud Federation nel futuro immediato. Nel secondo capitolo vengono discusse nel dettaglio le tecniche di live migration, di recente riferimento per la comunità scientifica internazionale e le possibili ottimizzazioni in scenari inter e intra data center, con l’intento di definire la base teorica per lo studio approfondito dell’implementazione effettiva del processo di migrazione su piattaforma QEMU-KVM, che viene affrontato nel terzo capitolo. In particolare, in quest’ultimo sono descritti i principi architetturali e di funzionamento dell'hypervisor e viene definito il modello di progettazione e l’algoritmo alla base del processo di migrazione. Nel quarto capitolo, infine, si presenta il lavoro svolto, le scelte configurative e progettuali per la creazione di un ambiente di testbed adatto allo studio di sessioni di live migration concorrenti e vengono discussi i risultati delle misure di performance e del comportamento del sistema, tramite le sperimentazioni effettuate.

Smart execution of distributed application by balancing resources in mobile devices and cloud-based avatars

L’obiettivo del progetto di tesi svolto è quello di realizzare un servizio di livello middleware dedicato ai dispositivi mobili che sia in grado di fornire il supporto per l’offloading di codice verso una infrastruttura cloud. In particolare il progetto si concentra sulla migrazione di codice verso macchine virtuali dedicate al singolo utente. Il sistema operativo delle VMs è lo stesso utilizzato dal device mobile. Come i precedenti lavori sul computation offloading, il progetto di tesi deve garantire migliori performance in termini di tempo di esecuzione e utilizzo della batteria del dispositivo. In particolare l’obiettivo più ampio è quello di adattare il principio di computation offloading a un contesto di sistemi distribuiti mobili, migliorando non solo le performance del singolo device, ma l’esecuzione stessa dell’applicazione distribuita. Questo viene fatto tramite una gestione dinamica delle decisioni di offloading basata, non solo, sullo stato del device, ma anche sulla volontà e/o sullo stato degli altri utenti appartenenti allo stesso gruppo. Per esempio, un primo utente potrebbe influenzare le decisioni degli altri membri del gruppo specificando una determinata richiesta, come alta qualità delle informazioni, risposta rapida o basata su altre informazioni di alto livello. Il sistema fornisce ai programmatori un semplice strumento di definizione per poter creare nuove policy personalizzate e, quindi, specificare nuove regole di offloading. Per rendere il progetto accessibile ad un più ampio numero di sviluppatori gli strumenti forniti sono semplici e non richiedono specifiche conoscenze sulla tecnologia. Il sistema è stato poi testato per verificare le sue performance in termini di mecchanismi di offloading semplici. Successivamente, esso è stato anche sottoposto a dei test per verificare che la selezione di differenti policy, definite dal programmatore, portasse realmente a una ottimizzazione del parametro designato.

Head Tracking Based Avatar Control for Virtual Environment Teamwork Training

Virtual environments (VE) are gaining in popularity and are increasingly used for teamwork training purposes, e.g., for medical teams. One shortcoming of modern VEs is that nonverbal communication channels, essential for teamwork, are not supported well. We address this issue by using an inexpensive webcam to track the user's head. This tracking information is used to control the head movement of the user's avatar, thereby conveying head gestures and adding a nonverbal communication channel. We conducted a user study investigating the influence of head tracking based avatar control on the perceived realism of the VE and on the performance of a surgical teamwork training scenario. Our results show that head tracking positively influences the perceived realism of the VE and the communication, but has no major influence on the training outcome.

Procesos creativos en entornos musicales inmersivos: un estudio de caso a través del análisis de metaversos. La Avatar Orchestra Metaverse en Second Life

La virtualidad se presenta como un espacio de creación y expansión de la realidad física. La percepción y la relación de los procesos creativos que giran en torno a lo virtual en lo referente a la música, la performance y la experimentación rigen e interaccionan nuestras realidades físicas, aún estando offline. Dichos procesos creativos son estudiados en la Orquesta virtual Avatar Orchestra Metaverse. Hemos navegado a través de la realidad creada por la Orquesta en el ciberespacio, bajo una metodología de estudio de caso -al que hemos llamado cybercase-, asistiendo y participando durante un tiempo en sus ensayos, junto a una posterior actuación. A través de un enfoque interdisciplinar basado en un proceso de análisis de material audiovisual y textual mediado por la presencia, entendida desde lo físico y lo virtual, exponemos los procesos creativos encontrados que subyacen bajo los miembros de la Orquesta, de modo descriptivo, y mediante el empleo de la teoría fundamentada. Como marco teórico mostramos los conceptos de música, espacio, tiempo y los procesos de comunicación gestados por la máquina y la virtualidad, todo ello mediado desde la percepción del ambiente y el interaccionismo simbólico. Presentamos dentro de este marco una revisión teórica del concepto de la creatividad enfocado desde la mecánica cuántica...

Creative communities: shaping process through performance and play

This paper studies the use of play as a method to unlock creativity and innovation within a community of practice (a group of individuals who share a common interest and who see value in interaction to enhance their understanding). An analysis of communities of practice and the value of play informs evaluation of two case studies exploring the development of communities of practice, one within the discipline of videogames and one which bridges performing arts and videogames. The case studies provide qualitative data from which the potential of play as a method to inspire creativity and support the development of a potential community of practice is recognised. Establishing trust, disruption of process through play and reflection are key steps proposed in a ‘context provider’s framework’ for individuals or organisations to utilise in the design of activities to support creative process and innovation within a potential community of practice.