Studio e prototipazione di un'architettura software di alto livello per lo sviluppo di applicazioni di mixed reality su piattaforma HoloLens

La tesi si pone come obiettivo quello di realizzare un'architettura di alto livello per lo sviluppo di applicazioni dirette alla piattaforma HoloLens. Per conseguire tale risultato si è rivelata necessaria una prima parte di studio dei concetti di mixed reality, con riferimento particolare al caso specifico HoloLens, per poi dirigere l'attenzione alla comprensione dell'architettura di applicazioni olografiche. L'analisi delle API rilasciate per lo sviluppo di applicazioni HoloLens ha permesso di riscontrare varie criticità, alle quali si è posto rimedio tramite l'introduzione di un livello di astrazione, che possa consentire uno sviluppo di applicazioni ad un livello più alto. Si è poi introdotto il concetto di augmented worlds (mondi aumentati), i cui principi cardine hanno fornito le basi per la progettazione e lo sviluppo di un sistema client-server, nel quale il dispositivo HoloLens agisce come un client e la logica di controllo degli elementi del modello dell'applicazione viene gestita lato server.

Applicazioni di Mixed Reality e Microsoft Hololens: studio e riprogettazione del concetto di ologramma e della relativa gestione all'interno di un'applicazione olografica.

La tesi presenta una panoramica sull'augmented, virtual e mixed reality, descrivendone le caratteristiche e le modalità di sviluppo. Come caso di studio viene analizzato il dispositivo Microsoft Hololens, descrivendone le caratteristiche concettuali, hardware e software. Per le applicazioni di questo dispositivo viene effettuata una riprogettazione della gestione e del concetto di ologramma all'interno di un'applicazione olografica, analizzandone i motivi e i vantaggi. E' fornita una overview sui dettagli implementativi della riprogettazione al fine di chiarire ogni aspetto dell'applicazione.

The MIRELA framework: modeling and analyzing mixed reality applications using timed automata

Mixed Reality (MR) aims to link virtual entities with the real world and has many applications such as military and medical domains [JBL+00, NFB07]. In many MR systems and more precisely in augmented scenes, one needs the application to render the virtual part accurately at the right time. To achieve this, such systems acquire data related to the real world from a set of sensors before rendering virtual entities. A suitable system architecture should minimize the delays to keep the overall system delay (also called end-to-end latency) within the requirements for real-time performance. In this context, we propose a compositional modeling framework for MR software architectures in order to specify, simulate and validate formally the time constraints of such systems. Our approach is first based on a functional decomposition of such systems into generic components. The obtained elements as well as their typical interactions give rise to generic representations in terms of timed automata. A whole system is then obtained as a composition of such defined components. To write specifications, a textual language named MIRELA (MIxed REality LAnguage) is proposed along with the corresponding compilation tools. The generated output contains timed automata in UPPAAL format for simulation and verification of time constraints. These automata may also be used to generate source code skeletons for an implementation on a MR platform. The approach is illustrated first on a small example. A realistic case study is also developed. It is modeled by several timed automata synchronizing through channels and including a large number of time constraints. Both systems have been simulated in UPPAAL and checked against the required behavioral properties.

Ambienti di servizi per applicazioni in mixed reality per MS HoloLens

Nella presente tesi, dopo una prima parte dedicata all'analisi del concetto di realtà mediata e delle sue varie specializzazioni, verranno illustrati i principali dispositivi hardware presenti attualmente sul mercato, analizzandone le caratteristiche, gli aspetti innovativi e la diffusione raggiunta al momento. Si passerà quindi ad esaminare nel dettaglio il visore Microsoft HoloLens, impiegato per la realizzazione del progetto di laurea, per arrivare alla descrizione dello sviluppo di un'applicazione. Il software realizzato rappresenta un esempio di applicazione della realtà mista al campo del design di interni: verranno esaminati strumenti di sviluppo, architettura, casi d'uso e work-flow dell'applicazione. Infine verranno descritte le fasi di test, i costi di sviluppo dell'applicazione e il feedback ricevuto dagli utenti.

Analisi delle performance di sistemi di Mixed Reality cooperativi in rete locale

Siamo sempre stati abituati fin dal principio ad interagire con l’ambiente che ci circonda, utilizzando gli oggetti fisici presenti attorno a noi per soddisfare le nostre esigenze, ma se esistesse di più di questo? Se fosse possibile avere attorno a noi oggetti che non sono propriamente corpi fisici, ma che hanno un comportamento coerente con l’ambiente circostante e non venisse percepita la differenza tra essi e un vero e proprio oggetto? Ci si sta riferendo a quella che oggi viene chiamata Mixed Reality, una realtà mista resa visibile tramite appositi dispositivi, in cui è possibile interagire contemporaneamente con oggetti fisici e oggetti digitali che vengono chiamati ologrammi. Un aspetto fondamentale che riguarda questa tipologia di sistemi è sicuramente la collaborazione. In questa tesi viene esaminato il panorama delle tecnologie allo stato dell'arte che permettono di vivere esperienze di Collaborative Mixed Reality, ma soprattutto ci si concentra sulla progettazione di una vera e propria architettura in rete locale che consenta la realizzazione di un sistema condiviso. Successivamente all'applicazione di varie strategie vengono valutati i risultati ottenuti da rigorose misurazioni, per determinare scientificamente le prestazioni dell'architettura progettata e poter trarre delle conclusioni, considerando analogie e differenze rispetto ad altre possibili soluzioni.

Sviluppo in Mixed Reality: i design pattern nei principali framework di sviluppo.

L'obbiettivo della seguente tesi è quello di analizzare quali sono ad oggi i migliori framework per lo sviluppo di software in Mixed Reality e studiare i design pattern più utili ad uno sviluppatore in questo ambito. Nel primo capitolo vengono introdotti i concetti di realtà estesa, virtuale, aumentata e mista con le relative differenze. Inoltre vengono descritti i diversi dispositivi che consentono la realtà mista, in particolare i due visori più utilizzati: Microsoft Hololens 2 e Magic Leap 1. Nello stesso capitolo vengono presentati anche gli aspetti chiave nello sviluppo in realtà mista, cioè tutti gli elementi che consentono un'esperienza in Mixed Reality. Nel secondo capitolo vengono descritti i framework e i kit utili per lo sviluppo di applicazioni in realtà mista multi-piattaforma. In particolare vengono introdotti i due ambienti di sviluppo più utilizzati: Unity e Unreal Engine, già esistenti e non specifici per lo sviluppo in MR ma che diventano funzionali se integrati con kit specifici come Mixed Reality ToolKit. Nel terzo capitolo vengono trattati i design pattern, comuni o nativi per applicazioni in realtà estesa, utili per un buono sviluppo di applicazioni MR. Inoltre, vengono presi in esame alcuni dei principali pattern più utilizzati nella programmazione ad oggetti e si verifica se e come sono implementabili correttamente su Unity in uno scenario di realtà mista. Questa analisi risulta utile per capire se l'utilizzo dei framework di sviluppo, metodo comunemente più utilizzato, comporta dei limiti nella libertà di sviluppo del programmatore.

System Architecture of a Mixed Reality Framework

In this paper the software architecture of a framework which simplifies the development of applications in the area of Virtual and Augmented Reality is presented. It is based on VRML/X3D to enable rendering of audio-visual information. We extended our VRML rendering system by a device management system that is based on the concept of a data-flow graph. The aim of the system is to create Mixed Reality (MR) applications simply by plugging together small prefabricated software components, instead of compiling monolithic C++ applications. The flexibility and the advantages of the presented framework are explained on the basis of an exemplary implementation of a classic Augmented Realityapplication and its extension to a collaborative remote expert scenario.

Application of Time-Delay Estimation to Mixed Reality Multisensor Tracking

Spatial tracking is one of the most challenging and important parts of Mixed Reality environments. Many applications, especially in the domain of Augmented Reality, rely on the fusion of several tracking systems in order to optimize the overall performance. While the topic of spatial tracking sensor fusion has already seen considerable interest, most results only deal with the integration of carefully arranged setups as opposed to dynamic sensor fusion setups. A crucial prerequisite for correct sensor fusion is the temporal alignment of the tracking data from several sensors. Tracking sensors are typically encountered in Mixed Reality applications, are generally not synchronized. We present a general method to calibrate the temporal offset between different sensors by the Time Delay Estimation method which can be used to perform on-line temporal calibration. By applying Time Delay Estimation on the tracking data, we show that the temporal offset between generic Mixed Reality spatial tracking sensors can be calibrated. To show the correctness and the feasibility of this approach, we have examined different variations of our method and evaluated various combinations of tracking sensors. We furthermore integrated this time synchronization method into our UBITRACK Mixed Reality tracking framework to provide facilities for calibration and real-time data alignment.

Integrazione di Digital Twins e Mixed Reality: Un Caso di Studio

Questa tesi ha come proposito esplorare le architetture che integrano i Digital Twins in applicazioni di Mixed Reality. L’obiettivo cardine è quello di mostrare una possibile realizzazione di un sistema di questo tipo. Per raggiungere l’obiettivo posto si è scelto di progettare un sistema che sia realizzabile come soluzione in un contesto reale. La tesi è strutturata in modo tale da offrire al lettore una presentazione generale delle tecnologie utilizzate mantenendole ben distinte. Successivamente viene analizzata la possibilità di unire queste tecnologie presentando quindi delle possibili implementazioni. Come Caso di Studio si è scelto di realizzare un’applicazione a supporto dei medici che offrisse, durante un’operazione chirurgica, la possibilità di visualizzare il monitor dei parametri vitali tramite ologramma. L’architettura presentata viene suddivisa in tre sottosistemi indipendenti in base alla tecnologia presa di riferimento. Le macro sezioni presentate sono: Physical Asset, Digital Twins e Hologram. Questi sottosistemi vengono analizzati uno per volta e successivamente viene realizzata l’architettura inerente. Terminata la realizzazione del sistema, vengono presentate al lettore delle alternative architetturali con annesse le possibili implementazioni.

Acting Rehearsal in Collaborative Multimodal Mixed Reality Environments

This paper presents the use of our multimodal mixed reality telecommunication system to support remote acting rehearsal. The rehearsals involved two actors, located in London and Barcelona, and a director in another location in London. This triadic audiovisual telecommunication was performed in a spatial and multimodal collaborative mixed reality environment based on the 'destination-visitor' paradigm, which we define and put into use. We detail our heterogeneous system architecture, which spans the three distributed and technologically asymmetric sites, and features a range of capture, display, and transmission technologies. The actors' and director's experience of rehearsing a scene via the system are then discussed, exploring successes and failures of this heterogeneous form of telecollaboration. Overall, the common spatial frame of reference presented by the system to all parties was highly conducive to theatrical acting and directing, allowing blocking, gross gesture, and unambiguous instruction to be issued. The relative inexpressivity of the actors' embodiments was identified as the central limitation of the telecommunication, meaning that moments relying on performing and reacting to consequential facial expression and subtle gesture were less successful.

Acting rehearsal in collaborative multimodal mixed reality environments

This paper presents the use of our multimodal mixed reality telecommunication system to support remote acting rehearsal. The rehearsals involved two actors, located in London and Barcelona, and a director in another location in London. This triadic audiovisual telecommunication was performed in a spatial and multimodal collaborative mixed reality environment based on the 'destination-visitor' paradigm, which we define and put into use. We detail our heterogeneous system architecture, which spans the three distributed and technologically asymmetric sites, and features a range of capture, display, and transmission technologies. The actors' and director's experience of rehearsing a scene via the system are then discussed, exploring successes and failures of this heterogeneous form of telecollaboration. Overall, the common spatial frame of reference presented by the system to all parties was highly conducive to theatrical acting and directing, allowing blocking, gross gesture, and unambiguous instruction to be issued. The relative inexpressivity of the actors' embodiments was identified as the central limitation of the telecommunication, meaning that moments relying on performing and reacting to consequential facial expression and subtle gesture were less successful.

The generation of scenes in mixed reality environments using the chromakey technique

A classic problem in the development of Mixed Reality systems is the registration. The correct alignment between virtual objects and the real elements is extremely important for the coherent composition of the resultant scene. Considering this context, this paper describes an approach for the composition of scenes in Mixed Reality environments using the chromakey technique for the extraction of real objects. After that, the scene is mounted in a coherent way related to the depth in OpenGL framebuffer for posterior rendering. ©2007 IEEE.

Studio di Augmented World come Paradigma di Progettazione di Sistemi basati su Realtà Aumentata e Pervasive Computing - Verso la Definizione di un Modello

L’obiettivo della tesi è definire un modello che permetta di realizzare applicazioni che integrino diverse tecnologie come la realtà aumentata, pervasive computing e Internet of Things. In particolare si analizza la nozione di "augmentation" che indica un’estensione e un arricchimento delle funzionalità e delle informazioni che possono essere percepite dai sensi umani e che può essere ritrovata, in modo diverso, nelle tecnologie trattate. A tal proposito, si introduce l’idea di augmented world, il cui scopo è quello di realizzare un livello aumentato collegato ad un livello fisico, attraverso il quale permettere l’interazione tra elementi virtuali ed elementi fisici. In seguito, tramite un'analisi tassonomica si vogliono individuare le caratteristiche ed i requisiti fondanti degli ambiti applicativi trattati per poter definire un modello che possa essere utilizzato come riferimento per le diverse tipologie di applicazioni. Infine il modello proposto è stato applicato a diversi casi di studio che spaziano tra i principali contesti applicativi in cui vengono utilizzate le tecnologie illustrate. La modellazione è fatta prescindendo da alcuni aspetti relativi alla comunicazione o alla sincronizzazione tra livello reale e livello aumentato, in quanto l’obiettivo è esporre una prima validazione del modello che permetta di riscontrarne l’adeguatezza ed eventuali limiti per una futura raffinazione.

Increasing Realism and Supporting Content Planning for Dynamic Scenes in a Mixed Reality System incorporating a Time-of-Flight Camera

For broadcasting purposes MIXED REALITY, the combination of real and virtual scene content, has become ubiquitous nowadays. Mixed Reality recording still requires expensive studio setups and is often limited to simple color keying. We present a system for Mixed Reality applications which uses depth keying and provides threedimensional mixing of real and artificial content. It features enhanced realism through automatic shadow computation which we consider a core issue to obtain realism and a convincing visual perception, besides the correct alignment of the two modalities and correct occlusion handling. Furthermore we present a possibility to support placement of virtual content in the scene. Core feature of our system is the incorporation of a TIME-OF-FLIGHT (TOF)-camera device. This device delivers real-time depth images of the environment at a reasonable resolution and quality. This camera is used to build a static environment model and it also allows correct handling of mutual occlusions between real and virtual content, shadow computation and enhanced content planning. The presented system is inexpensive, compact, mobile, flexible and provides convenient calibration procedures. Chroma-keying is replaced by depth-keying which is efficiently performed on the GRAPHICS PROCESSING UNIT (GPU) by the usage of an environment model and the current ToF-camera image. Automatic extraction and tracking of dynamic scene content is herewith performed and this information is used for planning and alignment of virtual content. An additional sustainable feature is that depth maps of the mixed content are available in real-time, which makes the approach suitable for future 3DTV productions. The presented paper gives an overview of the whole system approach including camera calibration, environment model generation, real-time keying and mixing of virtual and real content, shadowing for virtual content and dynamic object tracking for content planning.