Progettazione e sviluppo di applicazioni di augmented reality interattive

Nel 2011, circa 5 milioni di persone usavano regolarmente applicativi mobi-le basati su qualche forma di realtà aumentata. Secondo alcune previsioni entro il 2020 servizi che sfruttano questa tecnologia avranno una base di utenti che rasenta un settimo della popolazione mondiale, rendendo di fatto la realtà aumentata l’ottavo mezzo di comunicazione di massa dopo la stampa, l’audio registrato, il cinema, la radio, la televisione, internet ed infine i servizi multimediali mobile. La tesi si propone di illustrare le caratteristiche di questa tecnologia distinguendo varie tecniche e strumenti a disposizione degli sviluppatori per costruire l’esperienza di augmented reality. Entrando nel merito dello sviluppo software si analizza una architettura di riferimento proposta per sistemi di realtà aumentata e pattern per lo sviluppo dei diversi componenti. Infine vengono confrontati gli SDK oggi più diffusi cercando di evidenziarne caratteristiche comuni e peculiarità.

Studio e prototipazione di un'architettura software di alto livello per lo sviluppo di applicazioni di mixed reality su piattaforma HoloLens

La tesi si pone come obiettivo quello di realizzare un'architettura di alto livello per lo sviluppo di applicazioni dirette alla piattaforma HoloLens. Per conseguire tale risultato si è rivelata necessaria una prima parte di studio dei concetti di mixed reality, con riferimento particolare al caso specifico HoloLens, per poi dirigere l'attenzione alla comprensione dell'architettura di applicazioni olografiche. L'analisi delle API rilasciate per lo sviluppo di applicazioni HoloLens ha permesso di riscontrare varie criticità, alle quali si è posto rimedio tramite l'introduzione di un livello di astrazione, che possa consentire uno sviluppo di applicazioni ad un livello più alto. Si è poi introdotto il concetto di augmented worlds (mondi aumentati), i cui principi cardine hanno fornito le basi per la progettazione e lo sviluppo di un sistema client-server, nel quale il dispositivo HoloLens agisce come un client e la logica di controllo degli elementi del modello dell'applicazione viene gestita lato server.

Applicazioni di Mixed Reality e Microsoft Hololens: studio e riprogettazione del concetto di ologramma e della relativa gestione all'interno di un'applicazione olografica.

La tesi presenta una panoramica sull'augmented, virtual e mixed reality, descrivendone le caratteristiche e le modalità di sviluppo. Come caso di studio viene analizzato il dispositivo Microsoft Hololens, descrivendone le caratteristiche concettuali, hardware e software. Per le applicazioni di questo dispositivo viene effettuata una riprogettazione della gestione e del concetto di ologramma all'interno di un'applicazione olografica, analizzandone i motivi e i vantaggi. E' fornita una overview sui dettagli implementativi della riprogettazione al fine di chiarire ogni aspetto dell'applicazione.

Ambienti di servizi per applicazioni in mixed reality per MS HoloLens

Nella presente tesi, dopo una prima parte dedicata all'analisi del concetto di realtà mediata e delle sue varie specializzazioni, verranno illustrati i principali dispositivi hardware presenti attualmente sul mercato, analizzandone le caratteristiche, gli aspetti innovativi e la diffusione raggiunta al momento. Si passerà quindi ad esaminare nel dettaglio il visore Microsoft HoloLens, impiegato per la realizzazione del progetto di laurea, per arrivare alla descrizione dello sviluppo di un'applicazione. Il software realizzato rappresenta un esempio di applicazione della realtà mista al campo del design di interni: verranno esaminati strumenti di sviluppo, architettura, casi d'uso e work-flow dell'applicazione. Infine verranno descritte le fasi di test, i costi di sviluppo dell'applicazione e il feedback ricevuto dagli utenti.

La comunicazione attraverso la Virtual Reality

Il progetto di testi consiste in un caso di presentazione aziendale (FAAC), pensato attraverso l'utilizzo della Virtual Reality. Si tratta il percorso progettuale partendo dal Brief fino ad arrivare all'ambiente virtuale per la presentazione nelle fiere di un nuovo dissuasore mobile pensato per le infrastrutture.

The road to augmented reality: a comprehensive study of hardware and applications over the last ten years

Augmented reality has been growing extensively over the years in all aspects and multiple fields. My aim in this paper is to present a comprehensive study on augmented reality(AR) hardware and its applications from early developments to the possible future trends. Particularly my research is more focused on last 11 years(2012-2022), where I systematically reviewed 30 research papers per year to get a clear knowledge on trends of AR. A total of 330 publications were reviewed and grouped according to their application. The review's main contribution is to show the entire landscape of AR research and to provide a broad view of how it has evolved. Along with various AR glasses history and specifications are presented in detail. In the penultimate chapter I explained my methodology of research following my analysis from the past to the present along with my thoughts for the future. To conclude my study, In the final chapter I made some statements about possible future with AR, VR and XR(extended reality).

Enhanced switchgear connection testing through augmented reality: early developments

Augmented reality is an emerging field of interactive design in which virtual material is seamlessly blended with displays of real world environments. The tremendous potential of augmented reality has begun to be explored with the emergence of personal mobile devices capable of constructing engaging augmented reality experiences. This work is part of a project aiming at using augmented reality goggles to bring advance information to the user interacting with switch-gear during automation cabling. In particular we will be focusing on the recognition and definition of the figures of the component on the AR device. In this part we are using standard camera that allows us to get real images and helps us to localize the gearbox in space through ARUCO marker and we can exploit in order to re-project the actual shape of the component that are currently interested in manipulation by exploiting the data provided by the database. The experiments are carried out using the camera to get the images of the real world switch-gear and re-project those images with the component superimposed on it. Using transforms of the database we did localization to re-project the rendered image of component exactly on the real world component, which can be further integrated in AR goggles to see the component superimposed in real-time.

Analisi delle performance di sistemi di Mixed Reality cooperativi in rete locale

Siamo sempre stati abituati fin dal principio ad interagire con l’ambiente che ci circonda, utilizzando gli oggetti fisici presenti attorno a noi per soddisfare le nostre esigenze, ma se esistesse di più di questo? Se fosse possibile avere attorno a noi oggetti che non sono propriamente corpi fisici, ma che hanno un comportamento coerente con l’ambiente circostante e non venisse percepita la differenza tra essi e un vero e proprio oggetto? Ci si sta riferendo a quella che oggi viene chiamata Mixed Reality, una realtà mista resa visibile tramite appositi dispositivi, in cui è possibile interagire contemporaneamente con oggetti fisici e oggetti digitali che vengono chiamati ologrammi. Un aspetto fondamentale che riguarda questa tipologia di sistemi è sicuramente la collaborazione. In questa tesi viene esaminato il panorama delle tecnologie allo stato dell'arte che permettono di vivere esperienze di Collaborative Mixed Reality, ma soprattutto ci si concentra sulla progettazione di una vera e propria architettura in rete locale che consenta la realizzazione di un sistema condiviso. Successivamente all'applicazione di varie strategie vengono valutati i risultati ottenuti da rigorose misurazioni, per determinare scientificamente le prestazioni dell'architettura progettata e poter trarre delle conclusioni, considerando analogie e differenze rispetto ad altre possibili soluzioni.

Integrazione di Digital Twins e Mixed Reality: Un Caso di Studio

Questa tesi ha come proposito esplorare le architetture che integrano i Digital Twins in applicazioni di Mixed Reality. L’obiettivo cardine è quello di mostrare una possibile realizzazione di un sistema di questo tipo. Per raggiungere l’obiettivo posto si è scelto di progettare un sistema che sia realizzabile come soluzione in un contesto reale. La tesi è strutturata in modo tale da offrire al lettore una presentazione generale delle tecnologie utilizzate mantenendole ben distinte. Successivamente viene analizzata la possibilità di unire queste tecnologie presentando quindi delle possibili implementazioni. Come Caso di Studio si è scelto di realizzare un’applicazione a supporto dei medici che offrisse, durante un’operazione chirurgica, la possibilità di visualizzare il monitor dei parametri vitali tramite ologramma. L’architettura presentata viene suddivisa in tre sottosistemi indipendenti in base alla tecnologia presa di riferimento. Le macro sezioni presentate sono: Physical Asset, Digital Twins e Hologram. Questi sottosistemi vengono analizzati uno per volta e successivamente viene realizzata l’architettura inerente. Terminata la realizzazione del sistema, vengono presentate al lettore delle alternative architetturali con annesse le possibili implementazioni.

Sviluppo in Mixed Reality: i design pattern nei principali framework di sviluppo.

L'obbiettivo della seguente tesi è quello di analizzare quali sono ad oggi i migliori framework per lo sviluppo di software in Mixed Reality e studiare i design pattern più utili ad uno sviluppatore in questo ambito. Nel primo capitolo vengono introdotti i concetti di realtà estesa, virtuale, aumentata e mista con le relative differenze. Inoltre vengono descritti i diversi dispositivi che consentono la realtà mista, in particolare i due visori più utilizzati: Microsoft Hololens 2 e Magic Leap 1. Nello stesso capitolo vengono presentati anche gli aspetti chiave nello sviluppo in realtà mista, cioè tutti gli elementi che consentono un'esperienza in Mixed Reality. Nel secondo capitolo vengono descritti i framework e i kit utili per lo sviluppo di applicazioni in realtà mista multi-piattaforma. In particolare vengono introdotti i due ambienti di sviluppo più utilizzati: Unity e Unreal Engine, già esistenti e non specifici per lo sviluppo in MR ma che diventano funzionali se integrati con kit specifici come Mixed Reality ToolKit. Nel terzo capitolo vengono trattati i design pattern, comuni o nativi per applicazioni in realtà estesa, utili per un buono sviluppo di applicazioni MR. Inoltre, vengono presi in esame alcuni dei principali pattern più utilizzati nella programmazione ad oggetti e si verifica se e come sono implementabili correttamente su Unity in uno scenario di realtà mista. Questa analisi risulta utile per capire se l'utilizzo dei framework di sviluppo, metodo comunemente più utilizzato, comporta dei limiti nella libertà di sviluppo del programmatore.

Wildspace VR. Il wellness per le nuove generazioni - Studio su come la psicologia percettiva applicata alla Virtual Reality può migliorare gli effetti della Mindfulness

Dai recenti studi effettuati sulle nuove generazioni (Z e Alpha) è emerso che stress e ansia colpiscono di più i giovani che si trovano in queste fasce di età. Questa tesi, partendo dalle ricerche socio-culturali, vuole proporre una soluzione progettuale a questi problemi. Si vuole elaborare quindi un progetto sul benessere mentale attraverso la Mindfulness. Le nuove tecnologie emergenti, come ad esempio l’Extended reality, stanno trovando consenso tra le nuove generazioni. Per questo motivo è stata scelta questa tecnologia per erogare il contenuto del servizio. Si ipotizza di poter migliorare gli effetti della Mindfulness utilizzando la Psicologia Percettiva. Questo campo di studio consente di sfruttare l’alterazione della percezione nella Virtual Reality attraverso ‘Spatial Visualization’ e ‘Spatial Audio’. Queste ipotesi sono stata valutate attraverso uno studio indiretto del mercato del Wellness e consolidate attraverso una User Research. Dopo questa fase di ricerca si è valutata la strada progettuale comprendendo a fondo i bisogni del target: i giovani lavoratori. Sono stati utilizzati metodi di Design Thinking e Service Design per intraprendere il progetto, tenendo ben saldi i valori etici. Il progetto pensato, Wildspace VR, è un servizio per aziende che permette ai dipendenti di meditare con contenuti di Mindfulness in Realtà Virtuale. I contenuti proposti mirano a rispondere ai bisogni degli utenti elaborando per loro percorsi personalizzati. Le aziende traggono ricavo dal servizio avendo dipendenti profittevoli salvaguardando il loro stato di salute. L’obiettivo è aiutare i giovani lavoratori offrendogli la possibilità di praticare la Mindfulness dal luogo di lavoro grazie alla Realtà Virtuale, dando loro uno strumento per affrontare lo stress quotidiano in modo innovativo. Si è infine fatto un M.V.P. dell’esperienza, elaborando un prototipo Virtuale e stilando conclusioni ed idee per sviluppi futuri.

Augmented Reality for Airport Control Tower: Analysis and Implementation of Safety Nets

With the development of new technologies, Air Traffic Control, in the nearby of the airport, switched from a purely visual control to the use of radar, sensors and so on. As the industry is switching to the so-called Industry 4.0, also in this frame, it would be possible to implement some of the new tools that can facilitate the work of Air Traffic Controllers. The European Union proposed an innovative project to help the digitalization of the European Sky by means of the Single European Sky ATM Research (SESAR) program, which is the foundation on which the Single European Sky (SES) is based, in order to improve the already existing technologies to transform Air Traffic Management in Europe. Within this frame, the Resilient Synthetic Vision for Advanced Control Tower Air Navigation Service Provision (RETINA) project, which saw the light in 2016, studied the possibility to apply new tools within the conventional control tower to reduce the air traffic controller workload, thanks to the improvements in the augmented reality technologies. After the validation of RETINA, the Digital Technologies for Tower (DTT) project was established and the solution proposed by the University of Bologna aimed, among other things, to introduce Safety Nets in a Head-Up visualization. The aim of this thesis is to analyze the Safety Nets in use within the control tower and, by developing a working concept, implement them in a Head-Up view to be tested by Air Traffic Control Operators (ATCOs). The results, coming from the technical test, show that this concept is working and it could be leading to a future implementation in a real environment, as it improves the air traffic controller working conditions also when low visibility conditions apply.

HBIM to Virtual Reality Workflow for Industrial Archaeology Immovable Assets’ Management: A Case Study

As a witness on the industrialization in Bologna, since its first generation was born in the late 1760, the Battiferro lock has been coping with the innovation that the city experienced throughout the centuries, until it has lost its functionality due to the technological development for which Bologna’s canals were gradually covered starting from the 1950s under Giuseppe Dozza ’s administration, as part of the reconstruction, reclamation and urban requalification that was carried out in the aftermath the World War II and which involved the whole city. The interest of the research carried out on this case study was primarily to reintroduce the landmark that is still intact, to what is considered to be the fourth generation of the industrial revolution, namely in the construction field, which is recognized as Construction 4.0, by means of the Historic (or Heritage) Information Modeling HBIM and Virtual Reality (VR) application. A scan-to-BIM approach was followed to create 3D as-built BIM model, as a first step towards the storytelling of the abandoned industrial built asset in VR environment, or as a seed for future applications such as Digital Twins (DT), heritage digital learning, sustainable impact studies, and/or interface with other interfaces such as GIS. Based on the HBIM product, examples of the primary BIM deliverables such as 2D layouts is given, then a workflow to VR is proposed and investigated the reliability of data and the type of users that may benefit of the VR experience, then the potential future development of the model is investigated, with comparison of a relatively similar experience in the UK.