The road to augmented reality: a comprehensive study of hardware and applications over the last ten years

Augmented reality has been growing extensively over the years in all aspects and multiple fields. My aim in this paper is to present a comprehensive study on augmented reality(AR) hardware and its applications from early developments to the possible future trends. Particularly my research is more focused on last 11 years(2012-2022), where I systematically reviewed 30 research papers per year to get a clear knowledge on trends of AR. A total of 330 publications were reviewed and grouped according to their application. The review's main contribution is to show the entire landscape of AR research and to provide a broad view of how it has evolved. Along with various AR glasses history and specifications are presented in detail. In the penultimate chapter I explained my methodology of research following my analysis from the past to the present along with my thoughts for the future. To conclude my study, In the final chapter I made some statements about possible future with AR, VR and XR(extended reality).

Enhanced switchgear connection testing through augmented reality: early developments

Augmented reality is an emerging field of interactive design in which virtual material is seamlessly blended with displays of real world environments. The tremendous potential of augmented reality has begun to be explored with the emergence of personal mobile devices capable of constructing engaging augmented reality experiences. This work is part of a project aiming at using augmented reality goggles to bring advance information to the user interacting with switch-gear during automation cabling. In particular we will be focusing on the recognition and definition of the figures of the component on the AR device. In this part we are using standard camera that allows us to get real images and helps us to localize the gearbox in space through ARUCO marker and we can exploit in order to re-project the actual shape of the component that are currently interested in manipulation by exploiting the data provided by the database. The experiments are carried out using the camera to get the images of the real world switch-gear and re-project those images with the component superimposed on it. Using transforms of the database we did localization to re-project the rendered image of component exactly on the real world component, which can be further integrated in AR goggles to see the component superimposed in real-time.

Augmented Reality for Airport Control Tower: Analysis and Implementation of Safety Nets

With the development of new technologies, Air Traffic Control, in the nearby of the airport, switched from a purely visual control to the use of radar, sensors and so on. As the industry is switching to the so-called Industry 4.0, also in this frame, it would be possible to implement some of the new tools that can facilitate the work of Air Traffic Controllers. The European Union proposed an innovative project to help the digitalization of the European Sky by means of the Single European Sky ATM Research (SESAR) program, which is the foundation on which the Single European Sky (SES) is based, in order to improve the already existing technologies to transform Air Traffic Management in Europe. Within this frame, the Resilient Synthetic Vision for Advanced Control Tower Air Navigation Service Provision (RETINA) project, which saw the light in 2016, studied the possibility to apply new tools within the conventional control tower to reduce the air traffic controller workload, thanks to the improvements in the augmented reality technologies. After the validation of RETINA, the Digital Technologies for Tower (DTT) project was established and the solution proposed by the University of Bologna aimed, among other things, to introduce Safety Nets in a Head-Up visualization. The aim of this thesis is to analyze the Safety Nets in use within the control tower and, by developing a working concept, implement them in a Head-Up view to be tested by Air Traffic Control Operators (ATCOs). The results, coming from the technical test, show that this concept is working and it could be leading to a future implementation in a real environment, as it improves the air traffic controller working conditions also when low visibility conditions apply.

Studio e sviluppo di un framework per il riconoscimento vocale nell'ambito di sistemi Hands-Free

Negli ultimi anni, l'avanzamento incredibilmente rapido della tecnologia ha portato allo sviluppo e alla diffusione di dispositivi elettronici portatili aventi dimensioni estremamente ridotte e, allo stesso tempo, capacità computazionali molto notevoli. Più nello specifico, una particolare categoria di dispositivi, attualmente in forte sviluppo, che ha già fatto la propria comparsa sul mercato mondiale è sicuramente la categoria dei dispositivi Wearable. Come suggerisce il nome, questi sono progettati per essere letteralmente indossati, pensati per fornire continuo supporto, in diversi ambiti, a chi li utilizza. Se per interagire con essi l’utente non deve ricorrere obbligatoriamente all'utilizzo delle mani, allora si parla di dispositivi Wearable Hands Free. Questi sono generalmente in grado di percepire e catture l’input dell'utente seguendo tecniche e metodologie diverse, non basate sul tatto. Una di queste è sicuramente quella che prevede di modellare l’input dell’utente stesso attraverso la sua voce, appoggiandosi alla disciplina dell’ASR (Automatic Speech Recognition), che si occupa della traduzione del linguaggio parlato in testo, mediante l’utilizzo di dispositivi computerizzati. Si giunge quindi all’obiettivo della tesi, che è quello di sviluppare un framework, utilizzabile nell’ambito dei dispositivi Wearable, che fornisca un servizio di riconoscimento vocale appoggiandosi ad uno già esistente, in modo che presenti un certo livello di efficienza e facilità di utilizzo. Più in generale, in questo documento si punta a fornire una descrizione approfondita di quelli che sono i dispositivi Wearable e Wearable Hands-Free, definendone caratteristiche, criticità e ambiti di utilizzo. Inoltre, l’intento è quello di illustrare i principi di funzionamento dell’Automatic Speech Recognition per passare poi ad analisi, progettazione e sviluppo del framework appena citato.

Realtà aumentata per dispositivi android: lo stato dell'arte

Obiettivo di questa tesi è quello di illustrare il mondo della realtà aumentata (AR) ed in particolare delle tecnologie software disponibili per lo sviluppo di applicazioni su dispositivi Android. Si partirà dal darne una definizione e riassumerne i principali fatti storici, all'illustrarne i vari hardware disponibili sul mercato e le tecnologie software per sviluppare progetti. Non verranno tralasciati utilizzi e settori di ricerca, e si presenterà poi il sistema operativo Android. Dopo uno sguardo alla sua architettura e alle sue caratteristiche, nonché al linguaggio di programmazione Java, cardine per lo sviluppo in questo sistema, si presenteranno alcune API dell'SDK nativo che si rivelano utili per lo sviluppo di applicazioni per la realtà aumentata. Infine, verrà presentato un approfondimento sull'SDK Metaio.

Ideazione di sistemi distribuiti collaborativi basati realta aumentata mobile: un caso di studio, con approfondimento relativo al livello delle comunicazioni

Il grande sviluppo a cui stiamo assistendo negli ultimi anni nell'ambito delle tecnologie mobile e del wearable computing apre le porte a scenari innovativi e interessanti per quanto riguarda sistemi distribuiti collaborativi. Le persone possono sempre più facilmente cooperare e scambiarsi informazioni grazie a queste nuove tecnologie e si può pensare allo sviluppo di sistemi che permettano forme molto avanzate di collaborazione facendo leva sull'aspetto hands-free, ovvero sulla possibilità di utilizzare dispositivi che liberino le mani, come i moderni smart-glasses. Per lo sviluppo di tali sistemi è necessario però studiare nuove tecniche e architetture, in quanto gli strumenti ad oggi a disposizione a supporto della realtà aumentata non sembrano essere del tutto adeguati per tale scopo. Infatti piattaforme come Wikitude o Layar, seppure offrano potenti tecniche di riconoscimento di markers e immagini e di rendering, non offrono quella dinamicità fondamentale per un sistema distribuito collaborativo. Questo scritto ha lo scopo di esplorare questi aspetti mediante l'ideazione, l'analisi, la progettazione e la prototipazione di un semplice caso di studio ispirato a sistemi collaborativi distribuiti basati su realtà aumentata. In particolare in questo lavoro si porrà l'attenzione sul livello delle comunicazioni e delle infrastrutture di rete.

Wearable device e User Experience

La tesi tratta in modo approfondito il concetto di wearable device, i suoi utilizzi e l'esperienza d'uso da parte dell'utente soffermando l'attenzione sui principali dispositivi presenti in commercio e non. Nello specifico vengono trattati smart watch, smart glass e visori per la realta virtuale. Nella sezione conclusiva vengono trattati gli standard ISO relativi all'ergonomia degli utenti con i computer, descrivendo nel dettaglio le direttive che sono presentate nello standard ISO 9241:210-2010.

Spatial computing per smart devices

Magic Carpet, nato come un middleware orientato a una dimostrazione sullo spatial computing, che inizialmente coinvolgeva solo smart devices ed un tappeto di tag NFC, è il punto di partenza per uno studio sulle tecnologie abilitanti in tale campo. Il prodotto finale è una toolchain per lo sviluppo e la distribuzione, su dispositivi connessi, di applicazioni di spatial computing. Essa comprende un interprete per un DSL basato su un core calculus formalizzato, Field Calculus, e un middleware che supporta l'astrazione curando, a basso livello, le comunicazioni con il vicinato e le percezioni ambientali.

Realizzazione di un'applicazione mobile Android basata su interazioni con interfacce API di diversi servizi.

La grande crescita e l'enorme distribuzione che hanno avuto negli ultimi tempi i moderni devices mobile (smartphones, tablet, dispositivi wearable, etc...) ha dato l'avvio ad un massiccio sviluppo di applicazioni mobile di qualunque genere, dall'health-care all'AR (Augmented Reality, realtà aumentata), dalle applicazioni social alle applicazioni che offrono servizi all'utente.

Studio e Progettazione di Sistemi Hands-free basati su Tecnologie Wearable: Un Caso di Studio in Ambito Healthcare

Il percorso intrapreso per la scrittura della tesi, si snoda essenzialmente in due fasi e nove capitoli. La prima fase ha avuto come scopo l’analisi dal punto di vista tecnologico dell’evoluzione tecnologica avuta nel campo di realtà aumentata e dispositivi wearable in particolare orientandosi verso una tipologia di interazioni hands-free. Questo ha portato ad una ricognizione sullo stato dell’arte permettendo di attenere una base di conoscenza solida per la costruzione del sistema presentato all’interno del caso di studi. I capitoli successivi, in particolare dal quinto, introducono alla seconda fase ed hanno lo scopo di progettare e realizzare il sistema proposto, partendo da un’attenta analisi delle caratteristiche richieste passando per la prototipazione e successiva definizione delle caratteristiche atte alla valutazione del sistema stesso.

Strategie di elaborazione di tracciati GPS per reti veicolari

Il proliferare di dispositivi di elaborazione e comunicazione mobili (telefoni cellulari, computer portatili, PDA, wearable devices, personal digital assistant) sta guidando un cambiamento rivoluzionario nella nostra società dell'informazione. Si sta migrando dall'era dei Personal Computer all'era dell'Ubiquitous Computing, in cui un utente utilizza, parallelamente, svariati dispositivi elettronici attraverso cui può accedere a tutte le informazioni, ovunque e quantunque queste gli si rivelino necessarie. In questo scenario, anche le mappe digitali stanno diventando sempre più parte delle nostre attività quotidiane; esse trasmettono informazioni vitali per una pletora di applicazioni che acquistano maggior valore grazie alla localizzazione, come Yelp, Flickr, Facebook, Google Maps o semplicemente le ricerche web geo-localizzate. Gli utenti di PDA e Smartphone dipendono sempre più dai GPS e dai Location Based Services (LBS) per la navigazione, sia automobilistica che a piedi. Gli stessi servizi di mappe stanno inoltre evolvendo la loro natura da uni-direzionale a bi-direzionale; la topologia stradale è arricchita da informazioni dinamiche, come traffico in tempo reale e contenuti creati dagli utenti. Le mappe digitali aggiornabili dinamicamente sono sul punto di diventare un saldo trampolino di lancio per i sistemi mobili ad alta dinamicità ed interattività, che poggiando su poche informazioni fornite dagli utenti, porteranno una moltitudine di applicazioni innovative ad un'enorme base di consumatori. I futuri sistemi di navigazione per esempio, potranno utilizzare informazioni estese su semafori, presenza di stop ed informazioni sul traffico per effettuare una ottimizzazione del percorso che valuti simultaneamente fattori come l'impronta al carbonio rilasciata, il tempo di viaggio effettivamente necessario e l'impatto della scelta sul traffico locale. In questo progetto si mostra come i dati GPS raccolti da dispositivi fissi e mobili possano essere usati per estendere le mappe digitali con la locazione dei segnali di stop, dei semafori e delle relative temporizzazioni. Queste informazioni sono infatti oggi rare e locali ad ogni singola municipalità, il che ne rende praticamente impossibile il pieno reperimento. Si presenta quindi un algoritmo che estrae utili informazioni topologiche da agglomerati di tracciati gps, mostrando inoltre che anche un esiguo numero di veicoli equipaggiati con la strumentazione necessaria sono sufficienti per abilitare l'estensione delle mappe digitali con nuovi attributi. Infine, si mostrerà come l'algoritmo sia in grado di lavorare anche con dati mancanti, ottenendo ottimi risultati e mostrandosi flessibile ed adatto all'integrazione in sistemi reali.

Framework e librerie per lo sviluppo di applicazioni di realta aumentata: Metaio sdk come caso di studio

I moderni sistemi computazionali hanno reso applicazioni e dispositivi sempre più complessi e versatili, integrando in essi un numero crescente di funzioni. Da qui si avverte la necessità di un design d’interfaccia utente efficace e pratico che renda il rapporto uomo/macchina semplice ed intuitivo. Negli ultimi anni questo proposito è stato accolto da sviluppatori e progettisti che si sono affacciati nel mondo della “Realtà Aumentata”, una nuova visione d’insieme nel rapporto tra mondo reale e virtuale. Augmented Reality (AR), propone infatti di sviluppare nuove interfacce uomo-computer, che invece di mostrare le informazioni digitali su display isolati, immergano i dati stessi nell’ambiente concreto. Sfuma così una distinzione marcata tra il reale e il virtuale, ma anzi si cerca di combinare in modo naturale la coesistenza di quest’ultimi, permettendo la creazione di interfacce utente semplici e intuitive anche per applicazioni complesse. Il proposito che la tesi vuole andare ad affrontare è proprio quello di indagare lo sviluppo di nuove applicazioni basate su questa tecnologia. Nel primo capitolo verrà analizzatala storia, i campi di applicazione, i device più importanti sui quali è implementata e le varie tecniche di Tracciamento. Nella seconda parte della tesi andremo a interessarci del sistema vero e proprio sul quale regge questa tecnologia. Quindi nel successivo capitolo vedremo esempi di architetture e di piattaforme che offrono questa realtà di sviluppo, soffermandoci su un particolare caso di studio: Metaio; di cui nel terzo e ultimo capitolo indagheremo framework, SDK e API messe a disposizione.

Sviluppo di una infrastruttura location-based per l'auto-organizzazione di smart-devices.

La tesi consiste nel realizzare una infrastruttura che mantenga il modello tipico dello Spatial Computing e coniughi al meglio le tecnologie location-based come GPS, NFC e BLE, per permettere ai moderni smart-devices Android di cooperare e auto-organizzarsi al fine di compiere un certo task definito a livello applicativo.

Ideazione di sistemi distribuiti collaborativi basati su realta aumentata mobile: Un caso di studio, con approfondimento relativo al livello della cooperazione

Dall'inizio del nuovo millennio lo sviluppo di tecnologie nel campo del mobile computing, della rete internet, lo sviluppo dell'Internet of things e pure il cloud computing hanno reso possibile l'innovazione dei metodi di lavoro e collaborazione. L'evoluzione del mobile computing e della realtà aumentata che sta avvenendo in tempi più recenti apre potenzialmente nuovi orizzonti nello sviluppo di sistemi distribuiti collaborativi. Esistono oggi diversi framework a supporto della realtà aumentata, Wikitude, Metaio, Layar, ma l'interesse primario di queste librerie è quello di fornire una serie di API fondamentali per il rendering di immagini 3D attraverso i dispositivi, per lo studio dello spazio in cui inserire queste immagini e per il riconoscimento di marker. Questo tipo di funzionalità sono state un grande passo per quanto riguarda la Computer Graphics e la realtà aumentata chiaramente, però aprono la strada ad una Augmented Reality(AR) ancora più aumentata. Questa tesi si propone proprio di presentare l'ideazione, l'analisi, la progettazione e la prototipazione di un sistema distribuito situato a supporto della collaborazione basato su realtà aumentata. Lo studio di questa applicazione vuole mettere in luce molti aspetti innovativi e che ancora oggi non sono stati approfonditi né tanto meno sviluppati come API o forniti da librerie riguardo alla realtà aumentata e alle sue possibili applicazioni.

Sviluppo di una piattaforma software per applicazioni di monitoraggio di parametri vitali basate su tecnologie wearable e mobile

L'obiettivo della tesi è quello di sviluppare una piattaforma software a supporto della programmazione di applicazioni mobile per la rilevazione di parametri vitali. Questo caso di studio offre una ampia discussione su wearable computing, healthcare e prototipazione del wearable. La tesi va a descrivere tutte le fasi di analisi, modellazione e progettazione del sistema, evidenziando problematiche e soluzioni adottate.