Augmented Reality for Airport Control Tower: Analysis and Implementation of Safety Nets

With the development of new technologies, Air Traffic Control, in the nearby of the airport, switched from a purely visual control to the use of radar, sensors and so on. As the industry is switching to the so-called Industry 4.0, also in this frame, it would be possible to implement some of the new tools that can facilitate the work of Air Traffic Controllers. The European Union proposed an innovative project to help the digitalization of the European Sky by means of the Single European Sky ATM Research (SESAR) program, which is the foundation on which the Single European Sky (SES) is based, in order to improve the already existing technologies to transform Air Traffic Management in Europe. Within this frame, the Resilient Synthetic Vision for Advanced Control Tower Air Navigation Service Provision (RETINA) project, which saw the light in 2016, studied the possibility to apply new tools within the conventional control tower to reduce the air traffic controller workload, thanks to the improvements in the augmented reality technologies. After the validation of RETINA, the Digital Technologies for Tower (DTT) project was established and the solution proposed by the University of Bologna aimed, among other things, to introduce Safety Nets in a Head-Up visualization. The aim of this thesis is to analyze the Safety Nets in use within the control tower and, by developing a working concept, implement them in a Head-Up view to be tested by Air Traffic Control Operators (ATCOs). The results, coming from the technical test, show that this concept is working and it could be leading to a future implementation in a real environment, as it improves the air traffic controller working conditions also when low visibility conditions apply.

Development and validation of the Multiple Remote Tower (MRT) for remote air traffic control

The symbol in air traffic control (ATC), essentially unchanged since the beginning of commercial air traffic early last century, is the characteristic control tower with its large, tilted windows, situated at an exposed location, and rising high above the airport. “Remote Tower” is changing the provision of Air Traffic Services (ATS) in a way that it is more service tailored, dynamically located and available when and where needed, enabled by digital solutions replacing the physical presence of controllers and control towers at aerodromes with a remotely provided Air Traffic Service for Multiple Aerodromes. The paper examines this phenomenon that will mark an epochal change, analysing the experiments and validations carried out in the last years.

Enhanced switchgear connection testing through augmented reality: early developments

Augmented reality is an emerging field of interactive design in which virtual material is seamlessly blended with displays of real world environments. The tremendous potential of augmented reality has begun to be explored with the emergence of personal mobile devices capable of constructing engaging augmented reality experiences. This work is part of a project aiming at using augmented reality goggles to bring advance information to the user interacting with switch-gear during automation cabling. In particular we will be focusing on the recognition and definition of the figures of the component on the AR device. In this part we are using standard camera that allows us to get real images and helps us to localize the gearbox in space through ARUCO marker and we can exploit in order to re-project the actual shape of the component that are currently interested in manipulation by exploiting the data provided by the database. The experiments are carried out using the camera to get the images of the real world switch-gear and re-project those images with the component superimposed on it. Using transforms of the database we did localization to re-project the rendered image of component exactly on the real world component, which can be further integrated in AR goggles to see the component superimposed in real-time.

Progettazione e sviluppo di applicazioni di augmented reality interattive

Nel 2011, circa 5 milioni di persone usavano regolarmente applicativi mobi-le basati su qualche forma di realtà aumentata. Secondo alcune previsioni entro il 2020 servizi che sfruttano questa tecnologia avranno una base di utenti che rasenta un settimo della popolazione mondiale, rendendo di fatto la realtà aumentata l’ottavo mezzo di comunicazione di massa dopo la stampa, l’audio registrato, il cinema, la radio, la televisione, internet ed infine i servizi multimediali mobile. La tesi si propone di illustrare le caratteristiche di questa tecnologia distinguendo varie tecniche e strumenti a disposizione degli sviluppatori per costruire l’esperienza di augmented reality. Entrando nel merito dello sviluppo software si analizza una architettura di riferimento proposta per sistemi di realtà aumentata e pattern per lo sviluppo dei diversi componenti. Infine vengono confrontati gli SDK oggi più diffusi cercando di evidenziarne caratteristiche comuni e peculiarità.

The road to augmented reality: a comprehensive study of hardware and applications over the last ten years

Augmented reality has been growing extensively over the years in all aspects and multiple fields. My aim in this paper is to present a comprehensive study on augmented reality(AR) hardware and its applications from early developments to the possible future trends. Particularly my research is more focused on last 11 years(2012-2022), where I systematically reviewed 30 research papers per year to get a clear knowledge on trends of AR. A total of 330 publications were reviewed and grouped according to their application. The review's main contribution is to show the entire landscape of AR research and to provide a broad view of how it has evolved. Along with various AR glasses history and specifications are presented in detail. In the penultimate chapter I explained my methodology of research following my analysis from the past to the present along with my thoughts for the future. To conclude my study, In the final chapter I made some statements about possible future with AR, VR and XR(extended reality).

Hardware-In-The Loop setup and test of an air spring control system

In this work, a Hardware-in-the-loop test bench is designed. The bench is used to test the behaviour of an electronic control unit used in Maserati to control the dynamics of an air spring system. First the mathematical model of the plant has been defined, then the simulation enviroment and the test environment have been set up. The performed tests succesfully highlighted some bugs in the device under test.

Virtual sensing technology applied to a swarm of autonomous robots.

This thesis proposes a novel technology in the field of swarm robotics that allows a swarm of robots to sense a virtual environment through virtual sensors. Virtual sensing is a desirable and helpful technology in swarm robotics research activity, because it allows the researchers to efficiently and quickly perform experiments otherwise more expensive and time consuming, or even impossible. In particular, we envision two useful applications for virtual sensing technology. On the one hand, it is possible to prototype and foresee the effects of a new sensor on a robot swarm, before producing it. On the other hand, thanks to this technology it is possible to study the behaviour of robots operating in environments that are not easily reproducible inside a lab for safety reasons or just because physically infeasible. The use of virtual sensing technology for sensor prototyping aims to foresee the behaviour of the swarm enhanced with new or more powerful sensors, without producing the hardware. Sensor prototyping can be used to tune a new sensor or perform performance comparison tests between alternative types of sensors. This kind of prototyping experiments can be performed through the presented tool, that allows to rapidly develop and test software virtual sensors of different typologies and quality, emulating the behaviour of several hardware real sensors. By investigating on which sensors is better to invest, a researcher can minimize the sensors’ production cost while achieving a given swarm performance. Through augmented reality, it is possible to test the performance of the swarm in a desired virtual environment that cannot be set into the lab for physical, logistic or economical reasons. The virtual environment is sensed by the robots through properly designed virtual sensors. Virtual sensing technology allows a researcher to quickly carry out real robots experiment in challenging scenarios without all the required hardware and environment.

Applicazioni di Mixed Reality e Microsoft Hololens: studio e riprogettazione del concetto di ologramma e della relativa gestione all'interno di un'applicazione olografica.

La tesi presenta una panoramica sull'augmented, virtual e mixed reality, descrivendone le caratteristiche e le modalità di sviluppo. Come caso di studio viene analizzato il dispositivo Microsoft Hololens, descrivendone le caratteristiche concettuali, hardware e software. Per le applicazioni di questo dispositivo viene effettuata una riprogettazione della gestione e del concetto di ologramma all'interno di un'applicazione olografica, analizzandone i motivi e i vantaggi. E' fornita una overview sui dettagli implementativi della riprogettazione al fine di chiarire ogni aspetto dell'applicazione.

Analisi delle performance di sistemi di Mixed Reality cooperativi in rete locale

Siamo sempre stati abituati fin dal principio ad interagire con l’ambiente che ci circonda, utilizzando gli oggetti fisici presenti attorno a noi per soddisfare le nostre esigenze, ma se esistesse di più di questo? Se fosse possibile avere attorno a noi oggetti che non sono propriamente corpi fisici, ma che hanno un comportamento coerente con l’ambiente circostante e non venisse percepita la differenza tra essi e un vero e proprio oggetto? Ci si sta riferendo a quella che oggi viene chiamata Mixed Reality, una realtà mista resa visibile tramite appositi dispositivi, in cui è possibile interagire contemporaneamente con oggetti fisici e oggetti digitali che vengono chiamati ologrammi. Un aspetto fondamentale che riguarda questa tipologia di sistemi è sicuramente la collaborazione. In questa tesi viene esaminato il panorama delle tecnologie allo stato dell'arte che permettono di vivere esperienze di Collaborative Mixed Reality, ma soprattutto ci si concentra sulla progettazione di una vera e propria architettura in rete locale che consenta la realizzazione di un sistema condiviso. Successivamente all'applicazione di varie strategie vengono valutati i risultati ottenuti da rigorose misurazioni, per determinare scientificamente le prestazioni dell'architettura progettata e poter trarre delle conclusioni, considerando analogie e differenze rispetto ad altre possibili soluzioni.

Sviluppo in Mixed Reality: i design pattern nei principali framework di sviluppo.

L'obbiettivo della seguente tesi è quello di analizzare quali sono ad oggi i migliori framework per lo sviluppo di software in Mixed Reality e studiare i design pattern più utili ad uno sviluppatore in questo ambito. Nel primo capitolo vengono introdotti i concetti di realtà estesa, virtuale, aumentata e mista con le relative differenze. Inoltre vengono descritti i diversi dispositivi che consentono la realtà mista, in particolare i due visori più utilizzati: Microsoft Hololens 2 e Magic Leap 1. Nello stesso capitolo vengono presentati anche gli aspetti chiave nello sviluppo in realtà mista, cioè tutti gli elementi che consentono un'esperienza in Mixed Reality. Nel secondo capitolo vengono descritti i framework e i kit utili per lo sviluppo di applicazioni in realtà mista multi-piattaforma. In particolare vengono introdotti i due ambienti di sviluppo più utilizzati: Unity e Unreal Engine, già esistenti e non specifici per lo sviluppo in MR ma che diventano funzionali se integrati con kit specifici come Mixed Reality ToolKit. Nel terzo capitolo vengono trattati i design pattern, comuni o nativi per applicazioni in realtà estesa, utili per un buono sviluppo di applicazioni MR. Inoltre, vengono presi in esame alcuni dei principali pattern più utilizzati nella programmazione ad oggetti e si verifica se e come sono implementabili correttamente su Unity in uno scenario di realtà mista. Questa analisi risulta utile per capire se l'utilizzo dei framework di sviluppo, metodo comunemente più utilizzato, comporta dei limiti nella libertà di sviluppo del programmatore.

Studio del modello Augmented Worlds per l'ingegneria di sistemi software basati su realtà aumentata: esplorazioni basate su Unity e Android

Negli ultimi anni il crescere della capacità di calcolo dei dispositivi e il diminuire delle loro dimensioni ha permesso di far nascere idee innovative e di esplorare più in dettaglio alcuni settori. Uno di questi è sicuramente quello della realtà aumentata (Augmented reality), infatti, la discussione su questo argomento nasce già negli anni 40 del novecento, ma, per mancanza di mezzi tecnologici adeguati, solo ora si iniziano a realizzare le prime applicazioni che si basano su questa idea e il grande pubblico inizia ad interessarsi all'argomento. La costruzione di applicazioni di realtà aumentata, al momento, è basata sull'utilizzo di alcuni framework che mettono a disposizione dello sviluppatore alcune funzioni molto comuni in questi software, come il tracking di marker e l'utilizzo di bottoni virtuali. Questi strumenti, seppur comodi, non garantiscono sempre la buona progettazione dell'applicazione e tendono a unire insieme parti di logica applicativa e di grafica. Per questo motivo, anche nella ricerca, si stanno cercando di studiare dei metodi in grado di permettere una divisione ottimale dei compiti in modo da ottenere un software riusabile e facilmente mantenibile, ma che permetta anche di sfruttare appieno le potenzialità dell'AR attraverso, per esempio, sistemi distribuiti. Un framework concettuale che rientra in questa categoria è sicuramente quello degli Augmented Worlds, mondi virtuali collegati a quello fisico che ne incrementano le caratteristiche e le possibilità tramite la presenza di entità aumentate. La tesi, quindi, si propone di sviluppare un prototipo di un framework con le caratteristiche sopra citate di estendibilità, utilizzando le piattaforme in questo momento a disposizione e ispirandosi alla visione degli Augmented Worlds.

AIRYE: Uno strumento in realtà aumentata per la produzione musicale

L’elaborato di tesi che segue si propone di ricercare una nuova linea di esperienza utente e d’interazione attraverso la tecnologia della realtà aumentata contestualizzata nel mondo della produzione musicale. La tesi analizza innanzitutto la tecnologia come strumento d’interazione, la sua storia e la sua evoluzione fino ai nostri giorni con un excursus sui campi applicativi e i device utili per avere un’esperienza completa. L’analisi prosegue attraverso un’attenta ricerca sullo stato dell’arte e sulle applicazioni di realtà aumentata nel campo della musica presenti sul mercato per giungere ad una dettagliata indagine sugli strumenti che hanno indirizzato il concept di progetto. L’output di progetto è rappresentato da un’interfaccia 2d per la parametrizzazione di alcuni settaggi fondamentali ed infine da un’interfaccia semplificata in realtà aumentata. Quest’ultima è composta prevalentemente da sliders con cui è possibile modificare dei parametri della traccia audio portando l’esperienza di produzione musicale verso una concezione democratica, semplificata e giocosa. L’obiettivo di progetto è stato quello di creare un sistema di facile utilizzo anche da parti di utenti poco esperti con i software Daw presenti sul mercato attualmente.

L’efficacia dei programmi di teleriabilitazione nel trattamento post-chirurgico di spalla: una revisione sistematica della letteratura

Background: Attualmente, diversi approcci riabilitatavi vengono proposti per il miglioramento del dolore e della funzione a seguito di intervento chirurgico alla spalla. La teleriabilitazione si è rivelata una valida alternativa per l’erogazione dei servizi riabilitativi a distanza: grazie all’utilizzo delle tecnologie di telecomunicazione, è possibile fornire consulenza, valutazione, monitoraggio, intervento e educazione, superando le barriere geografiche, temporali, sociali ed economiche. Obiettivo: Lo scopo della revisione è valutare le prove di efficacia presenti in letteratura in merito all’utilizzo della teleriabilitazione per il miglioramento funzionale dei pazienti operati di spalla. Metodi: La revisione è stata redatta secondo la checklist del PRISMA statement. La ricerca è stata condotta da aprile a settembre 2022, consultando le banche dati Cochrane Library, PubMed e PEDro. La ricerca è stata limitata a studi primari sperimentali e quasi, con full-text reperibile in lingua italiana o inglese e senza limiti temporali, inerenti soggetti operati alla spalla trattati con diverse modalità di teleriabilitazione. Come elemento di confronto è stato incluso qualsiasi tipo di intervento riabilitativo convenzionale. La qualità metodologica è stata valutata con la PEDro scale. Risultati: sono stati inclusi 4 RCT e 1 CCT, che hanno indagato misure di outcome relative a: dolore, mobilità articolare, forza, abilità funzionale e qualità della vita. Dall’analisi qualitativa dei risultati degli studi si è osservato che in tutti i gruppi sperimentali si sono ottenuti miglioramenti significativi negli outcome d’interesse; in due studi è stata evidenziata una superiorità statisticamente significativa della teleriabilitazione. Conclusioni: Nonostante la revisione non sia giunta a risultati generalizzabili e di validità assoluta, la teleriabilitazione ha dimostrato di essere una modalità sicura ed efficace nel miglioramento clinico e funzionale dei soggetti operati alla spalla.