Studio e Progettazione di Sistemi Hands-free basati su Tecnologie Wearable: Un Caso di Studio in Ambito Healthcare

Il percorso intrapreso per la scrittura della tesi, si snoda essenzialmente in due fasi e nove capitoli. La prima fase ha avuto come scopo l’analisi dal punto di vista tecnologico dell’evoluzione tecnologica avuta nel campo di realtà aumentata e dispositivi wearable in particolare orientandosi verso una tipologia di interazioni hands-free. Questo ha portato ad una ricognizione sullo stato dell’arte permettendo di attenere una base di conoscenza solida per la costruzione del sistema presentato all’interno del caso di studi. I capitoli successivi, in particolare dal quinto, introducono alla seconda fase ed hanno lo scopo di progettare e realizzare il sistema proposto, partendo da un’attenta analisi delle caratteristiche richieste passando per la prototipazione e successiva definizione delle caratteristiche atte alla valutazione del sistema stesso.

Progettazione e sviluppo di un framework in ambiente Android per la realizzazione di interfacce utente see-through e hands-free

La tesi tratta l'esplorazione dell'idea per una nuova tipologia di interfacce utente, progettate specificatamente per dispositivi wearable hands free (più nel dettaglio per un'accoppiata smart glass Android based e gesture recognizer). Per facilitare lo sviluppo di applicazioni basate su questi dispositivi è stato realizzato un framework che permetta di costruire, in maniera relativamente semplice, interfacce utente innovative, che consentano all'utente di interagire con i contenuti digitali senza interrompere il suo contatto con la realtà e senza costringerlo a utilizzare le mani.

Studio e sviluppo di un framework per il riconoscimento vocale nell'ambito di sistemi Hands-Free

Negli ultimi anni, l'avanzamento incredibilmente rapido della tecnologia ha portato allo sviluppo e alla diffusione di dispositivi elettronici portatili aventi dimensioni estremamente ridotte e, allo stesso tempo, capacità computazionali molto notevoli. Più nello specifico, una particolare categoria di dispositivi, attualmente in forte sviluppo, che ha già fatto la propria comparsa sul mercato mondiale è sicuramente la categoria dei dispositivi Wearable. Come suggerisce il nome, questi sono progettati per essere letteralmente indossati, pensati per fornire continuo supporto, in diversi ambiti, a chi li utilizza. Se per interagire con essi l’utente non deve ricorrere obbligatoriamente all'utilizzo delle mani, allora si parla di dispositivi Wearable Hands Free. Questi sono generalmente in grado di percepire e catture l’input dell'utente seguendo tecniche e metodologie diverse, non basate sul tatto. Una di queste è sicuramente quella che prevede di modellare l’input dell’utente stesso attraverso la sua voce, appoggiandosi alla disciplina dell’ASR (Automatic Speech Recognition), che si occupa della traduzione del linguaggio parlato in testo, mediante l’utilizzo di dispositivi computerizzati. Si giunge quindi all’obiettivo della tesi, che è quello di sviluppare un framework, utilizzabile nell’ambito dei dispositivi Wearable, che fornisca un servizio di riconoscimento vocale appoggiandosi ad uno già esistente, in modo che presenti un certo livello di efficienza e facilità di utilizzo. Più in generale, in questo documento si punta a fornire una descrizione approfondita di quelli che sono i dispositivi Wearable e Wearable Hands-Free, definendone caratteristiche, criticità e ambiti di utilizzo. Inoltre, l’intento è quello di illustrare i principi di funzionamento dell’Automatic Speech Recognition per passare poi ad analisi, progettazione e sviluppo del framework appena citato.

Sistemi hands-free basati su smart-glass a supporto di attivita di customer care di un'impresa

Da alcuni anni in ambito business ed enterprise si sta diffondendo l'utilizzo di dispositivi wearable al fine di rendere più efficiente ed efficace la gestione di molteplici attività e processi aziendali. I sistemi hand-held comunemente utilizzati in ambito lavorativo, tra cui smartphone e tablet, spesso non risultano idonei in contesti in cui un operatore debba interagire con il dispositivo mentre ha le proprie mani impegnate con attrezzature e strumenti di lavoro. I sistemi hands-free rimediano a tali problematiche supportando tecniche di interazione non convenzionali che consentono all'operatore di mantenere libere le proprie mani durante la consultazione del dispositivo e di rimanere concentrato sull'attività che sta svolgendo. I sistemi basati su smart-glass, oltre ad offrire funzionalità hands-free, presentano l'ulteriore vantaggio di poter presentare all'interno del campo visivo dell'utente importanti informazioni di supporto inerenti all'attività che sta svolgendo, avvalendosi anche dell'utilizzo di tecnologie di realtà aumentata. La sinergia tra dispositivi basati su smart-glass e tecniche di realtà aumentata sta destando un crescente interesse sia in ambito accademico che industriale; esiste la possibilità che in un prossimo futuro questa tipologia di sistemi divenga la nuova piattaforma computazionale enterprise di riferimento. L'obiettivo di questo lavoro di tesi è stato lo studio e la progettazione di una soluzione hands-free basata su smart-glass in grado di supportare alcune attività di customer care del Gruppo Loccioni, una società che si occupa dello sviluppo di sistemi automatici di misura e controllo per migliorare la qualità, l'efficienza e la sostenibilità di prodotti, processi ed edifici. In particolare, il sistema sviluppato ha consentito di migliorare la gestione dei processi di manutenzione e riparazione degli impianti energetici sostenibili che il Gruppo Loccioni installa presso le sedi di imprese clienti.

Augmented Reality for Airport Control Tower: Analysis and Implementation of Safety Nets

With the development of new technologies, Air Traffic Control, in the nearby of the airport, switched from a purely visual control to the use of radar, sensors and so on. As the industry is switching to the so-called Industry 4.0, also in this frame, it would be possible to implement some of the new tools that can facilitate the work of Air Traffic Controllers. The European Union proposed an innovative project to help the digitalization of the European Sky by means of the Single European Sky ATM Research (SESAR) program, which is the foundation on which the Single European Sky (SES) is based, in order to improve the already existing technologies to transform Air Traffic Management in Europe. Within this frame, the Resilient Synthetic Vision for Advanced Control Tower Air Navigation Service Provision (RETINA) project, which saw the light in 2016, studied the possibility to apply new tools within the conventional control tower to reduce the air traffic controller workload, thanks to the improvements in the augmented reality technologies. After the validation of RETINA, the Digital Technologies for Tower (DTT) project was established and the solution proposed by the University of Bologna aimed, among other things, to introduce Safety Nets in a Head-Up visualization. The aim of this thesis is to analyze the Safety Nets in use within the control tower and, by developing a working concept, implement them in a Head-Up view to be tested by Air Traffic Control Operators (ATCOs). The results, coming from the technical test, show that this concept is working and it could be leading to a future implementation in a real environment, as it improves the air traffic controller working conditions also when low visibility conditions apply.

Progettazione e sviluppo di applicazioni di augmented reality interattive

Nel 2011, circa 5 milioni di persone usavano regolarmente applicativi mobi-le basati su qualche forma di realtà aumentata. Secondo alcune previsioni entro il 2020 servizi che sfruttano questa tecnologia avranno una base di utenti che rasenta un settimo della popolazione mondiale, rendendo di fatto la realtà aumentata l’ottavo mezzo di comunicazione di massa dopo la stampa, l’audio registrato, il cinema, la radio, la televisione, internet ed infine i servizi multimediali mobile. La tesi si propone di illustrare le caratteristiche di questa tecnologia distinguendo varie tecniche e strumenti a disposizione degli sviluppatori per costruire l’esperienza di augmented reality. Entrando nel merito dello sviluppo software si analizza una architettura di riferimento proposta per sistemi di realtà aumentata e pattern per lo sviluppo dei diversi componenti. Infine vengono confrontati gli SDK oggi più diffusi cercando di evidenziarne caratteristiche comuni e peculiarità.

The road to augmented reality: a comprehensive study of hardware and applications over the last ten years

Augmented reality has been growing extensively over the years in all aspects and multiple fields. My aim in this paper is to present a comprehensive study on augmented reality(AR) hardware and its applications from early developments to the possible future trends. Particularly my research is more focused on last 11 years(2012-2022), where I systematically reviewed 30 research papers per year to get a clear knowledge on trends of AR. A total of 330 publications were reviewed and grouped according to their application. The review's main contribution is to show the entire landscape of AR research and to provide a broad view of how it has evolved. Along with various AR glasses history and specifications are presented in detail. In the penultimate chapter I explained my methodology of research following my analysis from the past to the present along with my thoughts for the future. To conclude my study, In the final chapter I made some statements about possible future with AR, VR and XR(extended reality).

Enhanced switchgear connection testing through augmented reality: early developments

Augmented reality is an emerging field of interactive design in which virtual material is seamlessly blended with displays of real world environments. The tremendous potential of augmented reality has begun to be explored with the emergence of personal mobile devices capable of constructing engaging augmented reality experiences. This work is part of a project aiming at using augmented reality goggles to bring advance information to the user interacting with switch-gear during automation cabling. In particular we will be focusing on the recognition and definition of the figures of the component on the AR device. In this part we are using standard camera that allows us to get real images and helps us to localize the gearbox in space through ARUCO marker and we can exploit in order to re-project the actual shape of the component that are currently interested in manipulation by exploiting the data provided by the database. The experiments are carried out using the camera to get the images of the real world switch-gear and re-project those images with the component superimposed on it. Using transforms of the database we did localization to re-project the rendered image of component exactly on the real world component, which can be further integrated in AR goggles to see the component superimposed in real-time.

Ideazione di sistemi distribuiti collaborativi basati realta aumentata mobile: un caso di studio, con approfondimento relativo al livello delle comunicazioni

Il grande sviluppo a cui stiamo assistendo negli ultimi anni nell'ambito delle tecnologie mobile e del wearable computing apre le porte a scenari innovativi e interessanti per quanto riguarda sistemi distribuiti collaborativi. Le persone possono sempre più facilmente cooperare e scambiarsi informazioni grazie a queste nuove tecnologie e si può pensare allo sviluppo di sistemi che permettano forme molto avanzate di collaborazione facendo leva sull'aspetto hands-free, ovvero sulla possibilità di utilizzare dispositivi che liberino le mani, come i moderni smart-glasses. Per lo sviluppo di tali sistemi è necessario però studiare nuove tecniche e architetture, in quanto gli strumenti ad oggi a disposizione a supporto della realtà aumentata non sembrano essere del tutto adeguati per tale scopo. Infatti piattaforme come Wikitude o Layar, seppure offrano potenti tecniche di riconoscimento di markers e immagini e di rendering, non offrono quella dinamicità fondamentale per un sistema distribuito collaborativo. Questo scritto ha lo scopo di esplorare questi aspetti mediante l'ideazione, l'analisi, la progettazione e la prototipazione di un semplice caso di studio ispirato a sistemi collaborativi distribuiti basati su realtà aumentata. In particolare in questo lavoro si porrà l'attenzione sul livello delle comunicazioni e delle infrastrutture di rete.

Evoluzione delle user interface: dalla metafora del desktop al Wearable Computing

Negli ultimi decenni abbiamo assistito ad una graduale evoluzione delle interfacce utente e della tecnologia. Sono stati introdotti nuovi dispositivi mobile e wearable che negli ultimi anni hanno subito un incremento tecnologico esponenziale arrivando a fondersi con la vita di tutti i giorni. Le classiche interfacce grafiche WIMP, la metafora del desktop e le linee guida di progettazione fino ad ora sviluppate non risultano ideali per la nuova tecnologia di wearable computing. Il proposito che la tesi vuole andare ad affrontare è proprio quello di indagare lo sviluppo di nuove user inteface basate sulla tecnologia wearable ed in particolare per smart glasses.

Studio e sviluppo di un Framework in ambiente Android per la realizzazione di Interfacce Utente Innovative basate su Smart Glass

La tesi tratta dell'esplorazione di una possibile interfaccia utente per Smart Glass in un contesto di utilizzo hands-free con elementi virtuali appartenenti ad un sistema di riferimento solidale all'utente e non al dispositivo, e la conseguente realizzazione di un Framework per lo sviluppo di applicazioni Andoid rispondenti a tale interfaccia e relativo test.

Sistemi Informatici Mobili e Realtà Aumentata a supporto del lavoro cooperativo in scenari d'emergenza: studio e realizzazione di un caso applicativo

Scopo primario della tesi è studiare e progettare un sistema informatico che proponga un buon livello di innovazione tecnologica in relazione al contesto applicativo di riferimento, ovvero relativamente al supporto al lavoro cooperativo di operatori in scenari d'emergenza. In particolare, la tesi si concentra sul'ecosistema software che ruota attorno al singolo operatore con l'obiettivo di dotarlo di uno strumento informatico che gli consenta di avvalersi di un efficace ed efficiente supporto per l'esecuzione delle proprie azioni sul campo (in generale, per la prima assistenza ai pazienti, triage e monitoraggio di parametri vitali). A tal proposito, l'ambito tecnologico di riferimento è quello del Pervasive Mobile Computing, con specifico riferimento ai sistemi context-aware e a quelli con comportamenti fortemente autonomi. Inoltre, al fine di dotare l'operatore di un supporto per l'interazione con il sistema stesso in modalità hands-free, sono stati analizzati i dispositivi wearable di tipo "see-through"; in particolare, i recenti glasses per realtà aumentata. La progettazione del sistema e il conseguente sviluppo del prototipo (che implementa le caratteristiche più significative ed innovative), è stata guidata da un'ispirazione basata sul modello ad agenti (integrato a quello ad oggetti), rivisitando opportunamente l'utilizzo dei componenti offerti dalla tecnologia Android, al fine di ottenere un prodotto software robusto e modulare facilmente manutenibile ed estendibile. Infine, per garantire a ciascun operatore rapida fruibilità del sistema sono state sfruttate le potenzialità offerte dall'uso di smartcard NFC ed inoltre è stato progettato un protocollo di comunicazione ad hoc, basato su stack Bluetooth, per l'integrazione degli AR-Glasses all'intero sistema.

Ideazione di sistemi distribuiti collaborativi basati su realta aumentata mobile: un caso di studio, con approfondimento relativo all'interfaccia utente

L'obiettivo di questa tesi è quello di esplorare l'ideazione di sistemi software collaborativi innovativi basati su smart-glasses e forme di realtà aumentata mobile. In particolare, è stato formulato un caso di studio che cattura alcuni aspetti essenziali di questi sistemi: un'applicazione nel quale più utenti dotati di smart glasses si muovono in una zona precisa cercando di raggiungere tutti i punti d'interesse preimpostati in fase di inizializzazione e ottendendo le ricompense contenute dentro agli scrigni situati nei suddetti punti. Lo specifico caso di studio si occupa di approfondire gli aspetti relativi all'Interfaccia Utente, mentre precedentemente erano state affrontate le parti riguardanti la comunicazione e la cooperazione. L'applicazione è location-based e si serve delle tecniche di geolocalizzazione GPS ed è hands-free perché l'interfaccia grafica è mostrata all'utente tramite lo schermo degli smart-glasses.