Sistemi Informatici Mobili e Realtà Aumentata a supporto del lavoro cooperativo in scenari d'emergenza: studio e realizzazione di un caso applicativo

Scopo primario della tesi è studiare e progettare un sistema informatico che proponga un buon livello di innovazione tecnologica in relazione al contesto applicativo di riferimento, ovvero relativamente al supporto al lavoro cooperativo di operatori in scenari d'emergenza. In particolare, la tesi si concentra sul'ecosistema software che ruota attorno al singolo operatore con l'obiettivo di dotarlo di uno strumento informatico che gli consenta di avvalersi di un efficace ed efficiente supporto per l'esecuzione delle proprie azioni sul campo (in generale, per la prima assistenza ai pazienti, triage e monitoraggio di parametri vitali). A tal proposito, l'ambito tecnologico di riferimento è quello del Pervasive Mobile Computing, con specifico riferimento ai sistemi context-aware e a quelli con comportamenti fortemente autonomi. Inoltre, al fine di dotare l'operatore di un supporto per l'interazione con il sistema stesso in modalità hands-free, sono stati analizzati i dispositivi wearable di tipo "see-through"; in particolare, i recenti glasses per realtà aumentata. La progettazione del sistema e il conseguente sviluppo del prototipo (che implementa le caratteristiche più significative ed innovative), è stata guidata da un'ispirazione basata sul modello ad agenti (integrato a quello ad oggetti), rivisitando opportunamente l'utilizzo dei componenti offerti dalla tecnologia Android, al fine di ottenere un prodotto software robusto e modulare facilmente manutenibile ed estendibile. Infine, per garantire a ciascun operatore rapida fruibilità del sistema sono state sfruttate le potenzialità offerte dall'uso di smartcard NFC ed inoltre è stato progettato un protocollo di comunicazione ad hoc, basato su stack Bluetooth, per l'integrazione degli AR-Glasses all'intero sistema.

Sistemi di realtà aumentata basati su smart-glasses

Grazie al progresso nel potenziamento dell'hardware sono state sviluppate tecnologie che stanno rivoluzionando drasticamente il modo di interagire con l'ambiente circostante. Una di queste è sicuramente l'avvento degli Smartglasses e della relativa Realtà Aumentata (AR). Sulla scia del rapido diffondersi di questa tecnologia negli ultimi anni, questa tesi vuole mettere in evidenza le opportunità e i benefici legati al suo impiego esponendo come questa aprirà nuove forme di servizi e metterà in discussione il mondo così come lo si conosce. In particolare la tesi è strutturata in questo modo: nel capitolo uno verranno esposte le tre principali tecnologie wearables rispettivamente SmartWatches, FitnessTracker e SmartGlasses, quest'ultimi visti non solo come dei semplici wearables ma come dispositivi per la Realtà Aumentata, mostrando la maggior parte di quelli presenti sul mercato con una relativa descrizione delle caratteristiche hardware. Nel secondo capitolo verrà dunque esposto il concetto di Realtà Aumentata con l'illustrazione di come si progetta generalmente un'applicazione AR ed analizzando alcuni degli innumerevoli scenari applicativi. Nel terzo capitolo verrà presentato come la tecnologia smartglass utilizzi la realtà aumentata e verranno mostrate le proposte applicative che i più importanti prodotti offrono. Nel quarto capitolo invece si parlerà dei vari tools di sviluppo per progettare ed implementare applicazioni di realtà aumentata in particolare per dispositivi smartglasses. Nel quinto capitolo verrà approfondito proprio uno di questi tools: le librerie di ARToolKit raccontandone le caratteristiche principali e mostrando la struttura generale di un'applicazione che ne fa uso. Infine nel sesto capitolo verrà discusso come questa realtà aumentata grazie all'ausilio di tutti questi dispositivi sta cambiando il modo di interagire con tutto l'ambiente, creando scenari futuristici che coinvolgono ambienti intelligenti nei quali si creerà un livello digitale che aumenterà il mondo fisico.

Progettazione ed implementazione di un sistema di navigazione in realtà aumentata per motocicli

Questa tesi ha l'obiettivo di mostrare i fondamenti per lo sviluppo di un sistema di navigazione per caschi motociclistici in realtà aumentata. L'applicazione implementata sfrutta i concetti principali di realtà aumentata sensor based, cioè basata su geo-localizzazione, al fine di fornire i dati di interesse all'interno del campo visivo del guidatore. Lo scopo del progetto è di realizzare un sistema in grado di interagire con l'utente attraverso i suoi movimenti, e rendere fruibili le informazioni riguardanti la navigazione all'interno di un casco. Non sono pochi i vantaggi che questi strumenti potrebbero introdurre nella guida veicolare, anche in ambito di sicurezza stradale. Infatti, in questo modo, l'utilizzatore del casco non sarà più costretto a distrarsi dalla guida per consultare le informazioni del percorso da seguire, ma avrà la possibilità di vederle proiettate direttamente all'interno del suo campo visivo. Tutte le informazioni che oggi siamo abituati a ricevere da un comune navigatore satellitare (o dal nostro smartphone), saranno disponibili nella visione reale del mondo che ci circonda in modo rapido e intuitivo. Si è scelto di utilizzare Android come sistema operativo per lo sviluppo del sistema, utilizzando la libreria droidAR per la realtà aumentata.

Evaluation of a portable image overlay projector for the visualisation of surgical navigation data: phantom studies

Presenting visual feedback for image-guided surgery on a monitor requires the surgeon to perform time-consuming comparisons and diversion of sight and attention away from the patient. Deficiencies in previously developed augmented reality systems for image-guided surgery have, however, prevented the general acceptance of any one technique as a viable alternative to monitor displays. This work presents an evaluation of the feasibility and versatility of a novel augmented reality approach for the visualisation of surgical planning and navigation data. The approach, which utilises a portable image overlay device, was evaluated during integration into existing surgical navigation systems and during application within simulated navigated surgery scenarios.

Augmented reality endoscopic system (ARES): preliminary results

During endoscopic surgery, it is difficult to ascertain the anatomical landmarks once the anatomy is fiddled with or if the operating area is filled with blood. An augmented reality system will enhance the endoscopic view and further enable surgeons to view hidden critical structures or the results of preoperative planning.

Landmark-based augmented reality system for paranasal and transnasal endoscopic surgeries

BACKGROUND: In this paper we present a landmark-based augmented reality (AR) endoscope system for endoscopic paranasal and transnasal surgeries along with fast and automatic calibration and registration procedures for the endoscope. METHODS: Preoperatively the surgeon selects natural landmarks or can define new landmarks in CT volume. These landmarks are overlaid, after proper registration of preoperative CT to the patient, on the endoscopic video stream. The specified name of the landmark, along with selected colour and its distance from the endoscope tip, is also augmented. The endoscope optics are calibrated and registered by fast and automatic methods. Accuracy of the system is evaluated in a metallic grid and cadaver set-up. RESULTS: Root mean square (RMS) error of the system is 0.8 mm in a controlled laboratory set-up (metallic grid) and was 2.25 mm during cadaver studies. CONCLUSIONS: A novel landmark-based AR endoscope system is implemented and its accuracy is evaluated. Augmented landmarks will help the surgeon to orientate and navigate the surgical field. Studies prove the capability of the system for the proposed application. Further clinical studies are planned in near future.

Exploring Urban Environments Using Virtual and Augmented Reality

In this paper, we propose the use of specific system architecture, based on mobile device, for navigation in urban environments. The aim of this work is to assess how virtual and augmented reality interface paradigms can provide enhanced location based services using real-time techniques in the context of these two different technologies. The virtual reality interface is based on faithful graphical representation of the localities of interest, coupled with sensory information on the location and orientation of the user, while the augmented reality interface uses computer vision techniques to capture patterns from the real environment and overlay additional way-finding information, aligned with real imagery, in real-time. The knowledge obtained from the evaluation of the virtual reality navigational experience has been used to inform the design of the augmented reality interface. Initial results of the user testing of the experimental augmented reality system for navigation are presented.

Marker-Based Embodied Interaction for Handheld Augmented Reality Games

This article deals with embodied user interfaces for handheld augmented reality games, which consist of both physical and virtual components. We have developed a number of spatial interaction techniques that optically capture the device's movement and orientation relative to a visual marker. Such physical interactions in 3-D space enable manipulative control of mobile games. In addition to acting as a physical controller that recognizes multiple game-dependent gestures, the mobile device augments the camera view with graphical overlays. We describe three game prototypes that use ubiquitous product packaging and other passive media as backgrounds for handheld augmentation. The prototypes can be realized on widely available off-the-shelf hardware and require only minimal setup and infrastructure support.

Design and Implementation of a Laparoscope Calibration Method for Augmented Reality Navigation

Intraoperative laparoscopic calibration remains a challenging task. In this work we present a new method and instrumentation for intraoperative camera calibration. Contrary to conventional calibration methods, the proposed technique allows intraoperative laparoscope calibration from single perspective observations, resulting in a standardized scheme for calibrating in a clinical scenario. Results show an average displacement error of 0.52 ± 0.19 mm, indicating sufficient accuracy for clinical use. Additionally, the proposed method is validated clinically by performing a calibration during the surgery.

Mobile Indoor Augmented Reality. Exploring applications in hospitality environments.

Augmented reality (AR) is been increasingly used in mobile devices. Most of the available applications are set to work outdoors, mainly due to the availability of a reliable positioning system. Nevertheless, indoor (smart) spaces offer a lot of opportunities of creating new service concepts. In particular, in this paper we explore the applicability of mobile AR to hospitality environments (hotels and similar establishments). From the state-of-the-art of technologies and applications, a portfolio of services has been identified and a prototype using off-the-shelf technologies has been designed. Our objective is to identify the next technological challenges to overcome in order to have suitable underlying infrastructures and innovative services which enhance the traveller?s experience.