Studio del modello Augmented Worlds per l'ingegneria di sistemi software basati su realtà aumentata: esplorazioni basate su Unity e Android

Negli ultimi anni il crescere della capacità di calcolo dei dispositivi e il diminuire delle loro dimensioni ha permesso di far nascere idee innovative e di esplorare più in dettaglio alcuni settori. Uno di questi è sicuramente quello della realtà aumentata (Augmented reality), infatti, la discussione su questo argomento nasce già negli anni 40 del novecento, ma, per mancanza di mezzi tecnologici adeguati, solo ora si iniziano a realizzare le prime applicazioni che si basano su questa idea e il grande pubblico inizia ad interessarsi all'argomento. La costruzione di applicazioni di realtà aumentata, al momento, è basata sull'utilizzo di alcuni framework che mettono a disposizione dello sviluppatore alcune funzioni molto comuni in questi software, come il tracking di marker e l'utilizzo di bottoni virtuali. Questi strumenti, seppur comodi, non garantiscono sempre la buona progettazione dell'applicazione e tendono a unire insieme parti di logica applicativa e di grafica. Per questo motivo, anche nella ricerca, si stanno cercando di studiare dei metodi in grado di permettere una divisione ottimale dei compiti in modo da ottenere un software riusabile e facilmente mantenibile, ma che permetta anche di sfruttare appieno le potenzialità dell'AR attraverso, per esempio, sistemi distribuiti. Un framework concettuale che rientra in questa categoria è sicuramente quello degli Augmented Worlds, mondi virtuali collegati a quello fisico che ne incrementano le caratteristiche e le possibilità tramite la presenza di entità aumentate. La tesi, quindi, si propone di sviluppare un prototipo di un framework con le caratteristiche sopra citate di estendibilità, utilizzando le piattaforme in questo momento a disposizione e ispirandosi alla visione degli Augmented Worlds.

Design and development of a Unity based framework for augmented worlds

The way we've always envisioned computer programs is slowly changing. Thanks to the recent development of wearable technologies we're experiencing the birth of new applications that are no more limited to a fixed screen, but are instead sparse in our surroundings by means of fully fledged computational objects. In this paper we discuss proper techniques and technologies to be used for the creation of "Augmented Worlds", through the design and development of a novel framework that can help us understand how to build these new programs.

Realtà aumentata per dispositivi android: lo stato dell'arte

Obiettivo di questa tesi è quello di illustrare il mondo della realtà aumentata (AR) ed in particolare delle tecnologie software disponibili per lo sviluppo di applicazioni su dispositivi Android. Si partirà dal darne una definizione e riassumerne i principali fatti storici, all'illustrarne i vari hardware disponibili sul mercato e le tecnologie software per sviluppare progetti. Non verranno tralasciati utilizzi e settori di ricerca, e si presenterà poi il sistema operativo Android. Dopo uno sguardo alla sua architettura e alle sue caratteristiche, nonché al linguaggio di programmazione Java, cardine per lo sviluppo in questo sistema, si presenteranno alcune API dell'SDK nativo che si rivelano utili per lo sviluppo di applicazioni per la realtà aumentata. Infine, verrà presentato un approfondimento sull'SDK Metaio.

Studio e sviluppo di un Framework in ambiente Android per la realizzazione di Interfacce Utente Innovative basate su Smart Glass

La tesi tratta dell'esplorazione di una possibile interfaccia utente per Smart Glass in un contesto di utilizzo hands-free con elementi virtuali appartenenti ad un sistema di riferimento solidale all'utente e non al dispositivo, e la conseguente realizzazione di un Framework per lo sviluppo di applicazioni Andoid rispondenti a tale interfaccia e relativo test.

Studio di Augmented World come Paradigma di Progettazione di Sistemi basati su Realtà Aumentata e Pervasive Computing - Verso la Definizione di un Modello

L’obiettivo della tesi è definire un modello che permetta di realizzare applicazioni che integrino diverse tecnologie come la realtà aumentata, pervasive computing e Internet of Things. In particolare si analizza la nozione di "augmentation" che indica un’estensione e un arricchimento delle funzionalità e delle informazioni che possono essere percepite dai sensi umani e che può essere ritrovata, in modo diverso, nelle tecnologie trattate. A tal proposito, si introduce l’idea di augmented world, il cui scopo è quello di realizzare un livello aumentato collegato ad un livello fisico, attraverso il quale permettere l’interazione tra elementi virtuali ed elementi fisici. In seguito, tramite un'analisi tassonomica si vogliono individuare le caratteristiche ed i requisiti fondanti degli ambiti applicativi trattati per poter definire un modello che possa essere utilizzato come riferimento per le diverse tipologie di applicazioni. Infine il modello proposto è stato applicato a diversi casi di studio che spaziano tra i principali contesti applicativi in cui vengono utilizzate le tecnologie illustrate. La modellazione è fatta prescindendo da alcuni aspetti relativi alla comunicazione o alla sincronizzazione tra livello reale e livello aumentato, in quanto l’obiettivo è esporre una prima validazione del modello che permetta di riscontrarne l’adeguatezza ed eventuali limiti per una futura raffinazione.

Studio e prototipazione di un'architettura software di alto livello per lo sviluppo di applicazioni di mixed reality su piattaforma HoloLens

La tesi si pone come obiettivo quello di realizzare un'architettura di alto livello per lo sviluppo di applicazioni dirette alla piattaforma HoloLens. Per conseguire tale risultato si è rivelata necessaria una prima parte di studio dei concetti di mixed reality, con riferimento particolare al caso specifico HoloLens, per poi dirigere l'attenzione alla comprensione dell'architettura di applicazioni olografiche. L'analisi delle API rilasciate per lo sviluppo di applicazioni HoloLens ha permesso di riscontrare varie criticità, alle quali si è posto rimedio tramite l'introduzione di un livello di astrazione, che possa consentire uno sviluppo di applicazioni ad un livello più alto. Si è poi introdotto il concetto di augmented worlds (mondi aumentati), i cui principi cardine hanno fornito le basi per la progettazione e lo sviluppo di un sistema client-server, nel quale il dispositivo HoloLens agisce come un client e la logica di controllo degli elementi del modello dell'applicazione viene gestita lato server.

Immersive interfaces for art education teaching and learning in virtual and real world learning environments

Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences

Fully articulated hand tracking promises to enable fundamentally new interactions with virtual and augmented worlds, but the limited accuracy and efficiency of current systems has prevented widespread adoption. Today's dominant paradigm uses machine learning for initialization and recovery followed by iterative model-fitting optimization to achieve a detailed pose fit. We follow this paradigm, but make several changes to the model-fitting, namely using: (1) a more discriminative objective function; (2) a smooth-surface model that provides gradients for non-linear optimization; and (3) joint optimization over both the model pose and the correspondences between observed data points and the model surface. While each of these changes may actually increase the cost per fitting iteration, we find a compensating decrease in the number of iterations. Further, the wide basin of convergence means that fewer starting points are needed for successful model fitting. Our system runs in real-time on CPU only, which frees up the commonly over-burdened GPU for experience designers. The hand tracker is efficient enough to run on low-power devices such as tablets. We can track up to several meters from the camera to provide a large working volume for interaction, even using the noisy data from current-generation depth cameras. Quantitative assessments on standard datasets show that the new approach exceeds the state of the art in accuracy. Qualitative results take the form of live recordings of a range of interactive experiences enabled by this new approach.

Magával ragadó interfészek Art Education tanítás és tanulás vegyes valóság virtuális és valós környezetben

How selected next generation technologies support collaborative participation between higher education students and educators within a virtual socially networked e-learning landscape and encourage the interaction of communities of learners in multiple modes, ranging from text and images accessed within the Deakin Studies Online learning management system to a constructed virtual world in which the user’s creative imagination transports them to the “other side” of their computer screens is discussed in this paper. These constructed environments enable multiple simultaneous participants to access graphically built 3D environments, interact with digital artifacts and various functional tools and represent themselves through avatars, to communicate with other participants and engage in collaborative art learning.

Desarrollo de un videojuego basado en procesamiento de imágenes

El objetivo del proyecto consiste en crear un videojuego cuyos niveles se generen a partir del procesamiento de imágenes que el usuario podrá capturar con la cámara del móvil, o que podrá obtener de la galería de fotos del dispositivo. Se realizará una segmentación de la imagen y se extraerán así los elementos a utilizar en el juego, como por ejemplo zonas por las que poder movernos con un personaje, o bien piezas de un puzzle que debamos volver a construir. El videojuego se implementará con el motor Cocos2d-x.

AR-park för Android : Augmented Reality park i Sundsvall

Målet med detta projekt är att ta fram en applikationsprototyp för Androidenheter som ska locka användare av applikationen till och tillbaka till broparken i Skönsberg med hjälp av augmented-reality. Applikationen ska känna av om användaren befinner sig inom eller utanför parkens område och visa olika bilder/modeller på specifika GPS-koordinater i det digitala lagret beroende på användarens positionering. Arbetet har genomförts i samarbete med Dohi på uppdrag av Sundsvalls kommun där regelbundna möten hafts med uppdragsgivaren. Utvecklingen av applikationen sker i PhoneGap med Wikitude-plugin. Projektet har resulterat i en applikationsprototyp som använder ActionRanges, som är en typ av GeoFence, för att presentera olika bilder hämtade från en egen server i det digitala lagret beroende på användarens position. Användarna har inom parkens område möjlighet att själv påverka de bilder som visas i det digitala lagret genom att i applikationen ta en bild som laddas upp till servern där bilderna lagras och där bilden som tagits även visar det digitala lagret.

Applying Augmented Reality to Outdoors Industrial Use

Augmented Reality (AR) is currently gaining popularity in multiple different fields. However, the technology for AR still requires development in both hardware and software when considering industrial use. In order to create immersive AR applications, more accurate pose estimation techniques to define virtual camera location are required. The algorithms for pose estimation often require a lot of processing power, which makes robust pose estimation a difficult task when using mobile devices or designated AR tools. The difficulties are even larger in outdoor scenarios where the environment can vary a lot and is often unprepared for AR. This thesis aims to research different possibilities for creating AR applications for outdoor environments. Both hardware and software solutions are considered, but the focus is more on software. The majority of the thesis focuses on different visual pose estimation and tracking techniques for natural features. During the thesis, multiple different solutions were tested for outdoor AR. One commercial AR SDK was tested, and three different custom software solutions were developed for an Android tablet. The custom software solutions were an algorithm for combining data from magnetometer and a gyroscope, a natural feature tracker and a tracker based on panorama images. The tracker based on panorama images was implemented based on an existing scientific publication, and the presented tracker was further developed by integrating it to Unity 3D and adding a possibility for augmenting content. This thesis concludes that AR is very close to becoming a usable tool for professional use. The commercial solutions currently available are not yet ready for creating tools for professional use, but especially for different visualization tasks some custom solutions are capable of achieving a required robustness. The panorama tracker implemented in this thesis seems like a promising tool for robust pose estimation in unprepared outdoor environments.

A prototype augmented reality collaborative process modelling tool

Identifying, modelling and documenting business processes usually requires the collaboration of many stakeholders that may be spread across companies in inter-organizational business settings. While there are many process modelling tools available, the support they provide for remote collaboration is still limited. This demonstration showcases a novel prototype application that implements collaborative virtual environment and augmented reality technologies to improve remote collaborative process modelling, with an aim to assisting common collaboration tasks by providing an increased sense of immersion in an intuitive shared work and task space. Our tool is easily deployed using open source software, and commodity hardware, and is expected to assist with saving money on travel costs for large scale process modelling projects covering national and international centres within an enterprise.