Il senso di presenza nelle realtà virtuali vissute tramite HMD: l'interazione e le interfacce

Grazie alla crescente evoluzione tecnologica è oggi possibile, tramite Head Mounted Display (HMD), vivere una realtà virtuale ricca nei dettagli, interattiva ed immersiva. L’avanzamento in questo settore ha infatti portato a una vera e propria rivoluzione, aprendo la possibilità di utilizzare questa tecnologia in molteplici ambiti. L’ostacolo riscontrato è che a un progresso di tale entità non si associa un adeguato aggiornamento e perfezionamento riguardo alle metodologie di interazione con oggetti 3D, dell’utilizzo di interfacce grafiche e del generale design ambientale. La diretta conseguenza di questo mancato aggiornamento è quella di indebolire o addirittura annullare l’effetto presenza dell'HMD, requisito indispensabile che consente all’utente di immergersi sensorialmente nel contesto simulato. L’obiettivo di questo studio consiste nel comprendere cosa è necessario tenere in considerazione e quali regole vanno cambiate per poter mantenere un'alta sensazione di presenza per l'utente all’interno di una realtà virtuale. A questo scopo è stato creato un ambiente virtuale 3D in grado di supportare l'utilizzo di un HMD, l'Oculus Rift, e di diversi dispositivi di input in grado di consentire controllo tramite movimenti naturali, il Razer Hydra ed il Leap Motion, in modo da poter effettuare un'analisi diretta sul livello del fattore presenza percepito nell'effettuare diverse interazioni con l'ambiente virtuale e le interfacce grafiche attraverso questi dispositivi. Questa analisi ha portato all'individuazione di molteplici aspetti in queste tipologie di interazioni e di design di intrefacce utente che, pur essendo di uso comune negli ambienti 3D contemporanei, se vissuti in un contesto di realtà virtuale non risultano più funzionali e indeboliscono il senso di presenza percepito dall'utente. Per ognuno di questi aspetti è stata proposta ed implementata una soluzione alternativa (basata su concetti teorici quali Natural Mapping, Diegesis, Affordance, Flow) in grado di risultare funzionale anche in un contesto di realtà virtuale e di garantire una forte sensazione di presenza all'utente. Il risultato finale di questo studio sono quindi nuovi metodi di design di ambienti virtuali per realtà aumentata. Questi metodi hanno permesso la creazione di un ambiente virtuale 3D pensato per essere vissuto tramite HMD dove l'utente è in grado di utilizzare movimenti naturali per interagire con oggetti 3D ed operare interfacce grafiche.

Confronto tra dispositivi per la Realtà Virtuale: OSVR vs Oculus Rift

La realtà virtuale è un campo in continua crescita e in costante studio, in particolare nell'applicazione nel campo del gaming e nella formazione. In questa tesi sono stati confrontati e testati due visori per la realtà virtuale di tipo immersivo: OSVR e Oculus Rift DK2. Per il confronto dei due dispositivi sono stati creati su Blender due modelli: una rappresentazione tridimensionale di Times Square molto realistica (sfruttando Google Street View per la visualizzazione degli edifici e dei banner pubblicitari) e un circuito di Go Kart stile cartoon. Successivamente alla creazione di questi, è stato utilizzato il motore grafico Unity per l'aggiunta della dinamica dei componenti dei visori e il completamento dei due progetti, per esempio l'utilizzo degli script per il movimento del go kart. Tramite lo strumento Profiler e il Frame Debugger di Unity sono stati eseguiti i test sulle performance e sono state svolte le considerazioni finali sui visori. I risultati ottenuti possono essere d'aiuto per uno studio successivo sulla realtà virtuale immersiva ed essere una base di partenza per le migliorie da adottare con lo scopo di ottenere migliori prestazioni ed una maggiore interattività con l'utente.

Un'applicazione di realtà virtuale mediante tecnologia immersiva Oculus

Nella tesi in questione si vuole illustrare l'impiego del visore "Oculus DK2" per la realizzazione di un'applicazione grafica interattiva. Una volta indossato il visore, l'utente della suddetta applicazione si troverà all'interno di un museo nel quale potrà muoversi, guardarsi attorno e interagire con i vari oggetti in scena.

Riconoscimento gesti applicato alla Realtà Virtuale

Realizzazione di un software che utilizza la realtà virtuale unitamente al riconoscimento gesti. Si tratta nello specifico di un programma che permette all’utilizzatore, dotato di un paio di occhiali per la visione stereoscopica, la possibilità di muoversi all’interno di un mondo virtuale. Lo spostamento nell’ ambiente realizzato avviene mediante l'impiego di una cyclette, affinchè la sensazione finale per l'utente sia quella di muoversi lungo un percorso su di una bicicletta. A tale proposito viene illustata la realizzazione della pedalata rilevata attraverso un sensore in grado di registrare i movimenti della gamba. succesivamente i dati analizzati saranno impiegati per riconoscere il gesto specifico del movimento in questione, in modo tale da fornire la spinta necessaria a spostarsi nell'ambiente virtuale. L’elaborato si compone di una trattazione teorica degli argomenti, resa necessaria per la progettazione; e di una dettagliata illustrazione delle scelte effettuate nella fase di realizzazione del software. In conclusione vengono accennati i possibili sviluppi futuri, partendo dalla consapevolezza della possibilità di eventuali miglioramenti al software stesso.

Low-cost HMD and EEG: using visual stimulation by the Oculus Rift® to detect stronger ERDs induced by motion imagery

Virtual Reality (VR) can provide visual stimuli for EEG studies that can be altered in real time and can produce effects that are difficult or impossible to reproduce in a non-virtual experimental platform. As part of this experiment the Oculus Rift, a commercial-grade, low-cost, Head Mounted Display (HMD) was assessed as a visual stimuli platform for experiments recording EEG. Following, the device was used to investigate the effect of congruent visual stimuli on Event Related Desynchronisation (ERD) due to motion imagery.

Riabilitazione e valutazione di pazienti con deficit neurologici mediante l'utilizzo di realtà virtuale, feedback aumentati, sensori inerziali e tecnologie video a basso costo.

La neuroriabilitazione è un processo attraverso cui individui affetti da patologie neurologiche mirano al conseguimento di un recupero completo o alla realizzazione del loro potenziale ottimale benessere fisico, mentale e sociale. Elementi essenziali per una riabilitazione efficace sono: una valutazione clinica da parte di un team multidisciplinare, un programma riabilitativo mirato e la valutazione dei risultati conseguiti mediante misure scientifiche e clinicamente appropriate. Obiettivo principale di questa tesi è stato sviluppare metodi e strumenti quantitativi per il trattamento e la valutazione motoria di pazienti neurologici. I trattamenti riabilitativi convenzionali richiedono a pazienti neurologici l’esecuzione di esercizi ripetitivi, diminuendo la loro motivazione. La realtà virtuale e i feedback sono in grado di coinvolgerli nel trattamento, permettendo ripetibilità e standardizzazione dei protocolli. È stato sviluppato e valutato uno strumento basato su feedback aumentati per il controllo del tronco. Inoltre, la realtà virtuale permette l’individualizzare il trattamento in base alle esigenze del paziente. Un’applicazione virtuale per la riabilitazione del cammino è stata sviluppata e testata durante un training su pazienti di sclerosi multipla, valutandone fattibilità e accettazione e dimostrando l'efficacia del trattamento. La valutazione quantitativa delle capacità motorie dei pazienti viene effettuata utilizzando sistemi di motion capture. Essendo il loro uso nella pratica clinica limitato, una metodologia per valutare l’oscillazione delle braccia in soggetti parkinsoniani basata su sensori inerziali è stata proposta. Questi sono piccoli, accurati e flessibili ma accumulano errori durante lunghe misurazioni. È stato affrontato questo problema e i risultati suggeriscono che, se il sensore è sul piede e le accelerazioni sono integrate iniziando dalla fase di mid stance, l’errore e le sue conseguenze nella determinazione dei parametri spaziali sono contenuti. Infine, è stata presentata una validazione del Kinect per il tracking del cammino in ambiente virtuale. Risultati preliminari consentono di definire il campo di utilizzo del sensore in riabilitazione.

Realtà virtuale multiutente

L’obbiettivo di questa tesi è realizzare il prototipo di un’applicazione client-server che permetta di utilizzare in remoto applicazioni in Virtual Reality, fornendo allo stesso tempo supporto alla multiutenza. L’applicazione in realtà virtuale dovrà girare sul server, dispositivo con capacità di calcolo notevolmente superiori rispetto a quelle del client. Più utenti dovranno avere la possibilità di connettersi contemporaneamente e condividere lo stesso spazio virtuale. Il client sarà, in questo caso, un’applicazione Android che si connetterà al server e avrà il compito di mostrare all'utente l’output dell’applicazione in Virtual Reality e allo stesso tempo ricevere l’input da inviare al server. Un altro obbiettivo durante lo sviluppo del prototipo è quello di realizzare una libreria che offra le funzionalità sopraelencate, facilmente integrabile in nuovi progetti o in progetti già esistenti. Utilizzando questa struttura client-server sarà possibile sviluppare applicazioni che permettano a più persone di condividere lo stesso spazio virtuale, ognuno dal proprio punto di vista, utilizzando visori e sistemi operativi diversi.

Desarrollo de un prototipo usando como dispositivo de interacción Leap Motion

Leap Motion [1] es un pequeño dispositivo que se coloca frente al monitor, conectado mediante un cable USB al ordenador, capaz de capturar los movimientos de nuestras manos y dedos con alta precisión, además de algunos objetos como pinceles o bolígrafos. El objetivo principal de este trabajo es evaluar las capacidades de este dispositivo y crear un prototipo que sea capaz de grabar y reconocer gestos para que pueda ser fácilmente integrado a cualquier aplicación. Para ello, el prototipo consta de 2 funciones principales: Grabar un movimiento: en el que recojo los datos que nos ofrece el Leap Motion, los proceso y los guardo en un formato específico. Reconocer un gesto: en el que comparo en cada momento el gesto que se está realizando con los gestos grabados mediante un algoritmo que detectara si son similares o no. Este es un resumen básico del prototipo, sin embargo debemos tener en cuenta una serie de requisitos y parámetros para hacerlo más eficiente y personalizable dependiendo de las necesidades del usuario. ---ABSTRACT---Leap Motion [1] is a small device we place in front of the display unit, connected to a USB cable to the computer. It is able to capture the motion of our hands and fingers with high accuracy, as well as some objects such as pens and brushes. This project's main goal is to evaluate the proficiency of the device, and create a prototype that is able to record and recognize gestures in order for it to be easily integrated into any application. For that, the prototype has 2 main functions: Recording a motion: in which I collect the data offered by the Leap Motion, process it and keep it in a specific format. Recognizing a gesture: in which I compare each time the gesture being made with the gestures recorded using an algorithm to detect whether they are similar or not. This is a basic summary of the prototype, but we need to take into consideration a number of requirements and parameters to make it more efficient and customizable depending on the user's needs.

Study and analysis of the Leap Motion sensor and the Software Development Kit (SDK) for the implementation of visual Human Computer Interfaces

En este proyecto, se presenta un informe técnico sobre la cámara Leap Motion y el Software Development Kit correspondiente, el cual es un dispositivo con una cámara de profundidad orientada a interfaces hombre-máquina. Esto es realizado con el propósito de desarrollar una interfaz hombre-máquina basada en un sistema de reconocimiento de gestos de manos. Después de un exhaustivo estudio de la cámara Leap Motion, se han realizado diversos programas de ejemplo con la intención de verificar las capacidades descritas en el informe técnico, poniendo a prueba la Application Programming Interface y evaluando la precisión de las diferentes medidas obtenidas sobre los datos de la cámara. Finalmente, se desarrolla un prototipo de un sistema de reconocimiento de gestos. Los datos sobre la posición y orientación de la punta de los dedos obtenidos de la Leap Motion son usados para describir un gesto mediante un vector descriptor, el cual es enviado a una Máquina Vectores Soporte, utilizada como clasificador multi-clase.

Uso de Leap Motion en juegos didácticos para niños con necesidades educativas especiales

Este Trabajo de Fin de Grado (TFG) tiene el objetivo incorporar el dispositivo Leap Motion [1] en un juego educativo para niños con necesidades educativas especiales para permitirles aprender de una forma divertida mientras disfrutan con los mini juegos que ofrece nuestra aplicación. Está destinado al apoyo del sistema educativo para los niños con necesidades educativas especiales. Debido al público que tenemos como objetivo debemos de tener en cuenta que hay distintos tipos de usuarios según el tipo de discapacidad que tienen. Entre ellas tenemos discapacidad visual, auditiva, cognitiva y motriz. Tenemos distintos mini juegos para facilitar el aprendizaje de las letras y nuevas palabras, los nombres de colores y diferenciarlos y la asociación de conceptos mediante ejemplos sencillos como son ropa, juguetes y comida. Para hacer que la interacción sea más divertida tenemos distintos tipos de dispositivos de interacción: unos comunes como son el teclado y la pantalla táctil y otros más novedosos como son Kinect [2] y Leap Motion que es el que se introducirá en el desarrollo de este Trabajo de Fin de Grado. El otro objetivo de este proyecto es el estudio de los distintos dispositivos de interacción. Se quiere descubrir qué tipo de sistemas de interacción son más sencillos de aprender, cuáles son más intuitivos para los niños, los que les resultan más interesantes permitiendo captar mejor su atención y sus opuestos, es decir, los que son más difíciles de entender, los más monótonos y los más aburridos para ellos.---ABSTRACT---This Final Degree Project (TFG) aims to incorporate the Leap Motion device [1] in an educational game for children with special educational needs to enable them to learn in a funny way while enjoying the mini games that our application offered. It is intended to support the education system for children with special educational needs. Because the public that we have as objective we must take into account that there are different types of users depending on the type of disability they have. Among them we have visual, auditory, cognitive and motor disabilities. We have different mini games to make easier learning of letters and new words, names and distinguish colors and the association of concepts through simple examples such as clothing, toys and food. To make the interaction more fun we have different interaction devices: common such as the keyboard and the touch screen and other more innovative such as Kinect [2] and Leap Motion which is to be introduced in the development of this Final Degree Work. The other objective of this project is to study the various interaction devices. You want to find out what type of interaction systems are easier to learn, which are more intuitive for children, who are more interesting allowing better capture their attention and their opposites, that is, those that are more difficult to understand, the most monotonous and most boring for them.

Taking the LEAP with the Oculus HMD and CAD - plucking at thin air?

Achieving adequate visualisation of designs within CAD packages remains a challenge for designers with current methods of 3D CAD visualisation requiring either a high level of technical ability, or expensive hardware and software. The recent re-emergence of consumer VR has lowered the barrier for everyday developers wanting to visualise their designs in true 3D. This paper presents the CAD Interaction Lab (CIL) which employs the Oculus Rift Head Mounted Display (HMD) and Leap Motion Controller (LMC) to provide a low cost method enabling users to use their hands to dissect a mechanic model to manipulate and inspect individual components in realistic 3D. Qualitative observations of user interactions with the CIL show that users were able to intuitively manipulate the CAD model using natural hand movements with only minimal instruction.

Criteri e metodi per un museo virtuale di architettura : una proposta per un museo palladiano

Spesso il termine virtuale viene associato ad un mondo immateriale, lontano dalla realtà e distante dagli elementi più concreti che la caratterizzano. La virtualità, tuttavia, non è solo questo. Se considerata, come lo stesso Levy sostiene, un mondo che non si contrappone al reale (ma all’attuale), anzi lo potenzia e lo rafforza, il suo valore e l’idea di essa cambiano notevolmente. Già la fotografia, il cinema, la televisione possono essere considerate, ancora prima della più moderna realtà virtuale e delle innovative tecnologie forme di virtualità. Il loro utilizzo largamente diffuso ha ampliato le potenzialità del concreto ed è oggi apprezzato e utilizzato da tutti. Il nostro progetto nasce dalla volontà di sperimentare le nuove forme del virtuale associandole al campo dell’architettura per potenziarne la conoscenza didattica, la diffusione e trasmettere gli importanti contenuti che le sottendono in maniera chiara ed efficace. Il progetto sviluppato affronta un tema concreto di concept di museo virtuale su web e una proposta di installazione interattiva all’interno del salone di Palazzo Barbaran a Vicenza. A cardine di questi due lavori vi è il lascito Palladiano, a cominciare dallo sprawl di ville, palazzi e chiese diffusi nel paesaggio Veneto, passando per i progetti ideali rimasti solo su carta e concludendo con la sua opera bibliografica più famosa: I quattro libri dell’architettura. Palladio e il digitale è dunque un progetto che vuole dimostrare l’importanza e la versatilità delle installazioni virtuali, quali strumenti utili all’apprendimento e alla trasmissione della conoscenza, e dall’altro rispondere concretamente ai cambiamenti della società, cercando, attraverso queste sperimentazioni, di definire anche i nuovi caratteri dell’ evoluzione museale.

Sviluppo di un ambiente virtuale per la simulazione della evacuazione dei passeggeri dagli aeromobili da trasporto

Presentazione dello sviluppo di un ambiente grafico per la simulazione dell'evacuazione dei passeggeri dagli aeromobili dell'aviazione civile in seguito a situazioni di emergenza.

Analisi sperimentale sull'utilizzo del Microsoft Kinect One come sistema di Body Tracking per la realta virtuale in riabilitazione

In questo progetto di tesi sarà innanzitutto presentato il Kinect One e sarà fatta una panoramica sull’uso della realtà virtuale in ambito riabilitativo. In seguito sarà analizzato l’algoritmo di Body tracking, valutandone il comportamento in diverse situazioni pratiche e poi stimandone la precisione in statica. Sarà presentato un filtraggio per limitare il rumore in tempo reale e valutarne i pro ed i contro in funzione delle caratteristiche impostabili. Saranno presentate inoltre le metodologie con cui gli algoritmi integrati del Kinect permettono di ricavare una stima dell’orientamento delle parti anatomiche nello spazio ed alcune considerazioni circa le implicazioni pratiche di tali metodologie, anche in base alle osservazioni sul campo ottenute durante i mesi di realizzazione di questo progetto. Lo scopo è determinare se e come sia possibile utilizzare il Microsoft Kinect One come unico sistema di motion tracking del paziente in applicazioni cliniche di riabilitazione, quali limiti ci sono nel suo utilizzo e quali categorie di scenari e prove potrebbe supportare.

Dynamic virtual workspace for teleoperation of heterogeneous robots in non-deterministic environments

Robots are ever increasing in a variety of different workplaces providing an array of benefits such alternative solutions to traditional human labor. While developing fully autonomous robots is the ultimate goal in many robotic applications the reality is that there still exist many situationswere robots require some level of teleoperation in order to achieve assigned goals especially when deployed in non-deterministic environments. For instance teleoperation is commonly used in areas such as search and rescue, bomb disposal and exploration of inaccessible or harsh terrain. This is due to a range of factors such as the lack of ability for robots to quickly and reliably navigate unknown environments or provide high-level decision making especially intime critical tasks. To provide an adequate solution for such situations human-in-the-loop control is required. When developing human-in-the-loop control it is important to take advantage of the complimentary skill-sets that both humans and robots share. For example robots can performrapid calculations, provide accurate measurements through hardware such as sensors and store large amounts of data while humans provide experience, intuition, risk management and complex decision making capabilities. Shared autonomy is the concept of building robotic systems that take advantage of these complementary skills-sets to provide a robust an efficient robotic solution. While the requirement of human-in-the-loop control exists Human Machine Interaction (HMI) remains an important research topic especially the area of User Interface (UI) design.In order to provide operators with an effective teleoperation system it is important that the interface is intuitive and dynamic while also achieving a high level of immersion. Recent advancements in virtual and augmented reality hardware is giving rise to innovative HMI systems. Interactive hardware such as Microsoft Kinect, leap motion, Oculus Rift, Samsung Gear VR and even CAVE Automatic Virtual Environments [1] are providing vast improvements over traditional user interface designs such as the experimental web browser JanusVR [2]. This combined with the introduction of standardized robot frameworks such as ROS and Webots [3] that now support a large number of different robots provides an opportunity to develop a universal UI for teleoperation control to improve operator efficiency while reducing teleoperation training.This research introduces the concept of a dynamic virtual workspace for teleoperation of heterogeneous robots in non-deterministic environments that require human-in-the-loop control. The system first identifies the connected robots through the use kinematic information then determines its network capabilities such as latency and bandwidth. Given the robot type and network capabilities the system can then provide the operator with available teleoperation modes such as pick and place control or waypoint navigation while also allowing them to manipulate the virtual workspace layout to provide information from onboard camera’s or sensors.