Riconoscimento di gesti: estensione a più punti del corpo e ad attori multipli

Negli ultimi anni si è assistito ad una radicale rivoluzione nell’ambito dei dispositivi di interazione uomo-macchina. Da dispositivi tradizionali come il mouse o la tastiera si è passati allo sviluppo di nuovi sistemi capaci di riconoscere i movimenti compiuti dall’utente (interfacce basate sulla visione o sull’uso di accelerometri) o rilevare il contatto (interfacce di tipo touch). Questi sistemi sono nati con lo scopo di fornire maggiore naturalezza alla comunicazione uomo-macchina. Le nuove interfacce sono molto più espressive di quelle tradizionali poiché sfruttano le capacità di comunicazione naturali degli utenti, su tutte il linguaggio gestuale. Essere in grado di riconoscere gli esseri umani, in termini delle azioni che stanno svolgendo o delle posture che stanno assumendo, apre le porte a una serie vastissima di interessanti applicazioni. Ad oggi sistemi di riconoscimento delle parti del corpo umano e dei gesti sono ampiamente utilizzati in diversi ambiti, come l’interpretazione del linguaggio dei segni, in robotica per l’assistenza sociale, per indica- re direzioni attraverso il puntamento, nel riconoscimento di gesti facciali [1], interfacce naturali per computer (valida alternativa a mouse e tastiera), ampliare e rendere unica l’esperienza dei videogiochi (ad esempio Microsoft 1 Introduzione Kinect© e Nintendo Wii©), nell’affective computing1 . Mostre pubbliche e musei non fanno eccezione, assumendo un ruolo cen- trale nel coadiuvare una tecnologia prettamente volta all’intrattenimento con la cultura (e l’istruzione). In questo scenario, un sistema HCI deve cercare di coinvolgere un pubblico molto eterogeneo, composto, anche, da chi non ha a che fare ogni giorno con interfacce di questo tipo (o semplicemente con un computer), ma curioso e desideroso di beneficiare del sistema. Inoltre, si deve tenere conto che un ambiente museale presenta dei requisiti e alcune caratteristiche distintive che non possono essere ignorati. La tecnologia immersa in un contesto tale deve rispettare determinati vincoli, come: - non può essere invasiva; - deve essere coinvolgente, senza mettere in secondo piano gli artefatti; - deve essere flessibile; - richiedere il minor uso (o meglio, la totale assenza) di dispositivi hardware. In questa tesi, considerando le premesse sopracitate, si presenta una sistema che può essere utilizzato efficacemente in un contesto museale, o in un ambiente che richieda soluzioni non invasive. Il metodo proposto, utilizzando solo una webcam e nessun altro dispositivo personalizzato o specifico, permette di implementare i servizi di: (a) rilevamento e (b) monitoraggio dei visitatori, (c) riconoscimento delle azioni.

Riabilitazione e valutazione di pazienti con deficit neurologici mediante l'utilizzo di realtà virtuale, feedback aumentati, sensori inerziali e tecnologie video a basso costo.

La neuroriabilitazione è un processo attraverso cui individui affetti da patologie neurologiche mirano al conseguimento di un recupero completo o alla realizzazione del loro potenziale ottimale benessere fisico, mentale e sociale. Elementi essenziali per una riabilitazione efficace sono: una valutazione clinica da parte di un team multidisciplinare, un programma riabilitativo mirato e la valutazione dei risultati conseguiti mediante misure scientifiche e clinicamente appropriate. Obiettivo principale di questa tesi è stato sviluppare metodi e strumenti quantitativi per il trattamento e la valutazione motoria di pazienti neurologici. I trattamenti riabilitativi convenzionali richiedono a pazienti neurologici l’esecuzione di esercizi ripetitivi, diminuendo la loro motivazione. La realtà virtuale e i feedback sono in grado di coinvolgerli nel trattamento, permettendo ripetibilità e standardizzazione dei protocolli. È stato sviluppato e valutato uno strumento basato su feedback aumentati per il controllo del tronco. Inoltre, la realtà virtuale permette l’individualizzare il trattamento in base alle esigenze del paziente. Un’applicazione virtuale per la riabilitazione del cammino è stata sviluppata e testata durante un training su pazienti di sclerosi multipla, valutandone fattibilità e accettazione e dimostrando l'efficacia del trattamento. La valutazione quantitativa delle capacità motorie dei pazienti viene effettuata utilizzando sistemi di motion capture. Essendo il loro uso nella pratica clinica limitato, una metodologia per valutare l’oscillazione delle braccia in soggetti parkinsoniani basata su sensori inerziali è stata proposta. Questi sono piccoli, accurati e flessibili ma accumulano errori durante lunghe misurazioni. È stato affrontato questo problema e i risultati suggeriscono che, se il sensore è sul piede e le accelerazioni sono integrate iniziando dalla fase di mid stance, l’errore e le sue conseguenze nella determinazione dei parametri spaziali sono contenuti. Infine, è stata presentata una validazione del Kinect per il tracking del cammino in ambiente virtuale. Risultati preliminari consentono di definire il campo di utilizzo del sensore in riabilitazione.

Ingegnerizzazione di sistemi software basati su schermi adattativi pervasivi

Ingegnerizzazione di sistemi software per schermi pervasivi che riconoscono l'attenzione degli osservatori e adattano ad essi i propri contenuti, interagendo tramite interfacce naturali. Viene proposto un framework per facilitare lo sviluppo di applicazioni che utilizzano kinect e OpenNI. Sulla base del framework realizzato viene presentato anche lo sviluppo di un prototipo per uno di questi sistemi, calato nel contesto accademico.

Realizzazione di un'applicazione di Projection Mapping con OpenFrameworks

Il Projection Mapping è una tecnologia che permette di proiettare delle immagini sulla superficie di uno o più oggetti, anche di forma irregolare, trasformandoli in display interattivi. Il suo utilizzo, abbinato a suoni e musiche, permette di creare una narrazione audio-visuale. La suggestione e l’emozione scaturite dalla visione di una performance di Projection Mapping su di un monumento pubblico, hanno stimolato la mia curiosità e mi hanno spinto a cercare di capire se era possibile realizzare autonomamente qualcosa di analogo. Obiettivo di questa tesi è perciò spiegare cos’è il Projection Mapping e fornire una serie di indicazioni utili per realizzarne un’applicazione interattiva con OpenFrameworks (un framework open-source in C++) e hardware a basso costo (un computer, un videoproiettore e un sensore Kinect).

Progettazione di un'applicazione di tipo "gesture-based" per il controllo di velivoli senza pilota a bordo

Progettazione e programmazione di un interfaccia per il controllo col movimento della mano di un simulatore di UAV.

Studio di un sistema di dimensionamento volumetrico mediante sensori di profondità

Il seguente lavoro tratta lo sviluppo di un sistema di dimensionamento volumetrico mediante telecamere Kinect su software di visione industriale. Presenta quindi i risultati ottenuti con lo stesso sistema ma con l'utilizzo delle due Kinect Camera, valutandone le differenze di prestazioni

Integrazione di dati antropometrici e termografici per l'analisi della distribuzione di temperatura all'interfaccia moncone-protesi d'arto inferiore

Le immagini termiche all’ infrarosso sono utilizzate da molte decadi per monitorare la distribuzione di temperatura della pelle umana. Anormalità come infiammazioni ed infezioni causano un aumento locale della temperatura, visibile sulle immagini sotto forma di hot spot. In tal senso la termografia ad infrarossi può essere utilizzata nel campo ortopedico per rilevare le zone sovra-caricate dalla protesi. Per effettuare una valutazione precisa dell’interfaccia moncone-invasatura può essere utile combinare i dati termografici e i dati antropometrici (superficie tridimensionale del moncone), relativi ai singoli pazienti. Di ciò si occupa tale studio, che dopo aver fornito una panoramica sulla termografia e sulla reverse engineering, sperimenta delle tecniche semplici e low-cost per combinare i dati termici e i dati antropometrici. Buoni risultati si riescono ad ottenere utilizzando un Kinect come scanner e un software open-source per il texture mapping. I termogrammi 3D ricreati costituiscono un ottimo strumento di valutazione, per medici e tecnici ortopedici, circa il design dell’invasatura.

Stima della superficie corporea in condizioni statiche e dinamiche: Stato dell'arte e soluzioni innovative low-cost

In questo progetto di tesi ci si addentrerà nel campo della scansione corporea, e più in generale di qualunque oggetto. In questo ambito le soluzioni proposte sono numerose e questo settore ha vissuto negli ultimi anni un’incredibile crescita, favorita anche dalla nascita delle stampanti 3D. Si può ragionevolmente supporre che tale crescita non sia destinata ad esaurirsi nei prossimi anni; ci sono i presupposti per cui questo settore occupi fette sempre più importanti del mercato. In questa tesi ci si è occupati prevalentemente di tecniche di scansione del corpo umano, in quanto una descrizione geometricamente accurata della superficie corporea riveste una notevole importanza sia nelle applicazioni industriali che nello studio della biomeccanica del movimento. Per quanto riguarda le applicazioni industriali si pensi ad esempio all’utilizzo di scanner 3D in accoppiata alle moderne stampanti 3D per la realizzazione di protesi custom o al comparto sartoriale per il confezionamento di abiti su misura. Nell’ambito della biomeccanica essa può risultare utile sia per quanto riguarda gli aspetti cinematici e dinamici nei campi riabilitativo, ergonomico e sportivo, sia per quanto riguarda la stima delle grandezze antropometriche. Attualmente esistono sistemi di scansione corporea low-cost che si stanno sempre più diffondendo e si può pensare ad un futuro neanche tanto lontano nel quale essi siano presenti in maniera diffusa nelle abitazioni. In tale contesto gli obiettivi di questa tesi sono: 1) Documentare quanto prodotto finora a livello scientifico, brevettuale ed industriale, evidenziando meriti e limiti di ciascuna soluzione. 2) Individuare e valutare la realizzabilità di soluzioni innovative low-cost.

Ricostruzione densa di ambienti di grande dimensione

Uno dei principali settori di studio nell’ambito della visione artificiale riguarda lo sviluppo e la continua ricerca di tecniche e metodologie atte alla ricostruzione di ambienti 3D. Una di queste è il Kinect Fusion, la quale utilizza il dispositivo Kinect per catturare ed elaborare informazioni provenienti da mappe di profondità relative a una particolare scena, per creare un modello 3D dell’ambiente individuato dal sensore. Il funzionamento generale del sistema “Kinect Fusion” consiste nella ricostruzione di superfici dense attraverso l’integrazione delle informazioni di profondità dei vari frame all’interno di un cubo virtuale, che a sua volta viene partizionato in piccoli volumi denominati voxel, e che rappresenta il volume della scena che si intende ricostruire. Per ognuno di tali voxel viene memorizzata la distanza (TSDF) rispetto alla superficie più vicina. Durante lo svolgimento di questo lavoro di tesi ci si è concentrati innanzitutto nell’analisi dell’algoritmo Voxel Hashing, una tecnica che mira a rendere l'algoritmo Kinect Fusion scalabile, attraverso una migliore gestione della struttura dati dei voxel allocando questi ultimi all'interno di una tabella di hash solo se strettamente necessario (TSDF inferiore a una soglia). In una prima fase del progetto si è quindi studiato in dettaglio il funzionamento di suddetta tecnica, fino a giungere alla fase della sua implementazione all’interno di un framework di ricostruzione 3D, basato su Kinect Fusion; si è quindi reso il sistema realizzato più robusto tramite l’applicazione di diverse migliorie. In una fase successiva sono stati effettuati test quantitativi e qualitativi per valutarne l'efficienza e la robustezza. Nella parte finale del progetto sono stati delineati i possibili sviluppi di future applicazioni.

Realizzazione di un sistema di ricostruzione 3D su piattaforma mobile.

Porting dell'esecuzione dell'algoritmo KinectFusion su piattaforma mobile (Android).

You Can't Touch This: Touch-free Navigation Through Radiological Images

Keyboards, mice, and touch screens are a potential source of infection or contamination in operating rooms, intensive care units, and autopsy suites. The authors present a low-cost prototype of a system, which allows for touch-free control of a medical image viewer. This touch-free navigation system consists of a computer system (IMac, OS X 10.6 Apple, USA) with a medical image viewer (OsiriX, OsiriX foundation, Switzerland) and a depth camera (Kinect, Microsoft, USA). They implemented software that translates the data delivered by the camera and a voice recognition software into keyboard and mouse commands, which are then passed to OsiriX. In this feasibility study, the authors introduced 10 medical professionals to the system and asked them to re-create 12 images from a CT data set. They evaluated response times and usability of the system compared with standard mouse/keyboard control. Users felt comfortable with the system after approximately 10 minutes. Response time was 120 ms. Users required 1.4 times more time to re-create an image with gesture control. Users with OsiriX experience were significantly faster using the mouse/keyboard and faster than users without prior experience. They rated the system 3.4 out of 5 for ease of use in comparison to the mouse/keyboard. The touch-free, gesture-controlled system performs favorably and removes a potential vector for infection, protecting both patients and staff. Because the camera can be quickly and easily integrated into existing systems, requires no calibration, and is low cost, the barriers to using this technology are low.

TECHNOLOGICAL ADVANCEMENT IN REMOTE SENSING AND INNOVATIVE APPLICATION TO VOLCANOLOGY

The integration of remote monitoring techniques at different scales is of crucial importance for monitoring of volcanoes and assessment of the associated hazard. In this optic, technological advancement and collaboration between research groups also play a key role. Vhub is a community cyberinfrastructure platform designed for collaboration in volcanology research. Within the Vhub framework, this dissertation focuses on two research themes, both representing novel applications of remotely sensed data in volcanology: advancement in the acquisition of topographic data via active techniques and application of passive multi-spectral satellite data to monitoring of vegetated volcanoes. Measuring surface deformation is a critical issue in analogue modelling of Earth science phenomena. I present a novel application of the Microsoft Kinect sensor to measurement of vertical and horizontal displacements in analogue models. Specifically, I quantified vertical displacement in a scaled analogue model of Nisyros volcano, Greece, simulating magmatic deflation and inflation and related surface deformation, and included the horizontal component to reconstruct 3D models of pit crater formation. The detection of active faults around volcanoes is of importance for seismic and volcanic hazard assessment, but not a simple task to be achieved using analogue models. I present new evidence of neotectonic deformation along a north-south trending fault from the Mt Shasta debris avalanche deposit (DAD), northern California. The fault was identified on an airborne LiDAR campaign of part of the region interested by the DAD and then confirmed in the field. High resolution LiDAR can be utilized also for geomorphological assessment of DADs, and I describe a size-distance analysis to document geomorphological aspects of hummock in the Shasta DAD. Relating the remote observations of volcanic passive degassing to conditions and impacts on the ground provides an increased understanding of volcanic degassing and how satellite-based monitoring can be used to inform hazard management strategies in nearreal time. Combining a variety of satellite-based spectral time series I aim to perform the first space-based assessment of the impacts of sulfur dioxide emissions from Turrialba volcano, Costa Rica, on vegetation in the surrounding environment, and establish whether vegetation indices could be used more broadly to detect volcanic unrest.

FiFi – Steuerung eines FTF durch Gesten- und Personenerkennung

Um den manuellen Transport in der Intralogistik zu erleichtern, wurde ein Fahrerloses Transportfahrzeug (FTF) entwickelt, das berührungslos vom Bediener gesteuert wird. Die Steuerung erfolgt durch Gesten- und Personenerkennung basierend auf 3D-Daten der Umgebung. Das Paper beschreibt sowohl Zielsetzung, Betriebsarten und Anwendungsmöglichkeiten als auch das Steuerungskonzept der berührungslosen Steuerung und die technische Umsetzung der Plattform. Erste Experimente bestätigen, dass ein Roboter basierend auf 3D-Daten gesteuert werden kann. Verbesserungsmöglichkeiten in der Robustheit werden aufgezeigt.

Hands-Free Navigation in Immersive Environments for the Evaluation of the Effectiveness of Indoor Navigation Systems

While navigation systems for cars are in widespread use, only recently, indoor navigation systems based on smartphone apps became technically feasible. Hence tools in order to plan and evaluate particular designs of information provision are needed. Since tests in real infrastructures are costly and environmental conditions cannot be held constant, one must resort to virtual infrastructures. This paper presents the development of an environment for the support of the design of indoor navigation systems whose center piece consists in a hands-free navigation method using the Microsoft Kinect in the four-sided Definitely Affordable Virtual Environment (DAVE). Navigation controls using the user's gestures and postures as the input to the controls are designed and implemented. The installation of expensive and bulky hardware like treadmills is avoided while still giving the user a good impression of the distance she has traveled in virtual space. An advantage in comparison to approaches using a head mounted display is that the DAVE allows the users to interact with their smartphone. Thus the effects of different indoor navigation systems can be evaluated already in the planning phase using the resulting system

Estimating Gesture Accuracy in Motion-Based Health Games

This manuscript details a technique for estimating gesture accuracy within the context of motion-based health video games using the MICROSOFT KINECT. We created a physical therapy game that requires players to imitate clinically significant reference gestures. Player performance is represented by the degree of similarity between the performed and reference gestures and is quantified by collecting the Euler angles of the player's gestures, converting them to a three-dimensional vector, and comparing the magnitude between the vectors. Lower difference values represent greater gestural correspondence and therefore greater player performance. A group of thirty-one subjects was tested. Subjects achieved gestural correspondence sufficient to complete the game's objectives while also improving their ability to perform reference gestures accurately.