Kinect e openNI a supporto delle NUI (Natural User Interface) applications.

Descrizione delle Natural User Interface e del framework OpenNI 2.0 compreso di caso applicativo.

Un ambiente integrato basato sul calcolo degli eventi per il riconoscimento di pose mediante kinect

In questo lavoro di tesi si è sviluppato un sistema di supporto al fisioterapista per la definizione degli esercizi da far eseguire al paziente che consenta di automatizzare il controllo della corretta esecuzione degli esercizi stessi da parte del paziente. Si è realizzato un linguaggio per codificare gli esercizi ed un editor per poterli esprimere, attraverso il linguaggio, da parte dello specialista. E' stato realizzato un motore che riesca a valutare in modo automatico se il paziente sta eseguendo correttamente gli esercizi proposti, confrontando le pose riconosciute utilizzando il sensore Microsoft Kinect con le pose degli esercizi definiti attraverso l'editor. Il filo conduttore per la realizzazione del linguaggio e del motore è stata la teoria del Calcolo degli Eventi, estesa con il concetto di aspettativa.

Tecniche per la separazione live di piani di profondita in un flusso video mediante Kinect e una applicazione nell'intrattenimento digitale

Keying e composizione sono da sempre tecniche ampiamente utilizzate in contesti multimediali, quali produzione cinematografica e televisiva; il chroma keying è in particolare la tecnica più popolare, ma presenta una serie di limiti e problematiche. In questo elaborato viene proposta una tecnica alternativa di estrazione, basata sull'uso della profondità, operante in tempo reale e che sfrutta il device Kinect di Microsoft. Sono proposti una serie di algoritmi, basati su tecniche di edge detection, utilizzati per il miglioramento della depth map lungo i bordi di estrazione; viene infine testato il risultato ottenuto dall'implementazione del sistema e proposta una possibile applicazione nell'ambito del teatro multimediale.

Analisi sperimentale sull'utilizzo del Microsoft Kinect One come sistema di Body Tracking per la realta virtuale in riabilitazione

In questo progetto di tesi sarà innanzitutto presentato il Kinect One e sarà fatta una panoramica sull’uso della realtà virtuale in ambito riabilitativo. In seguito sarà analizzato l’algoritmo di Body tracking, valutandone il comportamento in diverse situazioni pratiche e poi stimandone la precisione in statica. Sarà presentato un filtraggio per limitare il rumore in tempo reale e valutarne i pro ed i contro in funzione delle caratteristiche impostabili. Saranno presentate inoltre le metodologie con cui gli algoritmi integrati del Kinect permettono di ricavare una stima dell’orientamento delle parti anatomiche nello spazio ed alcune considerazioni circa le implicazioni pratiche di tali metodologie, anche in base alle osservazioni sul campo ottenute durante i mesi di realizzazione di questo progetto. Lo scopo è determinare se e come sia possibile utilizzare il Microsoft Kinect One come unico sistema di motion tracking del paziente in applicazioni cliniche di riabilitazione, quali limiti ci sono nel suo utilizzo e quali categorie di scenari e prove potrebbe supportare.

Installazione del navigation stack su rover terrestre e applicazione del kinect nello human-robot interaction.

Progetto SHERPA. Installazione e configurazione del Navigaton Stack su Rover terrestre. Utilizzo e configurazione di LMS151 Sick. Utilizzo e configurazione di Asus Xtion Pro. Progettazione di software per la localizzazione e l'inseguimento di persone tramite camera di profondita.

Riconoscimento di gesti: estensione a più punti del corpo e ad attori multipli

Negli ultimi anni si è assistito ad una radicale rivoluzione nell’ambito dei dispositivi di interazione uomo-macchina. Da dispositivi tradizionali come il mouse o la tastiera si è passati allo sviluppo di nuovi sistemi capaci di riconoscere i movimenti compiuti dall’utente (interfacce basate sulla visione o sull’uso di accelerometri) o rilevare il contatto (interfacce di tipo touch). Questi sistemi sono nati con lo scopo di fornire maggiore naturalezza alla comunicazione uomo-macchina. Le nuove interfacce sono molto più espressive di quelle tradizionali poiché sfruttano le capacità di comunicazione naturali degli utenti, su tutte il linguaggio gestuale. Essere in grado di riconoscere gli esseri umani, in termini delle azioni che stanno svolgendo o delle posture che stanno assumendo, apre le porte a una serie vastissima di interessanti applicazioni. Ad oggi sistemi di riconoscimento delle parti del corpo umano e dei gesti sono ampiamente utilizzati in diversi ambiti, come l’interpretazione del linguaggio dei segni, in robotica per l’assistenza sociale, per indica- re direzioni attraverso il puntamento, nel riconoscimento di gesti facciali [1], interfacce naturali per computer (valida alternativa a mouse e tastiera), ampliare e rendere unica l’esperienza dei videogiochi (ad esempio Microsoft 1 Introduzione Kinect© e Nintendo Wii©), nell’affective computing1 . Mostre pubbliche e musei non fanno eccezione, assumendo un ruolo cen- trale nel coadiuvare una tecnologia prettamente volta all’intrattenimento con la cultura (e l’istruzione). In questo scenario, un sistema HCI deve cercare di coinvolgere un pubblico molto eterogeneo, composto, anche, da chi non ha a che fare ogni giorno con interfacce di questo tipo (o semplicemente con un computer), ma curioso e desideroso di beneficiare del sistema. Inoltre, si deve tenere conto che un ambiente museale presenta dei requisiti e alcune caratteristiche distintive che non possono essere ignorati. La tecnologia immersa in un contesto tale deve rispettare determinati vincoli, come: - non può essere invasiva; - deve essere coinvolgente, senza mettere in secondo piano gli artefatti; - deve essere flessibile; - richiedere il minor uso (o meglio, la totale assenza) di dispositivi hardware. In questa tesi, considerando le premesse sopracitate, si presenta una sistema che può essere utilizzato efficacemente in un contesto museale, o in un ambiente che richieda soluzioni non invasive. Il metodo proposto, utilizzando solo una webcam e nessun altro dispositivo personalizzato o specifico, permette di implementare i servizi di: (a) rilevamento e (b) monitoraggio dei visitatori, (c) riconoscimento delle azioni.

Ingegnerizzazione di sistemi software basati su schermi adattativi pervasivi

Ingegnerizzazione di sistemi software per schermi pervasivi che riconoscono l'attenzione degli osservatori e adattano ad essi i propri contenuti, interagendo tramite interfacce naturali. Viene proposto un framework per facilitare lo sviluppo di applicazioni che utilizzano kinect e OpenNI. Sulla base del framework realizzato viene presentato anche lo sviluppo di un prototipo per uno di questi sistemi, calato nel contesto accademico.

Realizzazione di un'applicazione di Projection Mapping con OpenFrameworks

Il Projection Mapping è una tecnologia che permette di proiettare delle immagini sulla superficie di uno o più oggetti, anche di forma irregolare, trasformandoli in display interattivi. Il suo utilizzo, abbinato a suoni e musiche, permette di creare una narrazione audio-visuale. La suggestione e l’emozione scaturite dalla visione di una performance di Projection Mapping su di un monumento pubblico, hanno stimolato la mia curiosità e mi hanno spinto a cercare di capire se era possibile realizzare autonomamente qualcosa di analogo. Obiettivo di questa tesi è perciò spiegare cos’è il Projection Mapping e fornire una serie di indicazioni utili per realizzarne un’applicazione interattiva con OpenFrameworks (un framework open-source in C++) e hardware a basso costo (un computer, un videoproiettore e un sensore Kinect).

Progettazione di un'applicazione di tipo "gesture-based" per il controllo di velivoli senza pilota a bordo

Progettazione e programmazione di un interfaccia per il controllo col movimento della mano di un simulatore di UAV.

Studio di un sistema di dimensionamento volumetrico mediante sensori di profondità

Il seguente lavoro tratta lo sviluppo di un sistema di dimensionamento volumetrico mediante telecamere Kinect su software di visione industriale. Presenta quindi i risultati ottenuti con lo stesso sistema ma con l'utilizzo delle due Kinect Camera, valutandone le differenze di prestazioni

Integrazione di dati antropometrici e termografici per l'analisi della distribuzione di temperatura all'interfaccia moncone-protesi d'arto inferiore

Le immagini termiche all’ infrarosso sono utilizzate da molte decadi per monitorare la distribuzione di temperatura della pelle umana. Anormalità come infiammazioni ed infezioni causano un aumento locale della temperatura, visibile sulle immagini sotto forma di hot spot. In tal senso la termografia ad infrarossi può essere utilizzata nel campo ortopedico per rilevare le zone sovra-caricate dalla protesi. Per effettuare una valutazione precisa dell’interfaccia moncone-invasatura può essere utile combinare i dati termografici e i dati antropometrici (superficie tridimensionale del moncone), relativi ai singoli pazienti. Di ciò si occupa tale studio, che dopo aver fornito una panoramica sulla termografia e sulla reverse engineering, sperimenta delle tecniche semplici e low-cost per combinare i dati termici e i dati antropometrici. Buoni risultati si riescono ad ottenere utilizzando un Kinect come scanner e un software open-source per il texture mapping. I termogrammi 3D ricreati costituiscono un ottimo strumento di valutazione, per medici e tecnici ortopedici, circa il design dell’invasatura.

Stima della superficie corporea in condizioni statiche e dinamiche: Stato dell'arte e soluzioni innovative low-cost

In questo progetto di tesi ci si addentrerà nel campo della scansione corporea, e più in generale di qualunque oggetto. In questo ambito le soluzioni proposte sono numerose e questo settore ha vissuto negli ultimi anni un’incredibile crescita, favorita anche dalla nascita delle stampanti 3D. Si può ragionevolmente supporre che tale crescita non sia destinata ad esaurirsi nei prossimi anni; ci sono i presupposti per cui questo settore occupi fette sempre più importanti del mercato. In questa tesi ci si è occupati prevalentemente di tecniche di scansione del corpo umano, in quanto una descrizione geometricamente accurata della superficie corporea riveste una notevole importanza sia nelle applicazioni industriali che nello studio della biomeccanica del movimento. Per quanto riguarda le applicazioni industriali si pensi ad esempio all’utilizzo di scanner 3D in accoppiata alle moderne stampanti 3D per la realizzazione di protesi custom o al comparto sartoriale per il confezionamento di abiti su misura. Nell’ambito della biomeccanica essa può risultare utile sia per quanto riguarda gli aspetti cinematici e dinamici nei campi riabilitativo, ergonomico e sportivo, sia per quanto riguarda la stima delle grandezze antropometriche. Attualmente esistono sistemi di scansione corporea low-cost che si stanno sempre più diffondendo e si può pensare ad un futuro neanche tanto lontano nel quale essi siano presenti in maniera diffusa nelle abitazioni. In tale contesto gli obiettivi di questa tesi sono: 1) Documentare quanto prodotto finora a livello scientifico, brevettuale ed industriale, evidenziando meriti e limiti di ciascuna soluzione. 2) Individuare e valutare la realizzabilità di soluzioni innovative low-cost.

Ricostruzione densa di ambienti di grande dimensione

Uno dei principali settori di studio nell’ambito della visione artificiale riguarda lo sviluppo e la continua ricerca di tecniche e metodologie atte alla ricostruzione di ambienti 3D. Una di queste è il Kinect Fusion, la quale utilizza il dispositivo Kinect per catturare ed elaborare informazioni provenienti da mappe di profondità relative a una particolare scena, per creare un modello 3D dell’ambiente individuato dal sensore. Il funzionamento generale del sistema “Kinect Fusion” consiste nella ricostruzione di superfici dense attraverso l’integrazione delle informazioni di profondità dei vari frame all’interno di un cubo virtuale, che a sua volta viene partizionato in piccoli volumi denominati voxel, e che rappresenta il volume della scena che si intende ricostruire. Per ognuno di tali voxel viene memorizzata la distanza (TSDF) rispetto alla superficie più vicina. Durante lo svolgimento di questo lavoro di tesi ci si è concentrati innanzitutto nell’analisi dell’algoritmo Voxel Hashing, una tecnica che mira a rendere l'algoritmo Kinect Fusion scalabile, attraverso una migliore gestione della struttura dati dei voxel allocando questi ultimi all'interno di una tabella di hash solo se strettamente necessario (TSDF inferiore a una soglia). In una prima fase del progetto si è quindi studiato in dettaglio il funzionamento di suddetta tecnica, fino a giungere alla fase della sua implementazione all’interno di un framework di ricostruzione 3D, basato su Kinect Fusion; si è quindi reso il sistema realizzato più robusto tramite l’applicazione di diverse migliorie. In una fase successiva sono stati effettuati test quantitativi e qualitativi per valutarne l'efficienza e la robustezza. Nella parte finale del progetto sono stati delineati i possibili sviluppi di future applicazioni.

Realizzazione di un sistema di ricostruzione 3D su piattaforma mobile.

Porting dell'esecuzione dell'algoritmo KinectFusion su piattaforma mobile (Android).