Riconoscimento di gesti: estensione a movimenti fini su spazi limitati. Teoria e implementazione

Riconoscere un gesto, tracciarlo ed identificarlo è una operazione complessa ed articolata. Negli ultimi anni, con l’avvento massivo di interfacce interattive sempre più sofisticate, si sono ampliati gli approcci nell’interazione tra uomo e macchina. L’obiettivo comune, è quello di avere una comunicazione “trasparente” tra l’utente e il computer, il quale, deve interpretare gesti umani tramite algoritmi matematici. Il riconoscimento di gesti è un modo per iniziare a comprendere il linguaggio del corpo umano da parte della macchina. Questa disciplina, studia nuovi modi di interazione tra questi due elementi e si compone di due macro obiettivi : (a) tracciare i movimenti di un particolare arto; (b) riconoscere tale tracciato come un gesto identificativo. Ognuno di questi due punti, racchiude in sé moltissimi ambiti di ricerca perché moltissimi sono gli approcci proposti negli anni. Non si tratta di semplice cattura dell’immagine, è necessario creare un supporto, a volte molto articolato, nel quale i dati grezzi provenienti dalla fotocamera, necessitano di filtraggi avanzati e trattamenti algoritmici, in modo tale da trasformare informazioni grezze, in dati utilizzabili ed affidabili. La tecnologia riguardo la gesture recognition è rilevante come l’introduzione delle interfacce tattili sui telefoni intelligenti. L’industria oggi ha iniziato a produrre dispositivi in grado di offrire una nuova esperienza, la più naturale possibile, agli utenti. Dal videogioco, all’esperienza televisiva gestita con dei piccoli gesti, all’ambito biomedicale, si sta introducendo una nuova generazione di dispositivi i cui impieghi sono innumerevoli e, per ogni ambito applicativo, è necessario studiare al meglio le peculiarità, in modo tale da produrre un qualcosa di nuovo ed efficace. Questo lavoro di tesi ha l’obiettivo di apportare un contributo a questa disciplina. Ad oggi, moltissime applicazioni e dispositivi associati, si pongono l’obiettivo di catturare movimenti ampi: il gesto viene eseguito con la maggior parte del corpo e occupa una posizione spaziale rilevante. Questa tesi vuole proporre invece un approccio, nel quale i movimenti da seguire e riconoscere sono fatti “nel piccolo”. Si avrà a che fare con gesti classificati fini, dove i movimenti delle mani sono compiuti davanti al corpo, nella zona del torace, ad esempio. Gli ambiti applicativi sono molti, in questo lavoro si è scelto ed adottato l’ambito artigianale.

Riconoscimento di gesti: estensione a più punti del corpo e ad attori multipli

Negli ultimi anni si è assistito ad una radicale rivoluzione nell’ambito dei dispositivi di interazione uomo-macchina. Da dispositivi tradizionali come il mouse o la tastiera si è passati allo sviluppo di nuovi sistemi capaci di riconoscere i movimenti compiuti dall’utente (interfacce basate sulla visione o sull’uso di accelerometri) o rilevare il contatto (interfacce di tipo touch). Questi sistemi sono nati con lo scopo di fornire maggiore naturalezza alla comunicazione uomo-macchina. Le nuove interfacce sono molto più espressive di quelle tradizionali poiché sfruttano le capacità di comunicazione naturali degli utenti, su tutte il linguaggio gestuale. Essere in grado di riconoscere gli esseri umani, in termini delle azioni che stanno svolgendo o delle posture che stanno assumendo, apre le porte a una serie vastissima di interessanti applicazioni. Ad oggi sistemi di riconoscimento delle parti del corpo umano e dei gesti sono ampiamente utilizzati in diversi ambiti, come l’interpretazione del linguaggio dei segni, in robotica per l’assistenza sociale, per indica- re direzioni attraverso il puntamento, nel riconoscimento di gesti facciali [1], interfacce naturali per computer (valida alternativa a mouse e tastiera), ampliare e rendere unica l’esperienza dei videogiochi (ad esempio Microsoft 1 Introduzione Kinect© e Nintendo Wii©), nell’affective computing1 . Mostre pubbliche e musei non fanno eccezione, assumendo un ruolo cen- trale nel coadiuvare una tecnologia prettamente volta all’intrattenimento con la cultura (e l’istruzione). In questo scenario, un sistema HCI deve cercare di coinvolgere un pubblico molto eterogeneo, composto, anche, da chi non ha a che fare ogni giorno con interfacce di questo tipo (o semplicemente con un computer), ma curioso e desideroso di beneficiare del sistema. Inoltre, si deve tenere conto che un ambiente museale presenta dei requisiti e alcune caratteristiche distintive che non possono essere ignorati. La tecnologia immersa in un contesto tale deve rispettare determinati vincoli, come: - non può essere invasiva; - deve essere coinvolgente, senza mettere in secondo piano gli artefatti; - deve essere flessibile; - richiedere il minor uso (o meglio, la totale assenza) di dispositivi hardware. In questa tesi, considerando le premesse sopracitate, si presenta una sistema che può essere utilizzato efficacemente in un contesto museale, o in un ambiente che richieda soluzioni non invasive. Il metodo proposto, utilizzando solo una webcam e nessun altro dispositivo personalizzato o specifico, permette di implementare i servizi di: (a) rilevamento e (b) monitoraggio dei visitatori, (c) riconoscimento delle azioni.

Riconoscimento gesti applicato alla Realtà Virtuale

Realizzazione di un software che utilizza la realtà virtuale unitamente al riconoscimento gesti. Si tratta nello specifico di un programma che permette all’utilizzatore, dotato di un paio di occhiali per la visione stereoscopica, la possibilità di muoversi all’interno di un mondo virtuale. Lo spostamento nell’ ambiente realizzato avviene mediante l'impiego di una cyclette, affinchè la sensazione finale per l'utente sia quella di muoversi lungo un percorso su di una bicicletta. A tale proposito viene illustata la realizzazione della pedalata rilevata attraverso un sensore in grado di registrare i movimenti della gamba. succesivamente i dati analizzati saranno impiegati per riconoscere il gesto specifico del movimento in questione, in modo tale da fornire la spinta necessaria a spostarsi nell'ambiente virtuale. L’elaborato si compone di una trattazione teorica degli argomenti, resa necessaria per la progettazione; e di una dettagliata illustrazione delle scelte effettuate nella fase di realizzazione del software. In conclusione vengono accennati i possibili sviluppi futuri, partendo dalla consapevolezza della possibilità di eventuali miglioramenti al software stesso.

Crittoanalisi Logica di DES

La crittografia ha sempre rivestito un ruolo primario nella storia del genere umano, dagli albori ai giorni nostri, e il periodo in cui viviamo non fa certo eccezione. Al giorno d'oggi, molti dei gesti che vengono compiuti anche solo come abitudine (operazioni bancarie, apertura automatica dell'auto, accedere a Facebook, ecc.), celano al loro interno la costante presenza di sofisticati sistemi crittografici. Proprio a causa di questo fatto, è importante che gli algoritmi utilizzati siano in qualche modo certificati come ragionevolmente sicuri e che la ricerca in questo campo proceda costantemente, sia dal punto di vista dei possibili nuovi exploit per forzare gli algoritmi usati, sia introducendo nuovi e sempre più complessi sistemi di sicurezza. In questa tesi viene proposto una possibile implementazione di un particolare tipo di attacco crittoanalitico, introdotto nel 2000 da due ricercatori dell'Università "La Sapienza" di Roma, e conosciuto come "Crittoanalisi Logica". L'algoritmo su cui è incentrato il lavoro è il Data Encryption Standard (DES), ostico standard crittografico caduto in disuso nel 1999 a causa delle dimensioni ridotte della chiave, seppur tuttora sia algebricamente inviolato. Il testo è strutturato nel seguente modo: il primo capitolo è dedicato ad una breve descrizione di DES e della sua storia, introducendo i concetti fondamentali con cui si avrà a che fare per l'intera dissertazione Nel secondo capitolo viene introdotta la Crittoanalisi Logica e viene fornita una definizione della stessa, accennando ai concetti matematici necessari alla comprensione dei capitoli seguenti. Nel capitolo 3 viene presentato il primo dei due software sviluppati per rendere possibile l'attuazione di questo attacco crittoanalitico, una libreria per la rappresentazione e la manipolazione di formule logiche scritta in Java. Il quarto ed ultimo capitolo descrive il programma che, utilizzando la libreria descritta nel capitolo 3, elabora in maniera automatica un insieme di proposizioni logiche semanticamente equivalenti a DES, la cui verifica di soddisfacibilità, effettuata tramite appositi tools (SAT solvers) equivale ad effettuare un attacco di tipo known-plaintext su tale algoritmo.

Eye-trauma: Event driven control software for gesture recognition in medical simulation

Il progetto Eye-Trauma si colloca all'interno dello sviluppo di un simulatore chirurgico per traumi alla zona oculare, sviluppato in collaborazione con Simulation Group in Boston, Harvard Medical School e Massachusetts General Hospital. Il simulatore presenta un busto in silicone fornito di moduli intercambiabili della zona oculare, per simulare diversi tipi di trauma. L'utilizzatore è chiamato ad eseguire la procedura medica di saturazione tramite degli strumenti chirurgici su cui sono installati dei sensori di forza e di apertura. I dati collezionati vengono utilizzati all'interno del software per il riconoscimento dei gesti e il controllo real-time della performance. L'algoritmo di gesture recognition, da me sviluppato, si basa sul concetto di macchine a stati; la transizione tra gli stati avviene in base agli eventi rilevati dal simulatore.

Presentazione Orale e Gestualità in Interpretazione: analisi teorica e pratica del gesto nella formazione degli interpreti

Il presente lavoro si prefigge l’obiettivo di dimostrare che, per essere considerata completa, la formazione di un interprete deve comprendere, oltre all’insegnamento delle competenze traduttive e linguistiche, anche un percorso volto a migliorare le abilità comunicative degli studenti attraverso l’apprendimento delle tecniche di presentazione orale. Si è deciso di prestare particolare attenzione all’interpretazione consecutiva vista la sua dimensione di azione in pubblico. La presenza fisica di un interprete di consecutiva fa sì che la comunicazione avvenga su due piani paralleli: quello verbale e quello non-verbale. Per questo, un interprete professionista, e quindi uno studente, deve imparare a trasferire il contenuto del messaggio in modo fedele e corretto, sul piano linguistico, ma deve anche imparare ad esprimersi con chiarezza, con una voce ben impostata e ben modulata, con una adeguata velocità di eloquio, prestando attenzione alla dizione, alla fonetica, al contatto visivo con il pubblico, alle espressioni del viso, alla postura e alla gestualità. Per dimostrare l’importanza delle tecniche di presentazione orale nella formazione degli interpreti, si è deciso di iniziare stabilendo i presupposti teorici della professione e descrivendo il lavoro e il ruolo dell’interprete all’interno dell’evento comunicativo della conferenza (capitolo I). Nel capitolo II si è quindi definito il gesto, descrivendo le teorie sulla sua origine cognitiva e funzionale, trattando la letteratura sulle classificazioni delle tipologie gestuali e illustrando uno studio sulle variazioni geografiche dei gesti e uno sulla possibile creazione di un dizionario dei gesti italiani. Infine, il capitolo terzo è stato dedicato alla descrizione delle tecniche e degli aspetti legati alla presentazione orale e il capitolo quarto all’applicazione pratica dei consigli illustrati, attraverso l’uso di materiale di supporto di conferenze interpretate e videoregistrate.

Studio della cinematica del nuoto a stile libero attraverso sensori inerziali

Analisi cinematica delle fasi del nuoto, velocità in vasca e body roll attraverso l'uso di sensori inerziali. Implementazione di innovativi algoritmi di calcolo con l'utilizzo del filtro di Kalman 3D, matrici di rotazione e quaternioni per la determinazione dei parametri fondamentali del nuoto e della posizione del polso nel sistema di riferimento di torace. Confronto dei risultati ottenuti mediante i diversi algoritmi e loro validazione con quelli ottenuti con l'uso della stereofotogrammetria. Gli algoritmi possono essere generalizzati ad altri gesti motori.

Sensor-based evaluation of Circadian motor behavior in people with Dementia. Development and validation of analysis strategies

[ITA]La demenza consiste nel deterioramento, spesso progressivo, dello stato cognitivo di un individuo. Chi è affetto da demenza, presenta alterazioni a livello cognitivo, comportamentale e motorio, ad esempio compiendo gesti ossessivi, ripetitivi, senza uno scopo preciso. La condizione dei pazienti affetti da demenza è valutata clinicamente tramite apposite scale e le informazioni relative al comportamento vengono raccolte intervistando chi se ne occupa, come familiari, il personale infermieristico o il medico curante. Spesso queste valutazioni si rivelano inaccurate, possono essere fortemente influenzate da considerazioni soggettive, e sono dispendiose in termini di tempo. Si ha quindi l'esigenza di disporre di metodiche oggettive per valutare il comportamento motorio dei pazienti e le sue alterazioni patologiche; i sensori inerziali indossabili potrebbero costituire una valida soluzione, per questo scopo. L'obiettivo principale della presente attività di tesi è stato definire e implementare un software per una valutazione oggettiva, basata su sensori, del pattern motorio circadiano, in pazienti affetti da demenza ricoverati in un'unità di terapia a lungo termine, che potrebbe evidenziare differenze nei sintomi della malattia che interessano il comportamento motorio, come descritto in ambito clinico. Lo scopo secondario è stato quello di verificare i cambiamenti motori pre- e post-intervento in un sottogruppo di pazienti, a seguito della somministrazione di un programma sperimentale di intervento basato su esercizi fisici. --------------- [ENG]Dementia involves deterioration, often progressive, of a person's cognitive status. Those who suffer from dementia, present alterations in cognitive and motor behavior, for example performing obsessive and repetitive gestures, without a purpose. The condition of patients suffering from dementia is clinically assessed by means of specific scales and information relating to the behavior are collected by interviewing caregivers, such as the family, nurses, or the doctor. Often it turns out that these are inaccurate assessments that may be heavily influenced by subjective evaluations and are costly in terms of time. Therefore, there is the need for objective methods to assess the patients' motor behavior and the pathological changes; wearable inertial sensors may represent a viable option, so this aim. The main objective of this thesis project was to define and implement a software for a sensor-based assessment of the circadian motor pattern in patients suffering from dementia, hospitalized in a long-term care unit, which could highlight differences in the disease symptoms affecting the motor behavior, as described in the clinical setting. The secondary objective was to verify pre- and post-intervention changes in the motor patterns of a subgroup of patients, following the administration of an experimental program of intervention based on physical exercises.

Analisi e confronto di elettrodi per l'acquisizione di biopotenziali nei sistemi indossabili

L’uso di sistemi wearable nell’ambito dell’acquisizione dei segnali biomedici è oggigiorno oggetto di grande interesse. Il loro uso si estende dal monitoraggio di parametri vitali per finalità cliniche al controllo delle dinamiche funzionali del corpo umano nel vivere quotidiano, grazie agli specifici segnali emessi dall’organismo, quali ECG ed EMG. Questa tesi, in particolar modo, riguarda le acquisizioni di segnali EMG, ovvero quelli emessi dalla muscolatura in concomitanza di movimenti, e descrive le modalità con cui essi possono essere acquisiti tramite elettrodi dry ed elettrodi wet. Nello specifico, i risultati ottenuti dai diversi approcci vengono confrontati e viene dimostrato il fatto che vi siano consistenti potenzialità nello sviluppo di sistemi per il riconoscimento di gesti che facciano affidamento sugli elettrodi dry, i quali presentano notevoli vantaggi applicativi rispetto alla controparte di tipo wet, la cui affidabilità in tale ambito è stata ampiamente confermata nel corso degli ultimi anni.

Riconoscimento real-time di gesture tramite tecniche di machine learning

Il riconoscimento delle gesture è un tema di ricerca che sta acquisendo sempre più popolarità, specialmente negli ultimi anni, grazie ai progressi tecnologici dei dispositivi embedded e dei sensori. Lo scopo di questa tesi è quello di utilizzare alcune tecniche di machine learning per realizzare un sistema in grado di riconoscere e classificare in tempo reale i gesti delle mani, a partire dai segnali mioelettrici (EMG) prodotti dai muscoli. Inoltre, per consentire il riconoscimento di movimenti spaziali complessi, verranno elaborati anche segnali di tipo inerziale, provenienti da una Inertial Measurement Unit (IMU) provvista di accelerometro, giroscopio e magnetometro. La prima parte della tesi, oltre ad offrire una panoramica sui dispositivi wearable e sui sensori, si occuperà di analizzare alcune tecniche per la classificazione di sequenze temporali, evidenziandone vantaggi e svantaggi. In particolare, verranno considerati approcci basati su Dynamic Time Warping (DTW), Hidden Markov Models (HMM), e reti neurali ricorrenti (RNN) di tipo Long Short-Term Memory (LSTM), che rappresentano una delle ultime evoluzioni nel campo del deep learning. La seconda parte, invece, riguarderà il progetto vero e proprio. Verrà impiegato il dispositivo wearable Myo di Thalmic Labs come caso di studio, e saranno applicate nel dettaglio le tecniche basate su DTW e HMM per progettare e realizzare un framework in grado di eseguire il riconoscimento real-time di gesture. Il capitolo finale mostrerà i risultati ottenuti (fornendo anche un confronto tra le tecniche analizzate), sia per la classificazione di gesture isolate che per il riconoscimento in tempo reale.