An Embedded In-Cabin Lightweight High-Performance 3D Gaze Estimation System

Gaze estimation has gained interest in recent years for being an important cue to obtain information about the internal cognitive state of humans. Regardless of whether it is the 3D gaze vector or the point of gaze (PoG), gaze estimation has been applied in various fields, such as: human robot interaction, augmented reality, medicine, aviation and automotive. In the latter field, as part of Advanced Driver-Assistance Systems (ADAS), it allows the development of cutting-edge systems capable of mitigating road accidents by monitoring driver distraction. Gaze estimation can be also used to enhance the driving experience, for instance, autonomous driving. It also can improve comfort with augmented reality components capable of being commanded by the driver's eyes. Although, several high-performance real-time inference works already exist, just a few are capable of working with only a RGB camera on computationally constrained devices, such as a microcontroller. This work aims to develop a low-cost, efficient and high-performance embedded system capable of estimating the driver's gaze using deep learning and a RGB camera. The proposed system has achieved near-SOTA performances with about 90% less memory footprint. The capabilities to generalize in unseen environments have been evaluated through a live demonstration, where high performance and near real-time inference were obtained using a webcam and a Raspberry Pi4.

Percezione depth guidata mediante proiezione virtuale di pattern

L’utilizzo di informazioni di profondità è oggi di fondamentale utilità per molteplici settori applicativi come la robotica, la guida autonoma o assistita, la realtà aumentata e il monitoraggio ambientale. I sensori di profondità disponibili possono essere divisi in attivi e passivi, dove i sensori passivi ricavano le informazioni di profondità dall'ambiente senza emettere segnali, bensì utilizzando i segnali provenienti dall'ambiente (e.g., luce solare). Nei sensori depth passivi stereo è richiesto un algoritmo per elaborare le immagini delle due camere: la tecnica di stereo matching viene utilizzata appunto per stimare la profondità di una scena. Di recente la ricerca si è occupata anche della sinergia con sensori attivi al fine di migliorare la stima della depth ottenuta da un sensore stereo: si utilizzano i punti affidabili generati dal sensore attivo per guidare l'algoritmo di stereo matching verso la soluzione corretta. In questa tesi si è deciso di affrontare questa tematica da un punto di vista nuovo, utilizzando un sistema di proiezione virtuale di punti corrispondenti in immagini stereo: i pixel delle immagini vengono alterati per guidare l'algoritmo ottimizzando i costi. Un altro vantaggio della strategia proposta è la possibilità di iterare il processo, andando a cambiare il pattern in ogni passo: aggregando i passi in un unico risultato, è possibile migliorare il risultato finale. I punti affidabili sono ottenuti mediante sensori attivi (e.g. LiDAR, ToF), oppure direttamente dalle immagini, stimando la confidenza delle mappe prodotte dal medesimo sistema stereo: la confidenza permette di classificare la bontà di un punto fornito dall'algoritmo di matching. Nel corso della tesi sono stati utilizzati sensori attivi per verificare l'efficacia della proiezione virtuale, ma sono state anche effettuate analisi sulle misure di confidenza: lo scopo è verificare se le misure di confidenza possono rimpiazzare o assistere i sensori attivi.

Sviluppo di un AR wearable device per il settore Automotive ricaricato tramite le vibrazioni del telaio

In questo elaborato di tesi vengono presentati la ricerca e il lavoro che hanno portato all’ideazione e sviluppo di CirculAR. CirculAR consiste in un dispositivo per la realtà aumentata, che assiste i conducenti di veicoli a due ruote, quali biciclette, monopattini e motocicli, proiettandogli informazioni utili per una guida in sicurezza. L’energia che alimenta il dispositivo per la realtà aumentata viene generata, in modo sostenibile, dalla conversione in energia elettrica dell’energia cinetica ottenuta dalle vibrazioni che si scaricano al telaio, originate dal contatto tra manto stradale e veicolo stesso. Il sistema - prodotto è composto, infatti, da due dispositivi differenti, un wearable device e un generatore elettrico, che cooperano per il raggiungimento di una Realtà Aumentata più sostenibile ed innovativa. Per lo sviluppo di CirculAR sono state prese in considerazione tecnologie innovative ad oggi oggetto di grande ricerca e interesse scientifico; per questo studio in particolare, si è deciso di conciliare queste tecnologie con una progettazione mirata alla semplificazione ed alla specializzazione dei singoli componenti per garantirne un generale livello di forte innovazione tecnologica ed, al contempo, una riduzione del costo complessivo di vendita del prodotto. Il connubio di queste tecnologie ha permesso di realizzare due dispositivi innovativi sia da un punto di vista tecnologico che da un punto di vista della sostenibilità, che possono rappresentare un modello per una futura generazione di wearable device sostenibile.

Acquisizione e modellazione 3D in ambito museale per nuove forme di accessibilità per ipovedenti

Il tema approfondito in questo elaborato è relativo a nuove forme di esperienze museali in grado di favorire una maggiore fruizione dei musei da parte dei visitatori portatori di disabilità sensoriali. L’obiettivo dello studio, reso possibile grazie alla collaborazione con il Comune di Riccione, l’Università di Bologna e il Museo del Territorio di Riccione, riguarda la riproduzione tattile 3D di alcuni manufatti di epoca romana rinvenuti nel territorio e l’implementazione di soluzioni di esplorazione dei modelli fisici con tecniche di realtà aumentata e feedback sonori per fornire al visitatore un’esperienza tattile/sensoriale sugli oggetti. La parte di competenza di questo elaborato riguarda principalmente due aspetti: il rilievo 3D effettuato su quattro diversi frammenti di due serie di lastre fittili, mediante l’utilizzo di scanner ad alta risoluzione e fotogrammetria digitale, e la successiva modellazione in ambiente digitale. Quest’ultima fase comporta l’elaborazione delle scansioni tramite software dedicati e la creazione di mesh per generare la stampa di copie fisiche 3D. In una fase successiva alla stampa 3D le copie saranno poi gestite con particolari tecnologie di esplorazione sensoriale che accompagneranno l’utente durante l’esperienza tattile con feedback sonori. La sperimentazione condotta in questa tesi vuole dimostrare come sia possibile portare ad una trasformazione del ruolo dei musei, da quello tradizionale di magazzino statico a quello di ambiente di apprendimento attivo a disposizione di tutti offrendo esperienze immersive ed educative.

L’efficacia dei programmi di teleriabilitazione nel trattamento post-chirurgico di spalla: una revisione sistematica della letteratura

Background: Attualmente, diversi approcci riabilitatavi vengono proposti per il miglioramento del dolore e della funzione a seguito di intervento chirurgico alla spalla. La teleriabilitazione si è rivelata una valida alternativa per l’erogazione dei servizi riabilitativi a distanza: grazie all’utilizzo delle tecnologie di telecomunicazione, è possibile fornire consulenza, valutazione, monitoraggio, intervento e educazione, superando le barriere geografiche, temporali, sociali ed economiche. Obiettivo: Lo scopo della revisione è valutare le prove di efficacia presenti in letteratura in merito all’utilizzo della teleriabilitazione per il miglioramento funzionale dei pazienti operati di spalla. Metodi: La revisione è stata redatta secondo la checklist del PRISMA statement. La ricerca è stata condotta da aprile a settembre 2022, consultando le banche dati Cochrane Library, PubMed e PEDro. La ricerca è stata limitata a studi primari sperimentali e quasi, con full-text reperibile in lingua italiana o inglese e senza limiti temporali, inerenti soggetti operati alla spalla trattati con diverse modalità di teleriabilitazione. Come elemento di confronto è stato incluso qualsiasi tipo di intervento riabilitativo convenzionale. La qualità metodologica è stata valutata con la PEDro scale. Risultati: sono stati inclusi 4 RCT e 1 CCT, che hanno indagato misure di outcome relative a: dolore, mobilità articolare, forza, abilità funzionale e qualità della vita. Dall’analisi qualitativa dei risultati degli studi si è osservato che in tutti i gruppi sperimentali si sono ottenuti miglioramenti significativi negli outcome d’interesse; in due studi è stata evidenziata una superiorità statisticamente significativa della teleriabilitazione. Conclusioni: Nonostante la revisione non sia giunta a risultati generalizzabili e di validità assoluta, la teleriabilitazione ha dimostrato di essere una modalità sicura ed efficace nel miglioramento clinico e funzionale dei soggetti operati alla spalla.

Domain adaptation per classificazione di point cloud mediante pseudo-annotazioni

La classificazione di dati geometrici 3D come point cloud è un tema emergente nell'ambito della visione artificiale in quanto trova applicazione in molteplici contesti di guida autonoma, robotica e realtà aumentata. Sebbene nel mercato siano presenti una grande quantità di sensori in grado di ottenere scansioni reali, la loro annotazione costituisce un collo di bottiglia per la generazione di dataset. Per sopperire al problema si ricorre spesso alla domain adaptation sfruttando dati sintetici annotati. Questo elaborato si pone come obiettivo l'analisi e l'implementazione di metodi di domain adaptation per classificazione di point cloud mediante pseudo-labels. In particolare, sono stati condotti esperimenti all'interno del framework RefRec valutando la possibilità di sostituire nuove architetture di deep learning al modello preesistente. Tra queste, Transformer con mascheramento dell'input ha raggiunto risultati superiori allo stato dell'arte nell'adattamento da dati sintetici a reali (ModelNet->ScanNet) esaminato in questa tesi.

Nodo - Progetto di un dispositivo per lo sport virtuale e sistemi di antagonismo

Nodo è indaga la relazione tra il movimento del corpo umano, e le conseguenti risposte muscolari, e la loro riproduzione in condizioni di realtà mista. Attraverso la progettazione di un dispositivo casalingo che faccia da antagonista al movimento del corpo durante la pratica del pugilato a distanza, attraverso le tecnologie di aumento della realtà e quelle aptiche; ho cercato di approfondire il tema dello sport, scegliendolo come ambito di progettazione specifico.

Tecnologie e workflow per la digitalizzazione e la visualizzazione immersiva e real time del prodotto tessile

Il settore del mobile è frammentato, caratteristica che non ha mai permesso una completa digitalizzazione dei suoi comparti: la comunicazione è risultata spesso difficoltosa, responsabile di incomprensioni e spesso mancanza di puntualità, con conseguente dispendio di risorse. Nel mio progetto di tesi analizzo principalmente la filiera degli imbottiti e quella tessile, collaterale ad essa. Il target di mio interesse sono le aziende produttrici di arredi che si servono di configuratori per la presentazione dei prodotti ai propri clienti. Ho ipotizzato un workflow suddivisibile in due fasi, una attuabile nel presente ed una seconda che implica una variazione attuabile nel futuro prossimo. Per la prima fase ho studiato un workflow agile al fine di digitalizzare le texture a partire da acquisizioni fotografiche. Analizzando il comportamento di vari tessuti ed elaborando un metodo di riproduzione digitale, ho sperimentato una metodologia per una resa superficiale degli imbottiti accurata e fotorealistica sia su piattaforme web che in realtà aumentata. Lo studio nasce dall’esigenza di apportare migliorie agli attuali configuratori e renderli effettivamente utili al fine per cui sono stati pensati: garantire una semplificazione del processo di acquisto rispondendo alle necessità degli utenti di vedere in anteprima l’aspetto finale del proprio arredo, collocato nello spazio abitativo. Il configuratore che ne deriva, restituirà una visualizzazione fedele dei tessuti anche in realtà aumentata. L’intelligenza artificiale fungerà da supporto nel processo decisionale dell’utente e la scelta dei materiali che compongono l’arredo sarà guidata in maniera tale da generare nell’utente un senso di consapevolezza circa gli impatti sull’ambiente. Per la seconda fase propongo una modalità di creazione dei tessuti completamente digitalizzata, a favore di una filiera sostenibile che riesce in questo modo ad abbattere costi e sprechi, con conseguente risparmio di risorse.

A new concept for a Sport-Coupè car developed with the Industrial Design Structure method (IDeS)

The aim of this study, conducted in collaboration with Lawrence Technological University in Detroit, is to create, through the method of the Industrial Design Structure (IDeS), a new concept for a sport-coupe car, based on a restyling of a retro model (Ford Mustang 1967). To date, vintage models of cars always arouse great interest both for the history behind them and for the classic and elegant style. Designing a model of a vehicle that can combine the charm of retro style with the innovation and comfort of modern cars would allow to meet the needs and desires of a large segment of the market that today is forced to choose between past and future. Thanks to a well-conceived concept car an automaker company is able to express its future policy, to make a statement of intent as, such a prototype, ticks all the boxes, from glamour and visual wow-factor to technical intrigue and design fascination. IDeS is an approach that makes use of many engineering tools to realize a study developed on several steps that must be meticulously organized and timed. With a deep analysis of the trends dominating the automotive industry it is possible to identify a series of product requirements using quality function deployment (QFD). The considerations from this first evaluation led to the definition of the technical specifications via benchmarking (BM) and top-flop analysis (TFA). Then, the structured methodology of stylistic design engineering (SDE) is applied through six phases: (1) stylistic trends analysis; (2) sketches; (3) 2D CAD drawings; (4) 3D CAD models; (5) virtual prototyping; (6) solid stylistic model. Finally, Developing the IDeS method up to the final stages of Prototypes and Testing you get a product as close as possible to the ideal vehicle conceptualized in the initial analysis.

Progetto di un dispositivo wireless di feedback tattile per un sistema di ausilio per non vedenti o ipovedenti

La tesi è incentrata sullo studio e sulla progettazione di un dispositivo wireless di feedback tattile per un sistema di ausilio per non vedenti o ipovedenti. Il dispositivo composto da micro motori vibranti avvisa l'utente di imminenti ostacoli nel suo cammino. La rilevazione degli ostacoli è opera del visore, un sistema composto da una videocamera stereo, con elaborazione su FPGA, collegata ad un Odroid-U3. Viene trattato anche lo sviluppo di un'applicazione server, con relativa libreria di funzioni, che permette al visore di comunicare con dispositivi iOS esterni. Quest'ultima parte è avvenuta in collaborazione con il collega Luca Ranalli che si è occupato dell' App client per smartphone e tablet iOS.

Geophotohunt: Progettazione e sviluppo di una App Android per la gestione di cacce al tesoro fotografiche

Il problema che si vuole affrontare è la progettazione e lo sviluppo di un sistema interattivo volto all’apprendimento e alla visita guidata di città d’arte. Si vuole realizzare un’applicazione per dispositivi mobili che offra sia il servizio di creazione di visite guidate che l’utilizzo delle stesse in assenza di connessione internet. Per rendere l’utilizzo dei servizi offerti più piacevole e divertente si è deciso di realizzare le visite guidate sotto forma di cacce al tesoro fotografiche, le cui tappe consistono in indizi testuali che per essere risolti richiedono risposte di tipo fotografico. Si è inoltre scelto di realizzare una community volta alla condivisione delle cacce al tesoro realizzate e al mantenimento di statistiche di gioco. Il contributo originale di questa tesi consiste nella progettazione e realizzazione di una App Android, denominata GeoPhotoHunt, che sfrutta l’idea della caccia al tesoro fotografica e geo localizzata per facilitare le visite guidate a luoghi di interesse, senza la necessità di una connessione ad internet. Il client viene reso indipendente dal server grazie allo spostamento degli algoritmi di image recognition sul client. Esentare il client dalla necessità di una connessione ad internet permette il suo utilizzo anche in città estere dove solitamente non si ha possibilità di connettersi alla rete.

Studio e prototipazione di un'architettura software di alto livello per lo sviluppo di applicazioni di mixed reality su piattaforma HoloLens

La tesi si pone come obiettivo quello di realizzare un'architettura di alto livello per lo sviluppo di applicazioni dirette alla piattaforma HoloLens. Per conseguire tale risultato si è rivelata necessaria una prima parte di studio dei concetti di mixed reality, con riferimento particolare al caso specifico HoloLens, per poi dirigere l'attenzione alla comprensione dell'architettura di applicazioni olografiche. L'analisi delle API rilasciate per lo sviluppo di applicazioni HoloLens ha permesso di riscontrare varie criticità, alle quali si è posto rimedio tramite l'introduzione di un livello di astrazione, che possa consentire uno sviluppo di applicazioni ad un livello più alto. Si è poi introdotto il concetto di augmented worlds (mondi aumentati), i cui principi cardine hanno fornito le basi per la progettazione e lo sviluppo di un sistema client-server, nel quale il dispositivo HoloLens agisce come un client e la logica di controllo degli elementi del modello dell'applicazione viene gestita lato server.

Design and development of a Unity based framework for augmented worlds

The way we've always envisioned computer programs is slowly changing. Thanks to the recent development of wearable technologies we're experiencing the birth of new applications that are no more limited to a fixed screen, but are instead sparse in our surroundings by means of fully fledged computational objects. In this paper we discuss proper techniques and technologies to be used for the creation of "Augmented Worlds", through the design and development of a novel framework that can help us understand how to build these new programs.

Realtà virtuale multiutente

L’obbiettivo di questa tesi è realizzare il prototipo di un’applicazione client-server che permetta di utilizzare in remoto applicazioni in Virtual Reality, fornendo allo stesso tempo supporto alla multiutenza. L’applicazione in realtà virtuale dovrà girare sul server, dispositivo con capacità di calcolo notevolmente superiori rispetto a quelle del client. Più utenti dovranno avere la possibilità di connettersi contemporaneamente e condividere lo stesso spazio virtuale. Il client sarà, in questo caso, un’applicazione Android che si connetterà al server e avrà il compito di mostrare all'utente l’output dell’applicazione in Virtual Reality e allo stesso tempo ricevere l’input da inviare al server. Un altro obbiettivo durante lo sviluppo del prototipo è quello di realizzare una libreria che offra le funzionalità sopraelencate, facilmente integrabile in nuovi progetti o in progetti già esistenti. Utilizzando questa struttura client-server sarà possibile sviluppare applicazioni che permettano a più persone di condividere lo stesso spazio virtuale, ognuno dal proprio punto di vista, utilizzando visori e sistemi operativi diversi.

Ambienti di servizi per applicazioni in mixed reality per MS HoloLens

Nella presente tesi, dopo una prima parte dedicata all'analisi del concetto di realtà mediata e delle sue varie specializzazioni, verranno illustrati i principali dispositivi hardware presenti attualmente sul mercato, analizzandone le caratteristiche, gli aspetti innovativi e la diffusione raggiunta al momento. Si passerà quindi ad esaminare nel dettaglio il visore Microsoft HoloLens, impiegato per la realizzazione del progetto di laurea, per arrivare alla descrizione dello sviluppo di un'applicazione. Il software realizzato rappresenta un esempio di applicazione della realtà mista al campo del design di interni: verranno esaminati strumenti di sviluppo, architettura, casi d'uso e work-flow dell'applicazione. Infine verranno descritte le fasi di test, i costi di sviluppo dell'applicazione e il feedback ricevuto dagli utenti.