Metodologie di Corrispondenza Stereo Basate su Deep Learning per Superfici Altamente Riflettenti e Trasparenti: Dataset e Architettura

Nell’ambito della Stereo Vision, settore della Computer Vision, partendo da coppie di immagini RGB, si cerca di ricostruire la profondità della scena. La maggior parte degli algoritmi utilizzati per questo compito ipotizzano che tutte le superfici presenti nella scena siano lambertiane. Quando sono presenti superfici non lambertiane (riflettenti o trasparenti), gli algoritmi stereo esistenti sbagliano la predizione della profondità. Per risolvere questo problema, durante l’esperienza di tirocinio, si è realizzato un dataset contenente oggetti trasparenti e riflettenti che sono la base per l’allenamento della rete. Agli oggetti presenti nelle scene sono associate annotazioni 3D usate per allenare la rete. Invece, nel seguente lavoro di tesi, utilizzando l’algoritmo RAFT-Stereo [1], rete allo stato dell’arte per la stereo vision, si analizza come la rete modifica le sue prestazioni (predizione della disparità) se al suo interno viene inserito un modulo per la segmentazione semantica degli oggetti. Si introduce questo layer aggiuntivo perché, trovare la corrispondenza tra due punti appartenenti a superfici lambertiane, risulta essere molto complesso per una normale rete. Si vuole utilizzare l’informazione semantica per riconoscere questi tipi di superfici e così migliorarne la disparità. È stata scelta questa architettura neurale in quanto, durante l’esperienza di tirocinio riguardante la creazione del dataset Booster [2], è risultata la migliore su questo dataset. L’obiettivo ultimo di questo lavoro è vedere se il riconoscimento di superfici non lambertiane, da parte del modulo semantico, influenza la predizione della disparità migliorandola. Nell’ambito della stereo vision, gli elementi riflettenti e trasparenti risultano estremamente complessi da analizzare, ma restano tuttora oggetto di studio dati gli svariati settori di applicazione come la guida autonoma e la robotica.

Mitigating non-Lambertian surfaces issues in Stereo Matching with Neural Radiance Fields

Depth estimation from images has long been regarded as a preferable alternative compared to expensive and intrusive active sensors, such as LiDAR and ToF. The topic has attracted the attention of an increasingly wide audience thanks to the great amount of application domains, such as autonomous driving, robotic navigation and 3D reconstruction. Among the various techniques employed for depth estimation, stereo matching is one of the most widespread, owing to its robustness, speed and simplicity in setup. Recent developments has been aided by the abundance of annotated stereo images, which granted to deep learning the opportunity to thrive in a research area where deep networks can reach state-of-the-art sub-pixel precision in most cases. Despite the recent findings, stereo matching still begets many open challenges, two among them being finding pixel correspondences in presence of objects that exhibits a non-Lambertian behaviour and processing high-resolution images. Recently, a novel dataset named Booster, which contains high-resolution stereo pairs featuring a large collection of labeled non-Lambertian objects, has been released. The work shown that training state-of-the-art deep neural network on such data improves the generalization capabilities of these networks also in presence of non-Lambertian surfaces. Regardless being a further step to tackle the aforementioned challenge, Booster includes a rather small number of annotated images, and thus cannot satisfy the intensive training requirements of deep learning. This thesis work aims to investigate novel view synthesis techniques to augment the Booster dataset, with ultimate goal of improving stereo matching reliability in presence of high-resolution images that displays non-Lambertian surfaces.

Aliqua, lo sviluppo attraverso il design computazionale di un gilet di idratazione

“Viviamo in un periodo storico molto speciale, un periodo raro, un periodo in cui la confluenza di quattro campi sta fornendo ai designer strumenti che mai prima d’ora avevamo a disposizione.” Questo è ciò che Neri Oxman, designer e professoressa al MIT Media Lab, ha detto durante un Ted Talk tenutosi ormai sette anni fa. Il suo messaggio rimane così attuale e interessante, che continua ad ispirare ancora oggi tantissimi designer, scienziati e ingegneri, compreso me e questa tesi. Uno dei campi citati è il design computazionale. A seguito di una prima fase di ricerca è emerso che è già stato fatto molto in questo campo, ma c’è ancora tanto da esplorare. L’obiettivo di questa tesi è indagare l’uso di questa disciplina come booster creativo di cui il designer può avvalersi nelle diverse fasi del percorso progettuale. Per farlo, ho deciso di sperimentare tramite un esempio pratico: la progettazione di un gilet di idratazione per corridori. Inizialmente, sono stati studiati quali sono i requisiti che deve avere un progetto perché il designer possa sfruttare efficacemente il design computazionale durante tutta la progettazione. Nella fase di concept, è stato analizzato come l’approccio di questa disciplina aiuta il progettista nell’identificazione dei problemi e delle priorità progettuali. Sono poi stati usati e testati diversi strumenti del design computazionale, quali algoritmi e design generativo, per determinare alcune caratteristiche del prodotto definitivo. Il risultato di questo percorso di tesi è Aliqua, un gilet di idratazione per corridori più efficace e performante rispetto a quelli ora esistenti, progettato integrando il design intuitivo con quello computazionale. Sicuramente ci sono ancora molte cose che possono essere migliorate per rendere l’uso degli strumenti di questo campo più intuitivi e performanti, ma questa tesi dimostra che il design computazionale è fin da ora un valido alleato del designer durante tutte le fasi di progettazione.