Metodologie di apprendimento automatico applicate alla generazione di dati 3D

Il framework in oggetto, è un ambiente ideato con lo scopo di applicare tecniche di Machine Learning (in particolare le Random Forest) alle funzionalità dell'algoritmo di stereo matching SGM (Semi Global Matching), al fine di incrementarne l'accuratezza in versione standard. Scopo della presente tesi è quello di modificare alcune impostazioni di tale framework rendendolo un ambiente che meglio si adatti alla direzionalità delle scanline (introducendo finestre di supporto rettangolari e ortogonali e il training di foreste separate in base alla singola scanline) e ampliarne le funzionalità tramite l'aggiunta di alcune nuove feature, quali la distanza dal più vicino edge direzionale e la distintività calcolate sulle immagini Left della stereo pair e gli edge direzionali sulle mappe di disparità. Il fine ultimo sarà quello di eseguire svariati test sui dataset Middlebury 2014 e KITTI e raccogliere dati che descrivano l'andamento in positivo o negativo delle modifiche effettuate.

Sistema di visione stereo su architettura ZYNQ

Lo scopo della tesi è creare un’architettura in FPGA in grado di ricavare informazioni 3D da una coppia di sensori stereo. La pipeline è stata realizzata utilizzando il System-on-Chip Zynq, che permette una stretta interazione tra la parte hardware realizzata in FPGA e la CPU. Dopo uno studio preliminare degli strumenti hardware e software, è stata realizzata l’architettura base per la scrittura e la lettura di immagini nella memoria DDR dello Zynq. In seguito l’attenzione si è spostata sull’implementazione di algoritmi stereo (rettificazione e stereo matching) su FPGA e nella realizzazione di una pipeline in grado di ricavare accurate mappe di disparità in tempo reale acquisendo le immagini da una camera stereo.

A deep learning-based approach for 3D people tracking

Questa tesi si occupa dell’estensione di un framework software finalizzato all'individuazione e al tracciamento di persone in una scena ripresa da telecamera stereoscopica. In primo luogo è rimossa la necessità di una calibrazione manuale offline del sistema sfruttando algoritmi che consentono di individuare, a partire da un fotogramma acquisito dalla camera, il piano su cui i soggetti tracciati si muovono. Inoltre, è introdotto un modulo software basato su deep learning con lo scopo di migliorare la precisione del tracciamento. Questo componente, che è in grado di individuare le teste presenti in un fotogramma, consente ridurre i dati analizzati al solo intorno della posizione effettiva di una persona, escludendo oggetti che l’algoritmo di tracciamento sarebbe portato a individuare come persone.

Il Vestibolo di Piazza d'Oro - Rilievi per la modellazione 3D ed il texturing

Il caso studio del vestibolo ottagonale di Villa Adriana ha dato la possibilità di applicare ad un edificio di notevole valore storico e artistico tecniche di restituzione digitale e di modellazione tridimensionale basate su applicativi di modellazione geometrica, con lo scopo di generarne il modello 3D digitale fotorealistico e polifunzionale. Nel caso specifico del vestibolo, un modello tridimensionale di questo tipo risulta utile a fini documentativi, a sostegno di ipotesi costruttive e come strumento per la valutazione di interventi di restauro. Il percorso intrapreso ha permesso di valutare le criticità nelle tecniche di acquisizione, modellazione e foto-modellazione tridimensionale applicate in ambito archeologico, tecniche usate abitualmente anche in settori quali l’architettura, il design industriale ma anche nel cinema (effetti speciali e film d’animazione) e in ambito videoludico, con obiettivi differenti: nel settore del design e della progettazione industriale il Reverse Modeling viene impiegato per eseguire controlli di qualità e rispetto delle tolleranze sul prodotto finale, mentre in ambito cinematografico e videoludico (in combinazione con altri software) permette la creazione di modelli realistici da inserire all’interno di film o videogiochi, (modelli non solo di oggetti ma anche di persone). La generazione di un modello tridimensionale ottenuto tramite Reverse Modeling è frutto di un processo opposto alla progettazione e può avvenire secondo diverse strategie, ognuna delle quali presenta vantaggi e svantaggi specifici che la rendono più indicata in alcuni casi piuttosto che in altri. In questo studio sono state analizzate acquisizioni tridimensionali effettuate tramite Laser Scan e tramite applicazioni Structure from Motion/Dense Stereo View.

Metodologie di Corrispondenza Stereo Basate su Deep Learning per Superfici Altamente Riflettenti e Trasparenti: Dataset e Architettura

Nell’ambito della Stereo Vision, settore della Computer Vision, partendo da coppie di immagini RGB, si cerca di ricostruire la profondità della scena. La maggior parte degli algoritmi utilizzati per questo compito ipotizzano che tutte le superfici presenti nella scena siano lambertiane. Quando sono presenti superfici non lambertiane (riflettenti o trasparenti), gli algoritmi stereo esistenti sbagliano la predizione della profondità. Per risolvere questo problema, durante l’esperienza di tirocinio, si è realizzato un dataset contenente oggetti trasparenti e riflettenti che sono la base per l’allenamento della rete. Agli oggetti presenti nelle scene sono associate annotazioni 3D usate per allenare la rete. Invece, nel seguente lavoro di tesi, utilizzando l’algoritmo RAFT-Stereo [1], rete allo stato dell’arte per la stereo vision, si analizza come la rete modifica le sue prestazioni (predizione della disparità) se al suo interno viene inserito un modulo per la segmentazione semantica degli oggetti. Si introduce questo layer aggiuntivo perché, trovare la corrispondenza tra due punti appartenenti a superfici lambertiane, risulta essere molto complesso per una normale rete. Si vuole utilizzare l’informazione semantica per riconoscere questi tipi di superfici e così migliorarne la disparità. È stata scelta questa architettura neurale in quanto, durante l’esperienza di tirocinio riguardante la creazione del dataset Booster [2], è risultata la migliore su questo dataset. L’obiettivo ultimo di questo lavoro è vedere se il riconoscimento di superfici non lambertiane, da parte del modulo semantico, influenza la predizione della disparità migliorandola. Nell’ambito della stereo vision, gli elementi riflettenti e trasparenti risultano estremamente complessi da analizzare, ma restano tuttora oggetto di studio dati gli svariati settori di applicazione come la guida autonoma e la robotica.

Mitigating non-Lambertian surfaces issues in Stereo Matching with Neural Radiance Fields

Depth estimation from images has long been regarded as a preferable alternative compared to expensive and intrusive active sensors, such as LiDAR and ToF. The topic has attracted the attention of an increasingly wide audience thanks to the great amount of application domains, such as autonomous driving, robotic navigation and 3D reconstruction. Among the various techniques employed for depth estimation, stereo matching is one of the most widespread, owing to its robustness, speed and simplicity in setup. Recent developments has been aided by the abundance of annotated stereo images, which granted to deep learning the opportunity to thrive in a research area where deep networks can reach state-of-the-art sub-pixel precision in most cases. Despite the recent findings, stereo matching still begets many open challenges, two among them being finding pixel correspondences in presence of objects that exhibits a non-Lambertian behaviour and processing high-resolution images. Recently, a novel dataset named Booster, which contains high-resolution stereo pairs featuring a large collection of labeled non-Lambertian objects, has been released. The work shown that training state-of-the-art deep neural network on such data improves the generalization capabilities of these networks also in presence of non-Lambertian surfaces. Regardless being a further step to tackle the aforementioned challenge, Booster includes a rather small number of annotated images, and thus cannot satisfy the intensive training requirements of deep learning. This thesis work aims to investigate novel view synthesis techniques to augment the Booster dataset, with ultimate goal of improving stereo matching reliability in presence of high-resolution images that displays non-Lambertian surfaces.

Stereo matching su GPU

La Stereo Vision è un popolare argomento di ricerca nel campo della Visione Artificiale; esso consiste nell’usare due immagini di una stessa scena,prodotte da due fotocamere diverse, per estrarre informazioni in 3D. L’idea di base della Stereo Vision è la simulazione della visione binoculare umana:le due fotocamere sono disposte in orizzontale per fungere da “occhi” che guardano la scena in 3D. Confrontando le due immagini ottenute, si possono ottenere informazioni riguardo alle posizioni degli oggetti della scena.In questa relazione presenteremo un algoritmo di Stereo Vision: si tratta di un algoritmo parallelo che ha come obiettivo di tracciare le linee di livello di un area geografica. L’algoritmo in origine era stato implementato per la Connection Machine CM-2, un supercomputer sviluppato negli anni 80, ed era espresso in *Lisp, un linguaggio derivato dal Lisp e ideato per la macchina stessa. Questa relazione tratta anche la traduzione e l’implementazione dell’algoritmo in CUDA, ovvero un’architettura hardware per l’elaborazione pa- rallela sviluppata da NVIDIA, che consente di eseguire codice parallelo su GPU. Si darà inoltre uno sguardo alle difficoltà che sono state riscontrate nella traduzione da *Lisp a CUDA.

Analisi di pushover 3D per strutture in c.a.

In the present study, a new pushover procedure for 3D frame structures is proposed, based on the application of a set of horizontal force and torque distributions at each floor level; in order to predict the most severe configurations of an irregular structure subjected to an earthquake, more than one pushover analysis has to be performed. The proposed method is validated by a consistent comparison of results from static pushover and dynamic simulations in terms of different response parameters, such as displacements, rotations, floor shears and floor torques. Starting from the linear analysis, the procedure is subsequently extended to the nonlinear case. The results confirm the effectiveness of the proposed procedure to predict the structural behaviour in the most severe configurations.

Applicazione di tecniche Laser a scansione nel rilevamento 3D di provini di conglomerato bituminoso

Obiettivo della tesi, oltre ad una descrizione della tecnica laser a scansione ed alla presentazione di alcune realizzazioni tipiche in ambito terrestre, è relazionare su una esperienza effettuata di recente su una applicazione particolare, il rilievo tridimensionale di campioni di pavimentazioni stradali in conglomerato bituminoso per documentarne la tessitura tramite parametri classici e nuovi indicatori resi possibili dal dato tridimensionale. L’attività di tesi si è concentrata soprattutto nei problemi della fase di acquisizione.