Sistema di visione stereo su architettura ZYNQ

Lo scopo della tesi è creare un’architettura in FPGA in grado di ricavare informazioni 3D da una coppia di sensori stereo. La pipeline è stata realizzata utilizzando il System-on-Chip Zynq, che permette una stretta interazione tra la parte hardware realizzata in FPGA e la CPU. Dopo uno studio preliminare degli strumenti hardware e software, è stata realizzata l’architettura base per la scrittura e la lettura di immagini nella memoria DDR dello Zynq. In seguito l’attenzione si è spostata sull’implementazione di algoritmi stereo (rettificazione e stereo matching) su FPGA e nella realizzazione di una pipeline in grado di ricavare accurate mappe di disparità in tempo reale acquisendo le immagini da una camera stereo.

Valutazione sperimentale di algoritmi di visione stereo finalizzata a una successiva implementazione su FPGA

Applicazione di algoritmi di stereo visione con differenti configurazioni con lo scopo di confrontare e valutare quale applicare ad una successiva implementazione su FPGA.

Valutazione di metodologie di aggregazione di costi per algoritmi di visione stereo

Tesi riguardante le metodologie di aggregazione di costi applicate alla visione stereo, incentrata in particolare sull'algoritmo box filtering.

Valutazione sperimentale di metodologie di rettificazione e impatto su algoritmi di visione stereo

Ricavare informazioni dalla realtà circostante è un obiettivo molto importante dell'informatica moderna, in modo da poter progettare robot, veicoli a guida autonoma, sistemi di riconoscimento e tanto altro. La computer vision è la parte dell'informatica che se ne occupa e sta sempre più prendendo piede. Per raggiungere tale obiettivo si utilizza una pipeline di visione stereo i cui passi di rettificazione e generazione di mappa di disparità sono oggetto di questa tesi. In particolare visto che questi passi sono spesso affidati a dispositivi hardware dedicati (come le FPGA) allora si ha la necessità di utilizzare algoritmi che siano portabili su questo tipo di tecnologia, dove le risorse sono molto minori. Questa tesi mostra come sia possibile utilizzare tecniche di approssimazione di questi algoritmi in modo da risparmiare risorse ma che che garantiscano comunque ottimi risultati.

Studio ed implementazione di algoritmi di stereo vision in ambito mobile: l'applicazione "SuperStereo"

L'analisi di un'immagine con strumenti automatici si è sviluppata in quella che oggi viene chiamata "computer vision", la materia di studio proveniente dal mondo informatico che si occupa, letteralmente, di "vedere oltre", di estrarre da una figura una serie di aspetti strutturali, sotto forma di dati numerici. Tra le tante aree di ricerca che ne derivano, una in particolare è dedicata alla comprensione di un dettaglio estremamente interessante, che si presta ad applicazioni di molteplici tipologie: la profondità. L'idea di poter recuperare ciò che, apparentemente, si era perso fermando una scena ed imprimendone l'istante in un piano a due dimensioni poteva sembrare, fino a non troppi anni fa, qualcosa di impossibile. Grazie alla cosiddetta "visione stereo", invece, oggi possiamo godere della "terza dimensione" in diversi ambiti, legati ad attività professionali piuttosto che di svago. Inoltre, si presta ad utilizzi ancora più interessanti quando gli strumenti possono vantare caratteristiche tecniche accessibili, come dimensioni ridotte e facilità d'uso. Proprio quest'ultimo aspetto ha catturato l'attenzione di un gruppo di lavoro, dal quale è nata l'idea di sviluppare una soluzione, chiamata "SuperStereo", capace di permettere la stereo vision usando uno strumento estremamente diffuso nel mercato tecnologico globale: uno smartphone e, più in generale, qualsiasi dispositivo mobile appartenente a questa categoria.

Utilizzo metrico di immagini panoramiche satellitari CORONA

CAPITOLO 1 INTRODUZIONE Il lavoro presentato è relativo all’utilizzo a fini metrici di immagini satellitari storiche a geometria panoramica; in particolare sono state elaborate immagini satellitari acquisite dalla piattaforma statunitense CORONA, progettata ed impiegata essenzialmente a scopi militari tra gli anni ’60 e ’70 del secolo scorso, e recentemente soggette ad una declassificazione che ne ha consentito l’accesso anche a scopi ed utenti non militari. Il tema del recupero di immagini aeree e satellitari del passato è di grande interesse per un ampio spettro di applicazioni sul territorio, dall’analisi dello sviluppo urbano o in ambito regionale fino ad indagini specifiche locali relative a siti di interesse archeologico, industriale, ambientale. Esiste infatti un grandissimo patrimonio informativo che potrebbe colmare le lacune della documentazione cartografica, di per sé, per ovvi motivi tecnici ed economici, limitata a rappresentare l’evoluzione territoriale in modo asincrono e sporadico, e con “forzature” e limitazioni nel contenuto informativo legate agli scopi ed alle modalità di rappresentazione delle carte nel corso del tempo e per diversi tipi di applicazioni. L’immagine di tipo fotografico offre una rappresentazione completa, ancorché non soggettiva, dell’esistente e può complementare molto efficacemente il dato cartografico o farne le veci laddove questo non esista. La maggior parte del patrimonio di immagini storiche è certamente legata a voli fotogrammetrici che, a partire dai primi decenni del ‘900, hanno interessato vaste aree dei paesi più avanzati, o regioni di interesse a fini bellici. Accanto a queste, ed ovviamente su periodi più vicini a noi, si collocano le immagini acquisite da piattaforma satellitare, tra le quali rivestono un grande interesse quelle realizzate a scopo di spionaggio militare, essendo ad alta risoluzione geometrica e di ottimo dettaglio. Purtroppo, questo ricco patrimonio è ancora oggi in gran parte inaccessibile, anche se recentemente sono state avviate iniziative per permetterne l’accesso a fini civili, in considerazione anche dell’obsolescenza del dato e della disponibilità di altre e migliori fonti di informazione che il moderno telerilevamento ci propone. L’impiego di immagini storiche, siano esse aeree o satellitari, è nella gran parte dei casi di carattere qualitativo, inteso ad investigare sulla presenza o assenza di oggetti o fenomeni, e di rado assume un carattere metrico ed oggettivo, che richiederebbe tra l’altro la conoscenza di dati tecnici (per esempio il certificato di calibrazione nel caso delle camere aerofotogrammetriche) che sono andati perduti o sono inaccessibili. Va ricordato anche che i mezzi di presa dell’epoca erano spesso soggetti a fenomeni di distorsione ottica o altro tipo di degrado delle immagini che ne rendevano difficile un uso metrico. D’altra parte, un utilizzo metrico di queste immagini consentirebbe di conferire all’analisi del territorio e delle modifiche in esso intercorse anche un significato oggettivo che sarebbe essenziale per diversi scopi: per esempio, per potere effettuare misure su oggetti non più esistenti o per potere confrontare con precisione o co-registrare le immagini storiche con quelle attuali opportunamente georeferenziate. Il caso delle immagini Corona è molto interessante, per una serie di specificità che esse presentano: in primo luogo esse associano ad una alta risoluzione (dimensione del pixel a terra fino a 1.80 metri) una ampia copertura a terra (i fotogrammi di alcune missioni coprono strisce lunghe fino a 250 chilometri). Queste due caratteristiche “derivano” dal principio adottato in fase di acquisizione delle immagini stesse, vale a dire la geometria panoramica scelta appunto perché l’unica che consente di associare le due caratteristiche predette e quindi molto indicata ai fini spionaggio. Inoltre, data la numerosità e la frequenza delle missioni all’interno dell’omonimo programma, le serie storiche di questi fotogrammi permettono una ricostruzione “ricca” e “minuziosa” degli assetti territoriali pregressi, data appunto la maggior quantità di informazioni e l’imparzialità associabili ai prodotti fotografici. Va precisato sin dall’inizio come queste immagini, seppur rappresentino una risorsa “storica” notevole (sono datate fra il 1959 ed il 1972 e coprono regioni moto ampie e di grandissimo interesse per analisi territoriali), siano state molto raramente impiegate a scopi metrici. Ciò è probabilmente imputabile al fatto che il loro trattamento a fini metrici non è affatto semplice per tutta una serie di motivi che saranno evidenziati nei capitoli successivi. La sperimentazione condotta nell’ambito della tesi ha avuto due obiettivi primari, uno generale ed uno più particolare: da un lato il tentativo di valutare in senso lato le potenzialità dell’enorme patrimonio rappresentato da tali immagini (reperibili ad un costo basso in confronto a prodotti simili) e dall’altro l’opportunità di indagare la situazione territoriale locale per una zona della Turchia sud orientale (intorno al sito archeologico di Tilmen Höyük) sulla quale è attivo un progetto condotto dall’Università di Bologna (responsabile scientifico il Prof. Nicolò Marchetti del Dipartimento di Archeologia), a cui il DISTART collabora attivamente dal 2005. L’attività è condotta in collaborazione con l’Università di Istanbul ed il Museo Archeologico di Gaziantep. Questo lavoro si inserisce, inoltre, in un’ottica più ampia di quelle esposta, dello studio cioè a carattere regionale della zona in cui si trovano gli scavi archeologici di Tilmen Höyük; la disponibilità di immagini multitemporali su un ampio intervallo temporale, nonché di tipo multi sensore, con dati multispettrali, doterebbe questo studio di strumenti di conoscenza di altissimo interesse per la caratterizzazione dei cambiamenti intercorsi. Per quanto riguarda l’aspetto più generale, mettere a punto una procedura per il trattamento metrico delle immagini CORONA può rivelarsi utile all’intera comunità che ruota attorno al “mondo” dei GIS e del telerilevamento; come prima ricordato tali immagini (che coprono una superficie di quasi due milioni di chilometri quadrati) rappresentano un patrimonio storico fotografico immenso che potrebbe (e dovrebbe) essere utilizzato sia a scopi archeologici, sia come supporto per lo studio, in ambiente GIS, delle dinamiche territoriali di sviluppo di quelle zone in cui sono scarse o addirittura assenti immagini satellitari dati cartografici pregressi. Il lavoro è stato suddiviso in 6 capitoli, di cui il presente costituisce il primo. Il secondo capitolo è stato dedicato alla descrizione sommaria del progetto spaziale CORONA (progetto statunitense condotto a scopo di fotoricognizione del territorio dell’ex Unione Sovietica e delle aree Mediorientali politicamente correlate ad essa); in questa fase vengono riportate notizie in merito alla nascita e all’evoluzione di tale programma, vengono descritti piuttosto dettagliatamente gli aspetti concernenti le ottiche impiegate e le modalità di acquisizione delle immagini, vengono riportati tutti i riferimenti (storici e non) utili a chi volesse approfondire la conoscenza di questo straordinario programma spaziale. Nel terzo capitolo viene presentata una breve discussione in merito alle immagini panoramiche in generale, vale a dire le modalità di acquisizione, gli aspetti geometrici e prospettici alla base del principio panoramico, i pregi ed i difetti di questo tipo di immagini. Vengono inoltre presentati i diversi metodi rintracciabili in bibliografia per la correzione delle immagini panoramiche e quelli impiegati dai diversi autori (pochi per la verità) che hanno scelto di conferire un significato metrico (quindi quantitativo e non solo qualitativo come è accaduto per lungo tempo) alle immagini CORONA. Il quarto capitolo rappresenta una breve descrizione del sito archeologico di Tilmen Höyuk; collocazione geografica, cronologia delle varie campagne di studio che l’hanno riguardato, monumenti e suppellettili rinvenute nell’area e che hanno reso possibili una ricostruzione virtuale dell’aspetto originario della città ed una più profonda comprensione della situazione delle capitali del Mediterraneo durante il periodo del Bronzo Medio. Il quinto capitolo è dedicato allo “scopo” principe del lavoro affrontato, vale a dire la generazione dell’ortofotomosaico relativo alla zona di cui sopra. Dopo un’introduzione teorica in merito alla produzione di questo tipo di prodotto (procedure e trasformazioni utilizzabili, metodi di interpolazione dei pixel, qualità del DEM utilizzato), vengono presentati e commentati i risultati ottenuti, cercando di evidenziare le correlazioni fra gli stessi e le problematiche di diversa natura incontrate nella redazione di questo lavoro di tesi. Nel sesto ed ultimo capitolo sono contenute le conclusioni in merito al lavoro in questa sede presentato. Nell’appendice A vengono riportate le tabelle dei punti di controllo utilizzati in fase di orientamento esterno dei fotogrammi.

Analisi di dati telerilevati ottici e radar per la gestione dei disastri: le alluvioni nel Bangladesh.

Abstract L’utilizzo dei dati satellitari per la gestione dei disastri naturali è fondamentale nei paesi in via di sviluppo, dove raramente esiste un censimento ed è difficile per i governi aggiornare le proprie banche dati con le tecniche di rilevamento e metodi di mappatura tradizionali che sono entrambe lunghe e onerose. A supporto dell’importanza dell’impiego del telerilevamento e per favorirne l’uso nel caso di catastrofi, vi è l’operato di diverse organizzazioni internazionali promosse da enti di ricerca, da agenzie governative o da organismi sopranazionali, le quali svolgono un lavoro di cruciale valore, fornendo sostegno tecnico a chi si occupa di far giungere alle popolazioni colpite gli aiuti umanitari e i soccorsi nel più breve tempo possibile. L’attività di tesi è nata proprio dalla collaborazione con una di esse, ITHACA (Information Technology for Humanitarian Assistance, Cooperation and Action), organizzazione no-profit, fondata dal Politecnico di Torino e SiTI (Istituto Superiore sui Sistemi Territoriali per l’Innovazione), la quale a sua volta collabora con il WFP (World Food Programme) delle Nazioni Unite, realizzando cartografie speditive necessarie per la valutazione delle conseguenze di un evento catastrofico, attraverso l’impiego di dati acquisiti da satellite. Su questo tema si è inserito il presente lavoro che ha come obiettivo quello di dimostrare la valenza dei dati telerilevati, siano essi di tipo ottico o Radar, nel caso di alcuni dei disastri naturali più catastrofici, le alluvioni. In particolare è stata studiata la vulnerabilità del Bangladesh, il quale annualmente si trova ad affrontare eventi alluvionali, spesso di grave intensità. Preliminarmente allo studio, è stata condotta una ricerca bibliografica al fine di avere una buona conoscenza dell’area sia in termini geografici e fisici che di sviluppo e tipologia di urbanizzazione. E’stata indagata in particolare l’alluvione che ha colpito il paese nel Luglio del 2004, attraverso delle immagini satellitari multispettrali, in particolare Landsat 7, per un inquadramento pre-evento, ed ASTER per studiare la situazione a distanza di tre mesi dall’accaduto (immagine rilevata il 20 Ottobre 2004). Su tali immagini sono state condotte delle classificazioni supervisionate con il metodo della massima verosimiglianza che hanno portato la suddivisione del territorio in quattro classi di destinazione d’uso del suolo: urbano (Build-up), campi e vegetazione (Crops&Vegetation), sabbia e scavi (Sand&Excavation), idrografia e zone alluvionate (Water). Dalla sperimentazione è emerso come tali immagini multispettrali si prestino molto bene per l’analisi delle differenti caratteristiche del territorio, difatti la validazione condotta sulla mappa tematica derivata dall’immagine Landsat 7 ha portato ad un’accuratezza del 93% circa, mentre la validazione dell’immagine ASTER è stata solo di tipo qualitativo, in quanto, considerata l’entità della situazione rilevata, non è stato possibile avere un confronto con dei punti da assumere come verità a terra. Un’interpretazione della mappa tematica derivante dalla classificazione dell’immagine ASTER è stata elaborata incrociandola in ambiente GIS con dati forniti dal CEGIS (Center for Environmental and Geographic Information Services) riguardanti il landuse della zona in esame; da ciò è emerso che le zone destinate alla coltivazione del riso sono più vulnerabili alle inondazioni ed in particolare nell’Ottobre 2004 il 95% delle aree esondate ha interessato tali colture. Le immagini ottiche presentano un grosso limite nel caso delle alluvioni: la rilevante copertura nuvolosa che spesso accompagna siffatti eventi impedisce ai sensori satellitari operanti nel campo dell’ottico di rilevare il territorio, e per questo di frequente essi non si prestano ad essere impiegati per un’indagine nella fase di prima emergenza. In questa circostanza, un valido aiuto giunge dall’impiego di immagini Radar, le quali permettono osservazioni ad ogni ora del giorno e della notte, anche in presenza di nuvole, rendendole di fondamentale importanza nelle situazioni descritte. Per dimostrare la validità di questi sensori si sono analizzati due subset derivanti da un mosaico di immagini della nuova costellazione italiana ad alta risoluzione CosmoSkymed: il primo va dalla città di Dhaka al Golfo del Bengala ed il secondo copre la zona più a Nord nel distretto di Sylhet. Dalla sperimentazione condotta su tali immagini radar, che ha comportato come ovvio problematiche del tutto differenti rispetto alle elaborazioni tradizionalmente condotte su immagini nel campo dell’ottico, si è potuto verificare come l’estrazione dei corpi d’acqua e più in generale dell’idrografia risulti valida e di veloce computazione. Sono emersi tuttavia dei problemi, per esempio per quanto riguarda la classificazione dell’acqua in presenza di rilievi montuosi; tali complicazioni sono dovute alla presenza di zone d’ombra che risultano erroneamente assegnate alla classe water, ma è stato possibile correggere tali errori di attribuzione mascherando i rilievi con l’ausilio di una mappa delle pendenze ricavata da modelli di elevazione SRTM (Shuttle Radar Topographic Mission). La validazione dei risultati della classificazione, condotta con un grande numero di check points, ha fornito risultati molto incoraggianti (ca. 90%). Nonostante le problematiche riscontrate, il Radar, in sé o in accoppiamento con altri dati di diversa origine, si presta dunque a fornire in breve tempo informazioni sull’estensione dell’esondazione, sul grado di devastazione, sulle caratteristiche delle aree esondate, sulle vie di fuga più adatte, diventando un’importante risorsa per chi si occupa di gestire l’emergenza in caso di eventi calamitosi. L’integrazione con i dati di tipo ottico è inoltre essenziale per pervenire ad una migliore caratterizzazione del fenomeno, sia in termini di change detection che di monitoraggio post-evento.

Tecniche di utilizzo e classificazione di immagini satellitari multispettrali in un'ottica di pianificazione e gestione delle emergenze umanitarie

Il presente lavoro è inserito nel contesto di applicazioni che riguardano la pianificazione e gestione delle emergenze umanitarie. Gli aspetti che si sono voluti mettere in evidenza sono due. Da un lato l'importanza di conoscere le potenzialità dei dati che si hanno di fronte per poterli sfruttare al meglio. Dall'altro l'esigenza di creare prodotti che siano facilmente consultabili da parte dell'utente utilizzando due diverse tecniche per comprenderne le peculiarità. Gli strumenti che hanno permesso il presente studio sono stati tre: i principi del telerilevamento, il GIS e l'analisi di Change Detection.

Segmentazione e categorizzazione di oggetti mediante immagini depth e deep learning

Questo lavoro è iniziato con uno studio teorico delle principali tecniche di classificazione di immagini note in letteratura, con particolare attenzione ai più diffusi modelli di rappresentazione dell’immagine, quali il modello Bag of Visual Words, e ai principali strumenti di Apprendimento Automatico (Machine Learning). In seguito si è focalizzata l’attenzione sulla analisi di ciò che costituisce lo stato dell’arte per la classificazione delle immagini, ovvero il Deep Learning. Per sperimentare i vantaggi dell’insieme di metodologie di Image Classification, si è fatto uso di Torch7, un framework di calcolo numerico, utilizzabile mediante il linguaggio di scripting Lua, open source, con ampio supporto alle metodologie allo stato dell’arte di Deep Learning. Tramite Torch7 è stata implementata la vera e propria classificazione di immagini poiché questo framework, grazie anche al lavoro di analisi portato avanti da alcuni miei colleghi in precedenza, è risultato essere molto efficace nel categorizzare oggetti in immagini. Le immagini su cui si sono basati i test sperimentali, appartengono a un dataset creato ad hoc per il sistema di visione 3D con la finalità di sperimentare il sistema per individui ipovedenti e non vedenti; in esso sono presenti alcuni tra i principali ostacoli che un ipovedente può incontrare nella propria quotidianità. In particolare il dataset si compone di potenziali ostacoli relativi a una ipotetica situazione di utilizzo all’aperto. Dopo avere stabilito dunque che Torch7 fosse il supporto da usare per la classificazione, l’attenzione si è concentrata sulla possibilità di sfruttare la Visione Stereo per aumentare l’accuratezza della classificazione stessa. Infatti, le immagini appartenenti al dataset sopra citato sono state acquisite mediante una Stereo Camera con elaborazione su FPGA sviluppata dal gruppo di ricerca presso il quale è stato svolto questo lavoro. Ciò ha permesso di utilizzare informazioni di tipo 3D, quali il livello di depth (profondità) di ogni oggetto appartenente all’immagine, per segmentare, attraverso un algoritmo realizzato in C++, gli oggetti di interesse, escludendo il resto della scena. L’ultima fase del lavoro è stata quella di testare Torch7 sul dataset di immagini, preventivamente segmentate attraverso l’algoritmo di segmentazione appena delineato, al fine di eseguire il riconoscimento della tipologia di ostacolo individuato dal sistema.