Impiego combinato di GPS, BLE e riconoscimento di immagini per individuare entità nella realtà aumentata

Combinare le tre tecnologie citate nel titolo, GPS, BLE e riconoscimento di immagini per fornire un’informazione continua sulla posizione e sufficientemente precisa da permettere l’impiego della realtà aumentata, con particolare attenzione alla seconda, il BLE, nella fattispecie i bluetooth beacon, tecnologia emergente le cui potenzialità non sono ancora state approfondite fino in fondo.

Sviluppo di una infrastruttura location-based per l'auto-organizzazione di smart-devices.

La tesi consiste nel realizzare una infrastruttura che mantenga il modello tipico dello Spatial Computing e coniughi al meglio le tecnologie location-based come GPS, NFC e BLE, per permettere ai moderni smart-devices Android di cooperare e auto-organizzarsi al fine di compiere un certo task definito a livello applicativo.

Machine learning and convolutional neural networks for melanomas identification

Il machine learning negli ultimi anni ha acquisito una crescente popolarità nell’ambito della ricerca scientifica e delle sue applicazioni. Lo scopo di questa tesi è stato quello di studiare il machine learning nei suoi aspetti generali e applicarlo a problemi di computer vision. La tesi ha affrontato le difficoltà del dover spiegare dal punto di vista teorico gli algoritmi alla base delle reti neurali convoluzionali e ha successivamente trattato due problemi concreti di riconoscimento immagini: il dataset MNIST (immagini di cifre scritte a mano) e un dataset che sarà chiamato ”MELANOMA dataset” (immagini di melanomi e nevi sani). Utilizzando le tecniche spiegate nella sezione teorica si sono riusciti ad ottenere risultati soddifacenti per entrambi i dataset ottenendo una precisione del 98% per il MNIST e del 76.8% per il MELANOMA dataset

Riconoscimento e localizzazione di carrelli per la spesa da immagini.

Il lavoro di tesi è stato svolto presso Datalogic ADC, azienda attiva nel campo dell'automazione industriale. La divisione presso cui mi sono recato per 6 mesi ha sede a Pasadena (California, USA) e si occupa principalmente di sistemi di visione e riconoscimento oggetti, con particolare applicazione al settore della grande distribuzione. L'azienda ha in catalogo diversi prodotti finalizzati ad automatizzare e velocizzare il processo di pagamento alle casse da parte dei clienti. In questo contesto, al mio arrivo, era necessario sviluppare un software che permettesse di riconoscere i comuni carrelli per la spesa quando sono inquadrati dall'alto, con posizione verticale della camera. Mi sono quindi occupato di sviluppare ed implementare un algoritmo che permetta di riconoscere i carrelli della spesa sotto ben precise ipotesi e dati iniziali. Come sarà spiegato più dettagliatamente in seguito, è necessario sia individuare la posizione del carrello sia il suo orientamento, al fine di ottenere in quale direzione si stia muovendo. Inoltre, per i diversi impieghi che si sono pensati per il software in oggetto, è necessario che l'algoritmo funzioni sia con carrelli vuoti, sia con carrelli pieni, anche parzialmente. In aggiunta a ciò il programma deve essere in grado di gestire immagini in cui siano presenti più di un carrello, identificando correttamente ciascuno di essi. Nel Capitolo 1 è data una più specifica introduzione al problema e all'approccio utilizzato per risolverlo. Il Capitolo 2 illustra nel dettaglio l'algoritmo utilizzato. Il Capitolo 3 mostra i risultati sperimentali ottenuti e il procedimento seguito per l'analisi degli stessi. Infine il Capitolo 4 espone alcuni accorgimenti che sono stati apportati all'algoritmo iniziale per cercare di velocizzarlo in vista di un possibile impiego, distinguendo i cambiamenti che introducono un leggero degrado delle prestazioni da quelli che non lo implicano. Il Capitolo 5 conclude sinteticamente questa trattazione ricordando i risultati ottenuti.

Riconoscimento preliminare della forma di velivoli con tecniche di elaborazione delle immagini per applicazione a sistemi UAV

Uno dei problemi che ostacola la diffusione in ambito civile degli aerei senza pilota a bordo (UAV) è la gestione della sicurezza in volo. Gli UAV civili, infatti, popolando una regione di spazio aereo molto affollata e devono interagire con una moltitudine di altri mezzi aerei. Per questo motivo, risulta particolarmente critica l'implementazione di logiche di tipo Sense and Avoid, attraverso le quali un UAV deve essere in grado di "vedere" altri mezzi in rotta di collisione ed elaborare le azioni utili ad evitare l'impatto, decidendo se attuare una manovra autonoma di avoiding oppure delegarla al mezzo incontrato. Questa tesi descrive un primo approccio al problema del riconoscimento (Sense) dei mezzi aerei che un generico velivolo UAV può incontrare durante la normale condotta del volo. In particolare, si descrivono le strategie impiegate e gli ambienti software utilizzati per testare alcune procedure di riconoscimento delle immagini applicabili alla fase di detection dell'intruder, situazione tipica del caso di studio. I risultati sperimentali ottenuti dalla progettazione e dallo sviluppo di un apposito software, consistono nell'implementazione e successiva valutazione di diverse tecniche, individuando le criticità del problema.

Geophotohunt: Studio di algoritmi di confronto di immagini per realizzare una caccia al tesoro fotografica

Questo studio si propone di realizzare un’applicazione per dispositivi Android che permetta, per mezzo di un gioco di ruolo strutturato come caccia al tesoro, di visitare in prima persona città d’arte e luoghi turistici. Gli utenti finali, grazie alle funzionalità dell’app stessa, potranno giocare, creare e condividere cacce al tesoro basate sulla ricerca di edifici, monumenti, luoghi di rilevanza artistico-storica o turistica; in particolare al fine di completare ciascuna tappa di una caccia al tesoro il giocatore dovrà scattare una fotografia al monumento o edificio descritto nell’obiettivo della caccia stessa. Il software grazie ai dati rilevati tramite GPS e giroscopio (qualora il dispositivo ne sia dotato) e per mezzo di un algoritmo di instance recognition sarà in grado di affermare se la foto scattata rappresenta la risposta corretta al quesito della tappa. L’applicazione GeoPhotoHunt rappresenta non solo uno strumento ludico per la visita di città turistiche o più in generale luoghi di interesse, lo studio propone, infatti come suo contributo originale, l’implementazione su piattaforma mobile di un Content Based Image Retrieval System (CBIR) del tutto indipendente da un supporto server. Nello specifico il server dell’applicazione non sarà altro che uno strumento di appoggio con il quale i membri della “community” di GeoPhotoHunt potranno pubblicare le cacce al tesoro da loro create e condividere i punteggi che hanno totalizzato partecipando a una caccia al tesoro. In questo modo quando un utente ha scaricato sul proprio smartphone i dati di una caccia al tesoro potrà iniziare l’avventura anche in assenza di una connessione internet. L’intero studio è stato suddiviso in più fasi, ognuna di queste corrisponde ad una specifica sezione dell’elaborato che segue. In primo luogo si sono effettuate delle ricerche, soprattutto nel web, con lo scopo di individuare altre applicazioni che implementano l’idea della caccia al tesoro su piattaforma mobile o applicazioni che implementassero algoritmi di instance recognition direttamente su smartphone. In secondo luogo si è ricercato in letteratura quali fossero gli algoritmi di riconoscimento di immagini più largamente diffusi e studiati in modo da avere una panoramica dei metodi da testare per poi fare la scelta dell’algoritmo più adatto al caso di studio. Quindi si è proceduto con lo sviluppo dell’applicazione GeoPhotoHunt stessa, sia per quanto riguarda l’app front-end per dispositivi Android sia la parte back-end server. Infine si è passati ad una fase di test di algoritmi di riconoscimento di immagini in modo di avere una sufficiente quantità di dati sperimentali da permettere di effettuare una scelta dell’algoritmo più adatto al caso di studio. Al termine della fase di testing si è deciso di implementare su Android un algoritmo basato sulla distanza tra istogrammi di colore costruiti sulla scala cromatica HSV, questo metodo pur non essendo robusto in presenza di variazioni di luminosità e contrasto, rappresenta un buon compromesso tra prestazioni, complessità computazionale in modo da rendere la user experience quanto più coinvolgente.

Il riconoscimento del volto in presenza di alterazioni digitali delle immagini

Obiettivo principale di questo lavoro di tesi è valutare la robustezza delle tecniche di riconoscimento del volto allo stato dell’arte rispetto a modifiche delle immagini operate tramite morphing. Tale tipo di alterazioni potrebbero essere operate con scopi criminali legati all’utilizzo di documenti di identità con elementi biometrici e, in particolare, del passaporto elettronico che utilizza il volto come caratteristica biometrica primaria per la verifica di identità. Il lavoro di tesi ha richiesto quindi: - La creazione di immagini morphed a partire da volti di diversi soggetti; - L’esecuzione di test con software commerciali per il riconoscimento del volto al fine di valutarne la robustezza.

Sviluppo e analisi di un algoritmo parallelo di riconoscimento di oggetti in immagini

Implementazione sequenziale e parallela dell'algoritmo Evolution Constructed feature per il riconoscimento di oggetti in immagini. Analisi dei risultati ottenuti dall'algoritmo tramite la precision e la recall. Confronto dei tempi di esecuzione delle due versioni dell'algoritmo al fine di valutare gli effettivi guadagni ottenuti tramite la parallelizzazione.

Sviluppo di un sistema di riconoscimento di immagini contenenti volti morphed

La tesi descrive lo sviluppo di un sistema di rilevamento di immagini di volto sottoposte a morphing.

Analisi di immagini aerofotogrammetriche e telerilevate per la caratterizzazione qualitativa e quantitativa di ecosistemi forestali e della loro evoluzione

L’obiettivo della tesi riguarda l’utilizzo di immagini aerofotogrammetriche e telerilevate per la caratterizzazione qualitativa e quantitativa di ecosistemi forestali e della loro evoluzione. Le tematiche affrontate hanno riguardato, da una parte, l’aspetto fotogrammetrico, mediante recupero, digitalizzazione ed elaborazione di immagini aeree storiche di varie epoche, e, dall’altra, l’aspetto legato all’uso del telerilevamento per la classificazione delle coperture al suolo. Nel capitolo 1 viene fatta una breve introduzione sullo sviluppo delle nuove tecnologie di rilievo con un approfondimento delle applicazioni forestali; nel secondo capitolo è affrontata la tematica legata all’acquisizione dei dati telerilevati e fotogrammetrici con una breve descrizione delle caratteristiche e grandezze principali; il terzo capitolo tratta i processi di elaborazione e classificazione delle immagini per l’estrazione delle informazioni significative. Nei tre capitoli seguenti vengono mostrati tre casi di applicazioni di fotogrammetria e telerilevamento nello studio di ecosistemi forestali. Il primo caso (capitolo 4) riguarda l’area del gruppo montuoso del Prado- Cusna, sui cui è stata compiuta un’analisi multitemporale dell’evoluzione del limite altitudinale degli alberi nell’arco degli ultimi cinquant’anni. E’ stata affrontata ed analizzata la procedura per il recupero delle prese aeree storiche, definibile mediante una serie di successive operazioni, a partire dalla digitalizzazione dei fotogrammi, continuando con la determinazione di punti di controllo noti a terra per l’orientamento delle immagini, per finire con l’ortorettifica e mosaicatura delle stesse, con l’ausilio di un Modello Digitale del Terreno (DTM). Tutto ciò ha permesso il confronto di tali dati con immagini digitali più recenti al fine di individuare eventuali cambiamenti avvenuti nell’arco di tempo intercorso. Nel secondo caso (capitolo 5) si è definita per lo studio della zona del gruppo del monte Giovo una procedura di classificazione per l’estrazione delle coperture vegetative e per l’aggiornamento della cartografia esistente – in questo caso la carta della vegetazione. In particolare si è cercato di classificare la vegetazione soprasilvatica, dominata da brughiere a mirtilli e praterie con prevalenza di quelle secondarie a nardo e brachipodio. In alcune aree sono inoltre presenti comunità che colonizzano accumuli detritici stabilizzati e le rupi arenacee. A questo scopo, oltre alle immagini aeree (Volo IT2000) sono state usate anche immagini satellitari ASTER e altri dati ancillari (DTM e derivati), ed è stato applicato un sistema di classificazione delle coperture di tipo objectbased. Si è cercato di definire i migliori parametri per la segmentazione e il numero migliore di sample per la classificazione. Da una parte, è stata fatta una classificazione supervisionata della vegetazione a partire da pochi sample di riferimento, dall’altra si è voluto testare tale metodo per la definizione di una procedura di aggiornamento automatico della cartografia esistente. Nel terzo caso (capitolo 6), sempre nella zona del gruppo del monte Giovo, è stato fatto un confronto fra la timberline estratta mediante segmentazione ad oggetti ed il risultato di rilievi GPS a terra appositamente effettuati. L’obiettivo è la definizione del limite altitudinale del bosco e l’individuazione di gruppi di alberi isolati al di sopra di esso mediante procedure di segmentazione e classificazione object-based di ortofoto aeree in formato digitale e la verifica sul campo in alcune zone campione dei risultati, mediante creazione di profili GPS del limite del bosco e determinazione delle coordinate dei gruppi di alberi isolati. I risultati finali del lavoro hanno messo in luce come le moderne tecniche di analisi di immagini sono ormai mature per consentire il raggiungimento degli obiettivi prefissi nelle tre applicazioni considerate, pur essendo in ogni caso necessaria una attenta validazione dei dati ed un intervento dell’operatore in diversi momenti del processo. In particolare, le operazioni di segmentazione delle immagini per l’estrazione di feature significative hanno dimostrato grandi potenzialità in tutti e tre i casi. Un software ad “oggetti” semplifica l’implementazione dei risultati della classificazione in un ambiente GIS, offrendo la possibilità, ad esempio, di esportare in formato vettoriale gli oggetti classificati. Inoltre dà la possibilità di utilizzare contemporaneamente, in un unico ambiente, più sorgenti di informazione quali foto aeree, immagini satellitari, DTM e derivati. Le procedure automatiche per l’estrazione della timberline e dei gruppi di alberi isolati e per la classificazione delle coperture sono oggetto di un continuo sviluppo al fine di migliorarne le prestazioni; allo stato attuale esse non devono essere considerate una soluzione ottimale autonoma ma uno strumento per impostare e semplificare l’intervento da parte dello specialista in fotointerpretazione.

Analisi di immagini termiche aeree e satellitari per indagini multiscala in ambito urbano

L’alta risoluzione nel telerilevamento termico (Thermal Remote Sensing) da aereo o satellitare si rivela molto importante nell’analisi del comportamento termico delle superfici, in particolare per lo studio dei fenomeni climatici locali dello spazio urbano. La stato termico dell'ambiente urbano è oggi motivo di grande interesse per ricercatori, organi istituzionali e cittadini. Uno dei maggiori campi di studio del comportamento termico urbano interessa il problema energetico: la riduzione dei consumi e delle emissioni di CO2 è un obiettivo primario da perseguire per uno sviluppo sostenibile, spesso supportato da criteri legislativi e progetti comunitari. Su scala differente e con caratteristiche differenti, un altro degli argomenti che scuote da anni e con notevole interesse la ricerca scientifica, è il fenomeno termico urbano che prende il nome di isola di calore; questa si sviluppa non solo in conseguenza al calore sensibile rilasciato da attività antropiche, ma anche a causa della sempre maggiore conversione del territorio rurale in urbanizzato (inurbamento), con conseguente riduzione del fenomeno dell’evapotraspirazione. Oggetto di questa dissertazione è lo studio del comportamento termico delle superfici in ambito urbano, sperimentato sulla città di Bologna. Il primo capitolo si interessa dei principi e delle leggi fisiche sui quali è basato il telerilevamento effettuato nelle bende spettrali dell’infrarosso termico. Viene data una definizione di temperatura radiometrica e cinematica, tra loro legate dall’emissività. Vengono esposti i concetti di risoluzione (geometrica, radiometrica, temporale e spettrale) dell’immagine termica e viene data descrizione dei principali sensori su piattaforma spaziale per l’alta risoluzione nel TIR (ASTER e Landsat). Il secondo capitolo si apre con la definizione di LST (Land Surface Temperature), parametro del terreno misurato col telerilevamento, e ne viene descritta la dipendenza dal flusso della radiazione in atmosfera e dalle condizioni di bilancio termico della superficie investigata. Per la sua determinazione vengono proposti metodi diversi in funzione del numero di osservazioni disponibili nelle diverse bande spettrali dell’IR termico. In chiusura sono discussi i parametri che ne caratterizzano la variabilità. Il capitolo terzo entra nel dettaglio del telerilevamento termico in ambito urbano, definendo il fenomeno dell’Urban Heat Island su tutti i livelli atmosferici interessati, fornendo un quadro di operabilità con gli strumenti moderni di rilievo alle differenti scale (analisi multiscala). Un esempio concreto di studio multiscala dei fenomeni termici urbani è il progetto europeo EnergyCity, volto a ridurre i consumi energetici e le emissioni di gas serra di alcune città del centro Europa. Il capitolo quarto riporta la sperimentazione condotta sull’isola di calore urbana della città di Bologna tramite immagini ASTER con risoluzione spaziale 90 m nel TIR e ricampionate a 15 m dal VIS. Lo studio dell’isola di calore si è effettuata a partire dal calcolo della Land Surface Temperature utilizzando valori di emissività derivati da classificazione delle superfici al suolo. Per la validazione dei dati, in alternativa alle stazioni di monitoraggio fisse dell’ARPA, presenti nell’area metropolitana della città, si è sperimentato l’utilizzo di data-loggers per il rilievo di temperatura con possibilità di campionamento a 2 sec. installati su veicoli mobili, strumentati con ricevitori GPS, per la misura dei profili di temperatura atmosferica near-ground lungo transetti di attraversamento della città in direzione est-ovest.

Segmentazione del pavimento di una scena basata sul riconoscimento del pattern

Nel contesto della tesi è stata sviluppata un'applicazione di Realtà Aumentata per tablet Android nell'ambito dell'interior design. Dopo aver acquisito un'istantanea con la fotocamera del dispositivo di un ambiente interno, è possibile selezionare attraverso un "tocco" sul display il rivestimento (pavimento o parete) di cui si vuole simulare il cambiamento di colore o texture. Una volta individuata ed evidenziata l'area di interesse, in tempo reale è possibile cambiare interattivamente l'aspetto del rivestimento precedentemente selezionato. La tesi si focalizza sulla ricerca di un metodo che consenta di avere una segmentazione accurata della superficie di interesse. L'algoritmo di segmentazione studiato, utilizzato nell'applicazione di Realtà Aumentata, è sviluppato nel contesto della collaborazione tra il Computer Vision Group (CVG), coordinato dal Prof. Alessandro Bevilacqua e Maticad S.r.l., un'azienda che opera nel settore dell'Information Technology, Distributed Applications, Internet e Computer Grafica, presso la quale ho effettuato un periodo di tirocinio. Maticad, oltre a software per pc desktop, sviluppa applicazioni per iOS e in questo contesto, durante il tirocinio, ho sviluppata un'applicazione demo per iOS 7 volta a studiare le prestazioni dei sensori (ottico, inerziali, magnetici), in vista di un futuro porting dell'applicazione su quel sistema operativo.

Segmentazione di immagini mammografiche con convolutional neural networks

Il tumore al seno si colloca al primo posto per livello di mortalità tra le patologie tumorali che colpiscono la popolazione femminile mondiale. Diversi studi clinici hanno dimostrato come la diagnosi da parte del radiologo possa essere aiutata e migliorata dai sistemi di Computer Aided Detection (CAD). A causa della grande variabilità di forma e dimensioni delle masse tumorali e della somiglianza di queste con i tessuti che le ospitano, la loro ricerca automatizzata è un problema estremamente complicato. Un sistema di CAD è generalmente composto da due livelli di classificazione: la detection, responsabile dell’individuazione delle regioni sospette presenti sul mammogramma (ROI) e quindi dell’eliminazione preventiva delle zone non a rischio; la classificazione vera e propria (classification) delle ROI in masse e tessuto sano. Lo scopo principale di questa tesi è lo studio di nuove metodologie di detection che possano migliorare le prestazioni ottenute con le tecniche tradizionali. Si considera la detection come un problema di apprendimento supervisionato e lo si affronta mediante le Convolutional Neural Networks (CNN), un algoritmo appartenente al deep learning, nuova branca del machine learning. Le CNN si ispirano alle scoperte di Hubel e Wiesel riguardanti due tipi base di cellule identificate nella corteccia visiva dei gatti: le cellule semplici (S), che rispondono a stimoli simili ai bordi, e le cellule complesse (C) che sono localmente invarianti all’esatta posizione dello stimolo. In analogia con la corteccia visiva, le CNN utilizzano un’architettura profonda caratterizzata da strati che eseguono sulle immagini, alternativamente, operazioni di convoluzione e subsampling. Le CNN, che hanno un input bidimensionale, vengono solitamente usate per problemi di classificazione e riconoscimento automatico di immagini quali oggetti, facce e loghi o per l’analisi di documenti.

Classificazione di oggetti in immagini attraverso il modello Bag of Visual Words

Generic object recognition is an important function of the human visual system and everybody finds it highly useful in their everyday life. For an artificial vision system it is a really hard, complex and challenging task because instances of the same object category can generate very different images, depending of different variables such as illumination conditions, the pose of an object, the viewpoint of the camera, partial occlusions, and unrelated background clutter. The purpose of this thesis is to develop a system that is able to classify objects in 2D images based on the context, and identify to which category the object belongs to. Given an image, the system can classify it and decide the correct categorie of the object. Furthermore the objective of this thesis is also to test the performance and the precision of different supervised Machine Learning algorithms in this specific task of object image categorization. Through different experiments the implemented application reveals good categorization performances despite the difficulty of the problem. However this project is open to future improvement; it is possible to implement new algorithms that has not been invented yet or using other techniques to extract features to make the system more reliable. This application can be installed inside an embedded system and after trained (performed outside the system), so it can become able to classify objects in a real-time. The information given from a 3D stereocamera, developed inside the department of Computer Engineering of the University of Bologna, can be used to improve the accuracy of the classification task. The idea is to segment a single object in a scene using the depth given from a stereocamera and in this way make the classification more accurate.