Impiego combinato di GPS, BLE e riconoscimento di immagini per individuare entità nella realtà aumentata

Combinare le tre tecnologie citate nel titolo, GPS, BLE e riconoscimento di immagini per fornire un’informazione continua sulla posizione e sufficientemente precisa da permettere l’impiego della realtà aumentata, con particolare attenzione alla seconda, il BLE, nella fattispecie i bluetooth beacon, tecnologia emergente le cui potenzialità non sono ancora state approfondite fino in fondo.

Sviluppo di una infrastruttura location-based per l'auto-organizzazione di smart-devices.

La tesi consiste nel realizzare una infrastruttura che mantenga il modello tipico dello Spatial Computing e coniughi al meglio le tecnologie location-based come GPS, NFC e BLE, per permettere ai moderni smart-devices Android di cooperare e auto-organizzarsi al fine di compiere un certo task definito a livello applicativo.

Riconoscimento e localizzazione di carrelli per la spesa da immagini.

Il lavoro di tesi è stato svolto presso Datalogic ADC, azienda attiva nel campo dell'automazione industriale. La divisione presso cui mi sono recato per 6 mesi ha sede a Pasadena (California, USA) e si occupa principalmente di sistemi di visione e riconoscimento oggetti, con particolare applicazione al settore della grande distribuzione. L'azienda ha in catalogo diversi prodotti finalizzati ad automatizzare e velocizzare il processo di pagamento alle casse da parte dei clienti. In questo contesto, al mio arrivo, era necessario sviluppare un software che permettesse di riconoscere i comuni carrelli per la spesa quando sono inquadrati dall'alto, con posizione verticale della camera. Mi sono quindi occupato di sviluppare ed implementare un algoritmo che permetta di riconoscere i carrelli della spesa sotto ben precise ipotesi e dati iniziali. Come sarà spiegato più dettagliatamente in seguito, è necessario sia individuare la posizione del carrello sia il suo orientamento, al fine di ottenere in quale direzione si stia muovendo. Inoltre, per i diversi impieghi che si sono pensati per il software in oggetto, è necessario che l'algoritmo funzioni sia con carrelli vuoti, sia con carrelli pieni, anche parzialmente. In aggiunta a ciò il programma deve essere in grado di gestire immagini in cui siano presenti più di un carrello, identificando correttamente ciascuno di essi. Nel Capitolo 1 è data una più specifica introduzione al problema e all'approccio utilizzato per risolverlo. Il Capitolo 2 illustra nel dettaglio l'algoritmo utilizzato. Il Capitolo 3 mostra i risultati sperimentali ottenuti e il procedimento seguito per l'analisi degli stessi. Infine il Capitolo 4 espone alcuni accorgimenti che sono stati apportati all'algoritmo iniziale per cercare di velocizzarlo in vista di un possibile impiego, distinguendo i cambiamenti che introducono un leggero degrado delle prestazioni da quelli che non lo implicano. Il Capitolo 5 conclude sinteticamente questa trattazione ricordando i risultati ottenuti.

Riconoscimento preliminare della forma di velivoli con tecniche di elaborazione delle immagini per applicazione a sistemi UAV

Uno dei problemi che ostacola la diffusione in ambito civile degli aerei senza pilota a bordo (UAV) è la gestione della sicurezza in volo. Gli UAV civili, infatti, popolando una regione di spazio aereo molto affollata e devono interagire con una moltitudine di altri mezzi aerei. Per questo motivo, risulta particolarmente critica l'implementazione di logiche di tipo Sense and Avoid, attraverso le quali un UAV deve essere in grado di "vedere" altri mezzi in rotta di collisione ed elaborare le azioni utili ad evitare l'impatto, decidendo se attuare una manovra autonoma di avoiding oppure delegarla al mezzo incontrato. Questa tesi descrive un primo approccio al problema del riconoscimento (Sense) dei mezzi aerei che un generico velivolo UAV può incontrare durante la normale condotta del volo. In particolare, si descrivono le strategie impiegate e gli ambienti software utilizzati per testare alcune procedure di riconoscimento delle immagini applicabili alla fase di detection dell'intruder, situazione tipica del caso di studio. I risultati sperimentali ottenuti dalla progettazione e dallo sviluppo di un apposito software, consistono nell'implementazione e successiva valutazione di diverse tecniche, individuando le criticità del problema.

Geophotohunt: Studio di algoritmi di confronto di immagini per realizzare una caccia al tesoro fotografica

Questo studio si propone di realizzare un’applicazione per dispositivi Android che permetta, per mezzo di un gioco di ruolo strutturato come caccia al tesoro, di visitare in prima persona città d’arte e luoghi turistici. Gli utenti finali, grazie alle funzionalità dell’app stessa, potranno giocare, creare e condividere cacce al tesoro basate sulla ricerca di edifici, monumenti, luoghi di rilevanza artistico-storica o turistica; in particolare al fine di completare ciascuna tappa di una caccia al tesoro il giocatore dovrà scattare una fotografia al monumento o edificio descritto nell’obiettivo della caccia stessa. Il software grazie ai dati rilevati tramite GPS e giroscopio (qualora il dispositivo ne sia dotato) e per mezzo di un algoritmo di instance recognition sarà in grado di affermare se la foto scattata rappresenta la risposta corretta al quesito della tappa. L’applicazione GeoPhotoHunt rappresenta non solo uno strumento ludico per la visita di città turistiche o più in generale luoghi di interesse, lo studio propone, infatti come suo contributo originale, l’implementazione su piattaforma mobile di un Content Based Image Retrieval System (CBIR) del tutto indipendente da un supporto server. Nello specifico il server dell’applicazione non sarà altro che uno strumento di appoggio con il quale i membri della “community” di GeoPhotoHunt potranno pubblicare le cacce al tesoro da loro create e condividere i punteggi che hanno totalizzato partecipando a una caccia al tesoro. In questo modo quando un utente ha scaricato sul proprio smartphone i dati di una caccia al tesoro potrà iniziare l’avventura anche in assenza di una connessione internet. L’intero studio è stato suddiviso in più fasi, ognuna di queste corrisponde ad una specifica sezione dell’elaborato che segue. In primo luogo si sono effettuate delle ricerche, soprattutto nel web, con lo scopo di individuare altre applicazioni che implementano l’idea della caccia al tesoro su piattaforma mobile o applicazioni che implementassero algoritmi di instance recognition direttamente su smartphone. In secondo luogo si è ricercato in letteratura quali fossero gli algoritmi di riconoscimento di immagini più largamente diffusi e studiati in modo da avere una panoramica dei metodi da testare per poi fare la scelta dell’algoritmo più adatto al caso di studio. Quindi si è proceduto con lo sviluppo dell’applicazione GeoPhotoHunt stessa, sia per quanto riguarda l’app front-end per dispositivi Android sia la parte back-end server. Infine si è passati ad una fase di test di algoritmi di riconoscimento di immagini in modo di avere una sufficiente quantità di dati sperimentali da permettere di effettuare una scelta dell’algoritmo più adatto al caso di studio. Al termine della fase di testing si è deciso di implementare su Android un algoritmo basato sulla distanza tra istogrammi di colore costruiti sulla scala cromatica HSV, questo metodo pur non essendo robusto in presenza di variazioni di luminosità e contrasto, rappresenta un buon compromesso tra prestazioni, complessità computazionale in modo da rendere la user experience quanto più coinvolgente.

Il riconoscimento del volto in presenza di alterazioni digitali delle immagini

Obiettivo principale di questo lavoro di tesi è valutare la robustezza delle tecniche di riconoscimento del volto allo stato dell’arte rispetto a modifiche delle immagini operate tramite morphing. Tale tipo di alterazioni potrebbero essere operate con scopi criminali legati all’utilizzo di documenti di identità con elementi biometrici e, in particolare, del passaporto elettronico che utilizza il volto come caratteristica biometrica primaria per la verifica di identità. Il lavoro di tesi ha richiesto quindi: - La creazione di immagini morphed a partire da volti di diversi soggetti; - L’esecuzione di test con software commerciali per il riconoscimento del volto al fine di valutarne la robustezza.

Sviluppo e analisi di un algoritmo parallelo di riconoscimento di oggetti in immagini

Implementazione sequenziale e parallela dell'algoritmo Evolution Constructed feature per il riconoscimento di oggetti in immagini. Analisi dei risultati ottenuti dall'algoritmo tramite la precision e la recall. Confronto dei tempi di esecuzione delle due versioni dell'algoritmo al fine di valutare gli effettivi guadagni ottenuti tramite la parallelizzazione.

Sviluppo di un sistema di riconoscimento di immagini contenenti volti morphed

La tesi descrive lo sviluppo di un sistema di rilevamento di immagini di volto sottoposte a morphing.

Analisi di immagini termiche aeree e satellitari per indagini multiscala in ambito urbano

L’alta risoluzione nel telerilevamento termico (Thermal Remote Sensing) da aereo o satellitare si rivela molto importante nell’analisi del comportamento termico delle superfici, in particolare per lo studio dei fenomeni climatici locali dello spazio urbano. La stato termico dell'ambiente urbano è oggi motivo di grande interesse per ricercatori, organi istituzionali e cittadini. Uno dei maggiori campi di studio del comportamento termico urbano interessa il problema energetico: la riduzione dei consumi e delle emissioni di CO2 è un obiettivo primario da perseguire per uno sviluppo sostenibile, spesso supportato da criteri legislativi e progetti comunitari. Su scala differente e con caratteristiche differenti, un altro degli argomenti che scuote da anni e con notevole interesse la ricerca scientifica, è il fenomeno termico urbano che prende il nome di isola di calore; questa si sviluppa non solo in conseguenza al calore sensibile rilasciato da attività antropiche, ma anche a causa della sempre maggiore conversione del territorio rurale in urbanizzato (inurbamento), con conseguente riduzione del fenomeno dell’evapotraspirazione. Oggetto di questa dissertazione è lo studio del comportamento termico delle superfici in ambito urbano, sperimentato sulla città di Bologna. Il primo capitolo si interessa dei principi e delle leggi fisiche sui quali è basato il telerilevamento effettuato nelle bende spettrali dell’infrarosso termico. Viene data una definizione di temperatura radiometrica e cinematica, tra loro legate dall’emissività. Vengono esposti i concetti di risoluzione (geometrica, radiometrica, temporale e spettrale) dell’immagine termica e viene data descrizione dei principali sensori su piattaforma spaziale per l’alta risoluzione nel TIR (ASTER e Landsat). Il secondo capitolo si apre con la definizione di LST (Land Surface Temperature), parametro del terreno misurato col telerilevamento, e ne viene descritta la dipendenza dal flusso della radiazione in atmosfera e dalle condizioni di bilancio termico della superficie investigata. Per la sua determinazione vengono proposti metodi diversi in funzione del numero di osservazioni disponibili nelle diverse bande spettrali dell’IR termico. In chiusura sono discussi i parametri che ne caratterizzano la variabilità. Il capitolo terzo entra nel dettaglio del telerilevamento termico in ambito urbano, definendo il fenomeno dell’Urban Heat Island su tutti i livelli atmosferici interessati, fornendo un quadro di operabilità con gli strumenti moderni di rilievo alle differenti scale (analisi multiscala). Un esempio concreto di studio multiscala dei fenomeni termici urbani è il progetto europeo EnergyCity, volto a ridurre i consumi energetici e le emissioni di gas serra di alcune città del centro Europa. Il capitolo quarto riporta la sperimentazione condotta sull’isola di calore urbana della città di Bologna tramite immagini ASTER con risoluzione spaziale 90 m nel TIR e ricampionate a 15 m dal VIS. Lo studio dell’isola di calore si è effettuata a partire dal calcolo della Land Surface Temperature utilizzando valori di emissività derivati da classificazione delle superfici al suolo. Per la validazione dei dati, in alternativa alle stazioni di monitoraggio fisse dell’ARPA, presenti nell’area metropolitana della città, si è sperimentato l’utilizzo di data-loggers per il rilievo di temperatura con possibilità di campionamento a 2 sec. installati su veicoli mobili, strumentati con ricevitori GPS, per la misura dei profili di temperatura atmosferica near-ground lungo transetti di attraversamento della città in direzione est-ovest.

Segmentazione del pavimento di una scena basata sul riconoscimento del pattern

Nel contesto della tesi è stata sviluppata un'applicazione di Realtà Aumentata per tablet Android nell'ambito dell'interior design. Dopo aver acquisito un'istantanea con la fotocamera del dispositivo di un ambiente interno, è possibile selezionare attraverso un "tocco" sul display il rivestimento (pavimento o parete) di cui si vuole simulare il cambiamento di colore o texture. Una volta individuata ed evidenziata l'area di interesse, in tempo reale è possibile cambiare interattivamente l'aspetto del rivestimento precedentemente selezionato. La tesi si focalizza sulla ricerca di un metodo che consenta di avere una segmentazione accurata della superficie di interesse. L'algoritmo di segmentazione studiato, utilizzato nell'applicazione di Realtà Aumentata, è sviluppato nel contesto della collaborazione tra il Computer Vision Group (CVG), coordinato dal Prof. Alessandro Bevilacqua e Maticad S.r.l., un'azienda che opera nel settore dell'Information Technology, Distributed Applications, Internet e Computer Grafica, presso la quale ho effettuato un periodo di tirocinio. Maticad, oltre a software per pc desktop, sviluppa applicazioni per iOS e in questo contesto, durante il tirocinio, ho sviluppata un'applicazione demo per iOS 7 volta a studiare le prestazioni dei sensori (ottico, inerziali, magnetici), in vista di un futuro porting dell'applicazione su quel sistema operativo.

Segmentazione di immagini mammografiche con convolutional neural networks

Il tumore al seno si colloca al primo posto per livello di mortalità tra le patologie tumorali che colpiscono la popolazione femminile mondiale. Diversi studi clinici hanno dimostrato come la diagnosi da parte del radiologo possa essere aiutata e migliorata dai sistemi di Computer Aided Detection (CAD). A causa della grande variabilità di forma e dimensioni delle masse tumorali e della somiglianza di queste con i tessuti che le ospitano, la loro ricerca automatizzata è un problema estremamente complicato. Un sistema di CAD è generalmente composto da due livelli di classificazione: la detection, responsabile dell’individuazione delle regioni sospette presenti sul mammogramma (ROI) e quindi dell’eliminazione preventiva delle zone non a rischio; la classificazione vera e propria (classification) delle ROI in masse e tessuto sano. Lo scopo principale di questa tesi è lo studio di nuove metodologie di detection che possano migliorare le prestazioni ottenute con le tecniche tradizionali. Si considera la detection come un problema di apprendimento supervisionato e lo si affronta mediante le Convolutional Neural Networks (CNN), un algoritmo appartenente al deep learning, nuova branca del machine learning. Le CNN si ispirano alle scoperte di Hubel e Wiesel riguardanti due tipi base di cellule identificate nella corteccia visiva dei gatti: le cellule semplici (S), che rispondono a stimoli simili ai bordi, e le cellule complesse (C) che sono localmente invarianti all’esatta posizione dello stimolo. In analogia con la corteccia visiva, le CNN utilizzano un’architettura profonda caratterizzata da strati che eseguono sulle immagini, alternativamente, operazioni di convoluzione e subsampling. Le CNN, che hanno un input bidimensionale, vengono solitamente usate per problemi di classificazione e riconoscimento automatico di immagini quali oggetti, facce e loghi o per l’analisi di documenti.

Classificazione di oggetti in immagini attraverso il modello Bag of Visual Words

Generic object recognition is an important function of the human visual system and everybody finds it highly useful in their everyday life. For an artificial vision system it is a really hard, complex and challenging task because instances of the same object category can generate very different images, depending of different variables such as illumination conditions, the pose of an object, the viewpoint of the camera, partial occlusions, and unrelated background clutter. The purpose of this thesis is to develop a system that is able to classify objects in 2D images based on the context, and identify to which category the object belongs to. Given an image, the system can classify it and decide the correct categorie of the object. Furthermore the objective of this thesis is also to test the performance and the precision of different supervised Machine Learning algorithms in this specific task of object image categorization. Through different experiments the implemented application reveals good categorization performances despite the difficulty of the problem. However this project is open to future improvement; it is possible to implement new algorithms that has not been invented yet or using other techniques to extract features to make the system more reliable. This application can be installed inside an embedded system and after trained (performed outside the system), so it can become able to classify objects in a real-time. The information given from a 3D stereocamera, developed inside the department of Computer Engineering of the University of Bologna, can be used to improve the accuracy of the classification task. The idea is to segment a single object in a scene using the depth given from a stereocamera and in this way make the classification more accurate.

Besafe: un'applicazione Android per la rilevazione di aggressioni attraverso il riconoscimento del tipo di mobilità

Tematiche di violenza e aggressione sono oggi di estrema attualità e sempre più spesso se ne sente parlare al telegiornale o in programmi specializzati. Aggressione per molestie, furto o per scopi razziali; le motivazioni e i casi d'interesse sono vari e spesso hanno inizio senza alcun apparente motivo e la sensazione di sentirsi sempre meno al sicuro, anche appena usciti di casa, può degenerare ad una vera e propria paranoia. L'unica cosa che è sempre al nostro fianco, oggi giorno, sono i nostri smartphone, che risultano sempre più sofisticati e intelligenti; perché, allora, non provare ad usarli come protezione? L'obiettivo su cui si è incentrata questa tesi è, appunto, il riconoscimento di un'aggressione basata sull'analisi della situazione in cui si trova l'utente, attraverso l'uso dei sensori messi a disposizione dagli odierni smartphone in circolazione. Esistono già numerose applicazioni per la sicurezza personale, ma il metodo utilizzato per la segnalazione di un'aggressione è sempre basato sulla pressione di un pulsante o un'azione particolare che l'utente deve svolgere. L'applicazione creata in questo studio, invece, cerca di riconoscere le situazioni di pericolo osservando i movimenti dell'utente e basa il riconoscimento sulla presenza di situazioni fuori dalla normale quotidianità che, attraverso dei "controlli di conferma", permettono di riconoscere il pericolo in maniera completamente autonoma. Si è deciso di approcciarsi ad un riconoscimento autonomo, in quanto, non sempre si ha la possibilità, o il tempo, di prendere in mano il proprio smartphone per avvisare del pericolo e molte volte il panico potrebbe far perdere la lucidità alla vittima, il cui primo pensiero è quello di difendersi e scappare e non utilizzare il dispositivo. Altre volte, distrarsi anche per un secondo, potrebbe essere fatale per la propria sicurezza. Per questo motivo si è ricercato un'approccio di riconoscimento basato "sull'osservazione" di ciò che sta accadendo, piuttosto che sull'attesa di un segnale. L'obiettivo di riconoscimento prefissato è stato quello delle aggressioni in strada e i sensori utilizzati a questo scopo sono stati: accelerometro, giroscopio, GPS e microfono. Attraverso la combinazione di questi sensori, infatti, è stato possibile riconoscere cadute (di forte entità), urla e probabili spinte/strattoni. Si sono studiate, per tanto, le caratteristiche che collegassero queste tipologie di situazioni per ogni sensore preso in esame, costruendo un'approccio di riconoscimento risultato valido per gli obiettivi minimi prefissati.

Segmentazione e categorizzazione di oggetti mediante immagini depth e deep learning

Questo lavoro è iniziato con uno studio teorico delle principali tecniche di classificazione di immagini note in letteratura, con particolare attenzione ai più diffusi modelli di rappresentazione dell’immagine, quali il modello Bag of Visual Words, e ai principali strumenti di Apprendimento Automatico (Machine Learning). In seguito si è focalizzata l’attenzione sulla analisi di ciò che costituisce lo stato dell’arte per la classificazione delle immagini, ovvero il Deep Learning. Per sperimentare i vantaggi dell’insieme di metodologie di Image Classification, si è fatto uso di Torch7, un framework di calcolo numerico, utilizzabile mediante il linguaggio di scripting Lua, open source, con ampio supporto alle metodologie allo stato dell’arte di Deep Learning. Tramite Torch7 è stata implementata la vera e propria classificazione di immagini poiché questo framework, grazie anche al lavoro di analisi portato avanti da alcuni miei colleghi in precedenza, è risultato essere molto efficace nel categorizzare oggetti in immagini. Le immagini su cui si sono basati i test sperimentali, appartengono a un dataset creato ad hoc per il sistema di visione 3D con la finalità di sperimentare il sistema per individui ipovedenti e non vedenti; in esso sono presenti alcuni tra i principali ostacoli che un ipovedente può incontrare nella propria quotidianità. In particolare il dataset si compone di potenziali ostacoli relativi a una ipotetica situazione di utilizzo all’aperto. Dopo avere stabilito dunque che Torch7 fosse il supporto da usare per la classificazione, l’attenzione si è concentrata sulla possibilità di sfruttare la Visione Stereo per aumentare l’accuratezza della classificazione stessa. Infatti, le immagini appartenenti al dataset sopra citato sono state acquisite mediante una Stereo Camera con elaborazione su FPGA sviluppata dal gruppo di ricerca presso il quale è stato svolto questo lavoro. Ciò ha permesso di utilizzare informazioni di tipo 3D, quali il livello di depth (profondità) di ogni oggetto appartenente all’immagine, per segmentare, attraverso un algoritmo realizzato in C++, gli oggetti di interesse, escludendo il resto della scena. L’ultima fase del lavoro è stata quella di testare Torch7 sul dataset di immagini, preventivamente segmentate attraverso l’algoritmo di segmentazione appena delineato, al fine di eseguire il riconoscimento della tipologia di ostacolo individuato dal sistema.