Geophotohunt: Studio di algoritmi di confronto di immagini per realizzare una caccia al tesoro fotografica

Questo studio si propone di realizzare un’applicazione per dispositivi Android che permetta, per mezzo di un gioco di ruolo strutturato come caccia al tesoro, di visitare in prima persona città d’arte e luoghi turistici. Gli utenti finali, grazie alle funzionalità dell’app stessa, potranno giocare, creare e condividere cacce al tesoro basate sulla ricerca di edifici, monumenti, luoghi di rilevanza artistico-storica o turistica; in particolare al fine di completare ciascuna tappa di una caccia al tesoro il giocatore dovrà scattare una fotografia al monumento o edificio descritto nell’obiettivo della caccia stessa. Il software grazie ai dati rilevati tramite GPS e giroscopio (qualora il dispositivo ne sia dotato) e per mezzo di un algoritmo di instance recognition sarà in grado di affermare se la foto scattata rappresenta la risposta corretta al quesito della tappa. L’applicazione GeoPhotoHunt rappresenta non solo uno strumento ludico per la visita di città turistiche o più in generale luoghi di interesse, lo studio propone, infatti come suo contributo originale, l’implementazione su piattaforma mobile di un Content Based Image Retrieval System (CBIR) del tutto indipendente da un supporto server. Nello specifico il server dell’applicazione non sarà altro che uno strumento di appoggio con il quale i membri della “community” di GeoPhotoHunt potranno pubblicare le cacce al tesoro da loro create e condividere i punteggi che hanno totalizzato partecipando a una caccia al tesoro. In questo modo quando un utente ha scaricato sul proprio smartphone i dati di una caccia al tesoro potrà iniziare l’avventura anche in assenza di una connessione internet. L’intero studio è stato suddiviso in più fasi, ognuna di queste corrisponde ad una specifica sezione dell’elaborato che segue. In primo luogo si sono effettuate delle ricerche, soprattutto nel web, con lo scopo di individuare altre applicazioni che implementano l’idea della caccia al tesoro su piattaforma mobile o applicazioni che implementassero algoritmi di instance recognition direttamente su smartphone. In secondo luogo si è ricercato in letteratura quali fossero gli algoritmi di riconoscimento di immagini più largamente diffusi e studiati in modo da avere una panoramica dei metodi da testare per poi fare la scelta dell’algoritmo più adatto al caso di studio. Quindi si è proceduto con lo sviluppo dell’applicazione GeoPhotoHunt stessa, sia per quanto riguarda l’app front-end per dispositivi Android sia la parte back-end server. Infine si è passati ad una fase di test di algoritmi di riconoscimento di immagini in modo di avere una sufficiente quantità di dati sperimentali da permettere di effettuare una scelta dell’algoritmo più adatto al caso di studio. Al termine della fase di testing si è deciso di implementare su Android un algoritmo basato sulla distanza tra istogrammi di colore costruiti sulla scala cromatica HSV, questo metodo pur non essendo robusto in presenza di variazioni di luminosità e contrasto, rappresenta un buon compromesso tra prestazioni, complessità computazionale in modo da rendere la user experience quanto più coinvolgente.

Utilizzo metrico di immagini panoramiche satellitari CORONA

CAPITOLO 1 INTRODUZIONE Il lavoro presentato è relativo all’utilizzo a fini metrici di immagini satellitari storiche a geometria panoramica; in particolare sono state elaborate immagini satellitari acquisite dalla piattaforma statunitense CORONA, progettata ed impiegata essenzialmente a scopi militari tra gli anni ’60 e ’70 del secolo scorso, e recentemente soggette ad una declassificazione che ne ha consentito l’accesso anche a scopi ed utenti non militari. Il tema del recupero di immagini aeree e satellitari del passato è di grande interesse per un ampio spettro di applicazioni sul territorio, dall’analisi dello sviluppo urbano o in ambito regionale fino ad indagini specifiche locali relative a siti di interesse archeologico, industriale, ambientale. Esiste infatti un grandissimo patrimonio informativo che potrebbe colmare le lacune della documentazione cartografica, di per sé, per ovvi motivi tecnici ed economici, limitata a rappresentare l’evoluzione territoriale in modo asincrono e sporadico, e con “forzature” e limitazioni nel contenuto informativo legate agli scopi ed alle modalità di rappresentazione delle carte nel corso del tempo e per diversi tipi di applicazioni. L’immagine di tipo fotografico offre una rappresentazione completa, ancorché non soggettiva, dell’esistente e può complementare molto efficacemente il dato cartografico o farne le veci laddove questo non esista. La maggior parte del patrimonio di immagini storiche è certamente legata a voli fotogrammetrici che, a partire dai primi decenni del ‘900, hanno interessato vaste aree dei paesi più avanzati, o regioni di interesse a fini bellici. Accanto a queste, ed ovviamente su periodi più vicini a noi, si collocano le immagini acquisite da piattaforma satellitare, tra le quali rivestono un grande interesse quelle realizzate a scopo di spionaggio militare, essendo ad alta risoluzione geometrica e di ottimo dettaglio. Purtroppo, questo ricco patrimonio è ancora oggi in gran parte inaccessibile, anche se recentemente sono state avviate iniziative per permetterne l’accesso a fini civili, in considerazione anche dell’obsolescenza del dato e della disponibilità di altre e migliori fonti di informazione che il moderno telerilevamento ci propone. L’impiego di immagini storiche, siano esse aeree o satellitari, è nella gran parte dei casi di carattere qualitativo, inteso ad investigare sulla presenza o assenza di oggetti o fenomeni, e di rado assume un carattere metrico ed oggettivo, che richiederebbe tra l’altro la conoscenza di dati tecnici (per esempio il certificato di calibrazione nel caso delle camere aerofotogrammetriche) che sono andati perduti o sono inaccessibili. Va ricordato anche che i mezzi di presa dell’epoca erano spesso soggetti a fenomeni di distorsione ottica o altro tipo di degrado delle immagini che ne rendevano difficile un uso metrico. D’altra parte, un utilizzo metrico di queste immagini consentirebbe di conferire all’analisi del territorio e delle modifiche in esso intercorse anche un significato oggettivo che sarebbe essenziale per diversi scopi: per esempio, per potere effettuare misure su oggetti non più esistenti o per potere confrontare con precisione o co-registrare le immagini storiche con quelle attuali opportunamente georeferenziate. Il caso delle immagini Corona è molto interessante, per una serie di specificità che esse presentano: in primo luogo esse associano ad una alta risoluzione (dimensione del pixel a terra fino a 1.80 metri) una ampia copertura a terra (i fotogrammi di alcune missioni coprono strisce lunghe fino a 250 chilometri). Queste due caratteristiche “derivano” dal principio adottato in fase di acquisizione delle immagini stesse, vale a dire la geometria panoramica scelta appunto perché l’unica che consente di associare le due caratteristiche predette e quindi molto indicata ai fini spionaggio. Inoltre, data la numerosità e la frequenza delle missioni all’interno dell’omonimo programma, le serie storiche di questi fotogrammi permettono una ricostruzione “ricca” e “minuziosa” degli assetti territoriali pregressi, data appunto la maggior quantità di informazioni e l’imparzialità associabili ai prodotti fotografici. Va precisato sin dall’inizio come queste immagini, seppur rappresentino una risorsa “storica” notevole (sono datate fra il 1959 ed il 1972 e coprono regioni moto ampie e di grandissimo interesse per analisi territoriali), siano state molto raramente impiegate a scopi metrici. Ciò è probabilmente imputabile al fatto che il loro trattamento a fini metrici non è affatto semplice per tutta una serie di motivi che saranno evidenziati nei capitoli successivi. La sperimentazione condotta nell’ambito della tesi ha avuto due obiettivi primari, uno generale ed uno più particolare: da un lato il tentativo di valutare in senso lato le potenzialità dell’enorme patrimonio rappresentato da tali immagini (reperibili ad un costo basso in confronto a prodotti simili) e dall’altro l’opportunità di indagare la situazione territoriale locale per una zona della Turchia sud orientale (intorno al sito archeologico di Tilmen Höyük) sulla quale è attivo un progetto condotto dall’Università di Bologna (responsabile scientifico il Prof. Nicolò Marchetti del Dipartimento di Archeologia), a cui il DISTART collabora attivamente dal 2005. L’attività è condotta in collaborazione con l’Università di Istanbul ed il Museo Archeologico di Gaziantep. Questo lavoro si inserisce, inoltre, in un’ottica più ampia di quelle esposta, dello studio cioè a carattere regionale della zona in cui si trovano gli scavi archeologici di Tilmen Höyük; la disponibilità di immagini multitemporali su un ampio intervallo temporale, nonché di tipo multi sensore, con dati multispettrali, doterebbe questo studio di strumenti di conoscenza di altissimo interesse per la caratterizzazione dei cambiamenti intercorsi. Per quanto riguarda l’aspetto più generale, mettere a punto una procedura per il trattamento metrico delle immagini CORONA può rivelarsi utile all’intera comunità che ruota attorno al “mondo” dei GIS e del telerilevamento; come prima ricordato tali immagini (che coprono una superficie di quasi due milioni di chilometri quadrati) rappresentano un patrimonio storico fotografico immenso che potrebbe (e dovrebbe) essere utilizzato sia a scopi archeologici, sia come supporto per lo studio, in ambiente GIS, delle dinamiche territoriali di sviluppo di quelle zone in cui sono scarse o addirittura assenti immagini satellitari dati cartografici pregressi. Il lavoro è stato suddiviso in 6 capitoli, di cui il presente costituisce il primo. Il secondo capitolo è stato dedicato alla descrizione sommaria del progetto spaziale CORONA (progetto statunitense condotto a scopo di fotoricognizione del territorio dell’ex Unione Sovietica e delle aree Mediorientali politicamente correlate ad essa); in questa fase vengono riportate notizie in merito alla nascita e all’evoluzione di tale programma, vengono descritti piuttosto dettagliatamente gli aspetti concernenti le ottiche impiegate e le modalità di acquisizione delle immagini, vengono riportati tutti i riferimenti (storici e non) utili a chi volesse approfondire la conoscenza di questo straordinario programma spaziale. Nel terzo capitolo viene presentata una breve discussione in merito alle immagini panoramiche in generale, vale a dire le modalità di acquisizione, gli aspetti geometrici e prospettici alla base del principio panoramico, i pregi ed i difetti di questo tipo di immagini. Vengono inoltre presentati i diversi metodi rintracciabili in bibliografia per la correzione delle immagini panoramiche e quelli impiegati dai diversi autori (pochi per la verità) che hanno scelto di conferire un significato metrico (quindi quantitativo e non solo qualitativo come è accaduto per lungo tempo) alle immagini CORONA. Il quarto capitolo rappresenta una breve descrizione del sito archeologico di Tilmen Höyuk; collocazione geografica, cronologia delle varie campagne di studio che l’hanno riguardato, monumenti e suppellettili rinvenute nell’area e che hanno reso possibili una ricostruzione virtuale dell’aspetto originario della città ed una più profonda comprensione della situazione delle capitali del Mediterraneo durante il periodo del Bronzo Medio. Il quinto capitolo è dedicato allo “scopo” principe del lavoro affrontato, vale a dire la generazione dell’ortofotomosaico relativo alla zona di cui sopra. Dopo un’introduzione teorica in merito alla produzione di questo tipo di prodotto (procedure e trasformazioni utilizzabili, metodi di interpolazione dei pixel, qualità del DEM utilizzato), vengono presentati e commentati i risultati ottenuti, cercando di evidenziare le correlazioni fra gli stessi e le problematiche di diversa natura incontrate nella redazione di questo lavoro di tesi. Nel sesto ed ultimo capitolo sono contenute le conclusioni in merito al lavoro in questa sede presentato. Nell’appendice A vengono riportate le tabelle dei punti di controllo utilizzati in fase di orientamento esterno dei fotogrammi.

Valutazione di un sistema di recupero di immagini dermatologiche

Questa tesi si inserisce in un progetto di ricerca fra il gruppo di Matematica della Visione del Prof. Ferri e CA-MI S.r.l. volto a progettare un sistema di recupero di immagini mediante il quale un dermatologo potrà acquisire l’immagine di una lesione e recuperare da un database classificato le immagini più somiglianti. Il concetto stesso di “somiglianza” è formalmente realizzato da una parte dell’omologia persistente (funzioni di taglia). Questa tesi utilizza tali metodi al fine di ottenere una combinazione ottimale dei diversi classificatori che si ottengono utilizzando la modularità intrinseca nella teoria. A questo scopo vengono impiegati due modelli e diversi metodi numerici.

Progettazione ed implementazione di un recommendation system di articoli scientifici basato su Apache Mahout

Il focus di questo elaborato è sui sistemi di recommendations e le relative caratteristiche. L'utilizzo di questi meccanism è sempre più forte e presente nel mondo del web, con un parallelo sviluppo di soluzioni sempre più accurate ed efficienti. Tra tutti gli approcci esistenti, si è deciso di prendere in esame quello affrontato in Apache Mahout. Questa libreria open source implementa il collaborative-filtering, basando il processo di recommendation sulle preferenze espresse dagli utenti riguardo ifferenti oggetti. Grazie ad Apache Mahout e ai principi base delle varie tipologie di recommendationè stato possibile realizzare un applicativo web che permette di produrre delle recommendations nell'ambito delle pubblicazioni scientifiche, selezionando quegli articoli che hanno un maggiore similarità con quelli pubblicati dall'utente corrente. La realizzazione di questo progetto ha portato alla definizione di un sistema ibrido. Infatti l'approccio alla recommendation di Apache Mahout non è completamente adattabile a questa situazione, per questo motivo le sue componenti sono state estese e modellate per il caso di studio. Siè cercato quindi di combinare il collaborative filtering e il content-based in un unico approccio. Di Apache Mahout si è mantenuto l'algoritmo attraverso il quale esaminare i dati del data set, tralasciando completamente l'aspetto legato alle preferenze degli utenti, poichè essi non esprimono delle valutazioni sugli articoli. Del content-based si è utilizzata l'idea del confronto tra i titoli delle pubblicazioni. La valutazione di questo applicativo ha portato alla luce diversi limiti, ma anche possibili sviluppi futuri che potrebbero migliorare la qualità delle recommendations, ma soprattuto le prestazioni. Grazie per esempio ad Apache Hadoop sarebbe possibile una computazione distribuita che permetterebbe di elaborare migliaia di dati con dei risultati più che discreti.

Graph-based Vision-Language Model for Multi-Modal Retrieval of Fashion Products

Artificial Intelligence is reshaping the field of fashion industry in different ways. E-commerce retailers exploit their data through AI to enhance their search engines, make outfit suggestions and forecast the success of a specific fashion product. However, it is a challenging endeavour as the data they possess is huge, complex and multi-modal. The most common way to search for fashion products online is by matching keywords with phrases in the product's description which are often cluttered, inadequate and differ across collections and sellers. A customer may also browse an online store's taxonomy, although this is time-consuming and doesn't guarantee relevant items. With the advent of Deep Learning architectures, particularly Vision-Language models, ad-hoc solutions have been proposed to model both the product image and description to solve this problems. However, the suggested solutions do not exploit effectively the semantic or syntactic information of these modalities, and the unique qualities and relations of clothing items. In this work of thesis, a novel approach is proposed to address this issues, which aims to model and process images and text descriptions as graphs in order to exploit the relations inside and between each modality and employs specific techniques to extract syntactic and semantic information. The results obtained show promising performances on different tasks when compared to the present state-of-the-art deep learning architectures.

Analysis of cone-beam ct dose in image-guided radiation therapy for brain and prostate cancer patients via gpu-based Monte Carlo simulations

La radioterapia guidata da immagini (IGRT), grazie alle ripetute verifiche della posizione del paziente e della localizzazione del volume bersaglio, si è recentemente affermata come nuovo paradigma nella radioterapia, avendo migliorato radicalmente l’accuratezza nella somministrazione di dose a scopo terapeutico. Una promettente tecnica nel campo dell’IGRT è rappresentata dalla tomografia computerizzata a fascio conico (CBCT). La CBCT a kilovoltaggio, consente di fornire un’accurata mappatura tridimensionale dell’anatomia del paziente, in fase di pianificazione del trattamento e a ogni frazione del medisimo. Tuttavia, la dose da imaging attribuibile alle ripetute scansioni è diventata, negli ultimi anni, oggetto di una crescente preoccupazione nel contesto clinico. Lo scopo di questo lavoro è di valutare quantitativamente la dose addizionale somministrata da CBCT a kilovoltaggio, con riferimento a tre tipici protocolli di scansione per Varian OnBoard Imaging Systems (OBI, Palo Alto, California). A questo scopo sono state condotte simulazioni con codici Monte Carlo per il calcolo della dose, utilizzando il pacchetto gCTD, sviluppato sull’architettura della scheda grafica. L’utilizzo della GPU per sistemi server di calcolo ha permesso di raggiungere alte efficienze computazionali, accelerando le simulazioni Monte Carlo fino a raggiungere tempi di calcolo di ~1 min per un caso tipico. Inizialmente sono state condotte misure sperimentali di dose su un fantoccio d’acqua. I parametri necessari per la modellazione della sorgente di raggi X nel codice gCTD sono stati ottenuti attraverso un processo di validazione del codice al fine di accordare i valori di dose simulati in acqua con le misure nel fantoccio. Lo studio si concentra su cinquanta pazienti sottoposti a cicli di radioterapia a intensità modulata (IMRT). Venticinque pazienti con tumore al cervello sono utilizzati per studiare la dose nel protocollo standard-dose head e venticinque pazienti con tumore alla prostata sono selezionati per studiare la dose nei protocolli pelvis e pelvis spotlight. La dose media a ogni organo è calcolata. La dose media al 2% dei voxels con i valori più alti di dose è inoltre computata per ogni organo, al fine di caratterizzare l’omogeneità spaziale della distribuzione.

Detecting social patterns within 20th century documentary photos: a deep learning based approach

The job of a historian is to understand what happened in the past, resorting in many cases to written documents as a firsthand source of information. Text, however, does not amount to the only source of knowledge. Pictorial representations, in fact, have also accompanied the main events of the historical timeline. In particular, the opportunity of visually representing circumstances has bloomed since the invention of photography, with the possibility of capturing in real-time the occurrence of a specific events. Thanks to the widespread use of digital technologies (e.g. smartphones and digital cameras), networking capabilities and consequent availability of multimedia content, the academic and industrial research communities have developed artificial intelligence (AI) paradigms with the aim of inferring, transferring and creating new layers of information from images, videos, etc. Now, while AI communities are devoting much of their attention to analyze digital images, from an historical research standpoint more interesting results may be obtained analyzing analog images representing the pre-digital era. Within the aforementioned scenario, the aim of this work is to analyze a collection of analog documentary photographs, building upon state-of-the-art deep learning techniques. In particular, the analysis carried out in this thesis aims at producing two following results: (a) produce the date of an image, and, (b) recognizing its background socio-cultural context,as defined by a group of historical-sociological researchers. Given these premises, the contribution of this work amounts to: (i) the introduction of an historical dataset including images of “Family Album” among all the twentieth century, (ii) the introduction of a new classification task regarding the identification of the socio-cultural context of an image, (iii) the exploitation of different deep learning architectures to perform the image dating and the image socio-cultural context classification.

Self-supervised information retrieval: a novel approach based on Deep Metric Learning and Neural Language Models

Most of the existing open-source search engines, utilize keyword or tf-idf based techniques to find relevant documents and web pages relative to an input query. Although these methods, with the help of a page rank or knowledge graphs, proved to be effective in some cases, they often fail to retrieve relevant instances for more complicated queries that would require a semantic understanding to be exploited. In this Thesis, a self-supervised information retrieval system based on transformers is employed to build a semantic search engine over the library of Gruppo Maggioli company. Semantic search or search with meaning can refer to an understanding of the query, instead of simply finding words matches and, in general, it represents knowledge in a way suitable for retrieval. We chose to investigate a new self-supervised strategy to handle the training of unlabeled data based on the creation of pairs of ’artificial’ queries and the respective positive passages. We claim that by removing the reliance on labeled data, we may use the large volume of unlabeled material on the web without being limited to languages or domains where labeled data is abundant.

Sviluppo di Retrieval-based Chatbot per l'Italiano con Transformer

L’Intelligenza Artificiale negli ultimi anni sta plasmando il futuro dell’umanità in quasi tutti i settori. È già il motore principale di diverse tecnologie emergenti come i big data, la robotica e l’IoT e continuerà ad agire come innovatore tecnologico nel futuro prossimo. Le recenti scoperte e migliorie sia nel campo dell’hardware che in quello matematico hanno migliorato l’efficienza e ridotto i tempi di esecuzione dei software. È in questo contesto che sta evolvendo anche il Natural Language Processing (NLP), un ramo dell’Intelligenza Artificiale che studia il modo in cui fornire ai computer l'abilità di comprendere un testo scritto o parlato allo stesso modo in cui lo farebbe un essere umano. Le ambiguità che distinguono la lingua naturale dalle altre rendono ardui gli studi in questo settore. Molti dei recenti sviluppi algoritmici su NLP si basano su tecnologie inventate decenni fa. La ricerca in questo settore è quindi in continua evoluzione. Questa tesi si pone l'obiettivo di sviluppare la logica di una chatbot help-desk per un'azienda privata. Lo scopo è, sottoposta una domanda da parte di un utente, restituire la risposta associata presente in una collezione domande-risposte. Il problema che questa tesi affronta è sviluppare un modello di NLP in grado di comprendere il significato semantico delle domande in input, poiché esse possono essere formulate in molteplici modi, preservando il contenuto semantico a discapito della sintassi. A causa delle ridotte dimensioni del dataset italiano proprietario su cui testare il modello chatbot, sono state eseguite molteplici sperimentazioni su un ulteriore dataset italiano con task affine. Attraverso diversi approcci di addestramento, tra cui apprendimento metrico, sono state raggiunte alte accuratezze sulle più comuni metriche di valutazione, confermando le capacità del modello proposto e sviluppato.