Detecting social patterns within 20th century documentary photos: a deep learning based approach

The job of a historian is to understand what happened in the past, resorting in many cases to written documents as a firsthand source of information. Text, however, does not amount to the only source of knowledge. Pictorial representations, in fact, have also accompanied the main events of the historical timeline. In particular, the opportunity of visually representing circumstances has bloomed since the invention of photography, with the possibility of capturing in real-time the occurrence of a specific events. Thanks to the widespread use of digital technologies (e.g. smartphones and digital cameras), networking capabilities and consequent availability of multimedia content, the academic and industrial research communities have developed artificial intelligence (AI) paradigms with the aim of inferring, transferring and creating new layers of information from images, videos, etc. Now, while AI communities are devoting much of their attention to analyze digital images, from an historical research standpoint more interesting results may be obtained analyzing analog images representing the pre-digital era. Within the aforementioned scenario, the aim of this work is to analyze a collection of analog documentary photographs, building upon state-of-the-art deep learning techniques. In particular, the analysis carried out in this thesis aims at producing two following results: (a) produce the date of an image, and, (b) recognizing its background socio-cultural context,as defined by a group of historical-sociological researchers. Given these premises, the contribution of this work amounts to: (i) the introduction of an historical dataset including images of “Family Album” among all the twentieth century, (ii) the introduction of a new classification task regarding the identification of the socio-cultural context of an image, (iii) the exploitation of different deep learning architectures to perform the image dating and the image socio-cultural context classification.

Content characterization of 3D Videos

Il principale scopo di questa tesi è focalizzato alla ricerca di una caratterizzazione dei contenuti in video 3D. In una prima analisi, le complessità spaziale e temporale di contenuti 3D sono state studiate seguendo le convenzionali tecniche applicate a video 2D. In particolare, Spatial Information (SI) e Temporal Information (TI) sono i due indicatori utilizzati nella caratterizzazione 3D di contenuti spaziali e temporali. Per presentare una descrizione completa di video 3D, deve essere considerata anche la caratterizzazione in termini di profondità. A questo riguardo, nuovi indicatori di profondità sono stati proposti sulla base di valutazioni statistiche degli istogrammi di mappe di profondità. Il primo depth indicator è basato infatti sullo studio della media e deviazione standard della distribuzione dei dati nella depth map. Un'altra metrica proposta in questo lavoro stima la profondità basandosi sul calcolo dell’entropia della depth map. Infine, il quarto algoritmo implementato applica congiuntamente una tecnica di sogliatura (thresholding technique) e analizza i valori residui dell’istogramma calcolando l’indice di Kurtosis. Gli algoritmi proposti sono stati testati con un confronto tra le metriche proposte in questo lavoro e quelle precedenti, ma anche con risultati di test soggettivi. I risultati sperimentali mostrano l’efficacia delle soluzioni proposte nel valutare la profondità in video 3D. Infine, uno dei nuovi indicatori è stato applicato ad un database di video 3D per completare la caratterizzazione di contenuti 3D.

Keyword-based multimedia data lookup in decentralized systems

I sistemi decentralizzati hanno permesso agli utenti di condividere informazioni senza la presenza di un intermediario centralizzato che possiede la sovranità sui dati scambiati, rischi di sicurezza e la possibilità di colli di bottiglia. Tuttavia, sono rari i sistemi pratici per il recupero delle informazioni salvate su di essi che non includano una componente centralizzata. In questo lavoro di tesi viene presentato lo sviluppo di un'applicazione il cui scopo è quello di consentire agli utenti di caricare immagini in un'architettura totalmente decentralizzata, grazie ai Decentralized File Storage e alla successiva ricerca e recupero di tali oggetti attraverso una Distributed Hash Table (DHT) in cui sono memorizzati i necessari Content IDentifiers (CID).\\ L'obiettivo principale è stato quello di trovare una migliore allocazione delle immagini all'interno del DHT attraverso l'uso dell'International Standard Content Code (ISCC), ovvero uno standard ISO che, attraverso funzioni hash content-driven, locality-sensitive e similarity-preserving, assegna i CID IPFS delle immagini ai nodi del DHT in modo efficiente, per ridurre il più possibile i salti tra i nodi e recuperare immagini coerenti con la query eseguita. Verranno, poi, analizzati i risultati ottenuti dall'allocazione dei CID delle immagini nei nodi mettendo a confronto ISCC e hash crittografico SHA-256, per verificare se ISCC rappresenti meglio la somiglianza tra le immagini allocando le immagini simili in nodi vicini tra loro.