Graph-based Vision-Language Model for Multi-Modal Retrieval of Fashion Products

Artificial Intelligence is reshaping the field of fashion industry in different ways. E-commerce retailers exploit their data through AI to enhance their search engines, make outfit suggestions and forecast the success of a specific fashion product. However, it is a challenging endeavour as the data they possess is huge, complex and multi-modal. The most common way to search for fashion products online is by matching keywords with phrases in the product's description which are often cluttered, inadequate and differ across collections and sellers. A customer may also browse an online store's taxonomy, although this is time-consuming and doesn't guarantee relevant items. With the advent of Deep Learning architectures, particularly Vision-Language models, ad-hoc solutions have been proposed to model both the product image and description to solve this problems. However, the suggested solutions do not exploit effectively the semantic or syntactic information of these modalities, and the unique qualities and relations of clothing items. In this work of thesis, a novel approach is proposed to address this issues, which aims to model and process images and text descriptions as graphs in order to exploit the relations inside and between each modality and employs specific techniques to extract syntactic and semantic information. The results obtained show promising performances on different tasks when compared to the present state-of-the-art deep learning architectures.

Mappatura degli habitat e degli oggetti antropici della laguna di Venezia

L’utilizzo del Multibeam Echo sounder (MBES) in ambienti di transizione poco profondi, con condizioni ambientali complesse come la laguna di Venezia, è ancora in fase di studio e i dati biologici e sedimentologici inerenti ai canali della laguna di Venezia sono attualmente scarsi e datati in letteratura. Questo studio ha lo scopo di mappare gli habitat e gli oggetti antropici di un canale della laguna di Venezia in un intervallo di profondità tra 0.3 e 20 m (Canale San Felice) analizzando i dati batimetrici e di riflettività (backscatter) acquisiti da ISMAR-Venezia nell’ambito del progetto RITMARE. A tale scopo il fondale del canale San Felice (Venezia) è stato caratterizzato dal punto di vista geomorfologico, sedimentologico e biologico; descrivendo anche l’eventuale presenza di oggetti antropici. L’ecoscandaglio utilizzato è il Kongsberg EM2040 Dual-Compact Multibeam in grado di emettere 800 beam (400 per trasduttore) ad una frequenza massima di 400kHZ e ci ha consentito di ricavare ottimi risultati, nonostante le particolari caratteristiche degli ambienti lagunari. I dati acquisiti sono stati processati tramite il software CARIS Hydrographic information processing system (Hips) & Sips, attraverso cui è possibile applicare le correzioni di marea e velocità del suono e migliorare la qualità dei dati grezzi ricavati da MBES. I dati sono stati quindi convertiti in ESRI Grid, formato compatibile con il software ArcGIS 10.2.1 (2013) che abbiamo impiegato per le interpretazioni e per la produzione delle mappe. Tecniche di ground-truthing, basate su riprese video e prelievi di sedimento (benna Van Veen 7l), sono state utilizzate per validare il backscatter, dimostrandosi molto efficaci e soddisfacenti per poter descrivere i fondali dal punto di vista biologico e del substrato e quindi degli habitat del canale lagunare. Tutte le informazioni raccolte durante questo studio sono state organizzate all’interno di un geodatabase, realizzato per i dati relativi alla laguna di Venezia.