End-to-end Deep Metric Learning con Vision-Language Model per il Fashion Image Captioning

L'image captioning è un task di machine learning che consiste nella generazione di una didascalia, o caption, che descriva le caratteristiche di un'immagine data in input. Questo può essere applicato, ad esempio, per descrivere in dettaglio i prodotti in vendita su un sito di e-commerce, migliorando l'accessibilità del sito web e permettendo un acquisto più consapevole ai clienti con difficoltà visive. La generazione di descrizioni accurate per gli articoli di moda online è importante non solo per migliorare le esperienze di acquisto dei clienti, ma anche per aumentare le vendite online. Oltre alla necessità di presentare correttamente gli attributi degli articoli, infatti, descrivere i propri prodotti con il giusto linguaggio può contribuire a catturare l'attenzione dei clienti. In questa tesi, ci poniamo l'obiettivo di sviluppare un sistema in grado di generare una caption che descriva in modo dettagliato l'immagine di un prodotto dell'industria della moda dato in input, sia esso un capo di vestiario o un qualche tipo di accessorio. A questo proposito, negli ultimi anni molti studi hanno proposto soluzioni basate su reti convoluzionali e LSTM. In questo progetto proponiamo invece un'architettura encoder-decoder, che utilizza il modello Vision Transformer per la codifica delle immagini e GPT-2 per la generazione dei testi. Studiamo inoltre come tecniche di deep metric learning applicate in end-to-end durante l'addestramento influenzino le metriche e la qualità delle caption generate dal nostro modello.

Acquisizione di segnali EEG durante compiti di reaching e decodifica mediante rete neurale convoluzionale

La decodifica dei segnali elettroencefalografici (EEG) consiste nell’analisi del segnale per classificare le azioni o lo stato cognitivo di un soggetto. Questi studi possono permettere di comprendere meglio i correlati neurali alla base del movimento, oltre che avere un’applicazione pratica nelle Brain Computer Interfaces. In questo ambito, di rilievo sono le reti neurali convoluzionali (Convolutional Neural Networks, CNNs), che grazie alle loro elevate performance stanno acquisendo importanza nella decodifica del segnale EEG. In questo elaborato di tesi è stata addestrata una CNN precedentemente proposta in letteratura, EEGNet, per classificare i segnali EEG acquisiti durante movimenti di reaching del braccio dominante, sulla base della posizione del target da raggiungere. I dati sono stati acquisiti su dieci soggetti grazie al protocollo sviluppato in questo lavoro, in cui 5 led disposti su una semicirconferenza rappresentano i target del movimento e l’accensione casuale di un led identifica il target da raggiungere in ciascuna prova. I segnali EEG acquisiti sono stati quindi ricampionati, filtrati e suddivisi in epoche di due secondi attorno all’inizio di ciascun movimento, rimuovendo gli artefatti oculari mediante ICA. La rete è stata valutata in tre task di classificazione, uno a cinque classi (una posizione target per classe) e due a tre classi (raggruppando più posizioni target per classe). Per ogni task, la rete è stata addestrata in cross-validazione utilizzando un approccio within-subject. Con questo approccio sono state addestrate e validate 15 CNNs diverse per ogni soggetto. Infine, è stato calcolato l’F1 score per ciascun task di classificazione, mediando i risultati sui soggetti, per valutare quantitativamente le performance della CNN che sono risultati migliori nel classificare target disposti a destra e a sinistra.

Modelli Input-Output: un'analisi simultanea di shock domanda e offerta

La tesi analizza il modello Input-Output, introdotto da Leontief nel 1936, per studiare la reazione dei sistemi industriali di Germania, Spagna ed Italia alle restrizioni imposte dai governi per limitare la diffusione della pandemia da COVID-19. Si studiano le economie considerando gli scambi tra i settori produttivi intermedi e la domanda finale. La formulazione originale del modello necessita diverse modifiche per descrivere realisticamente le reti di produzione e comunque non è del tutto esaustiva in quanto si ipotizza che la produttività dei sistemi sia sempre tale da soddisfare pienamente la domanda che giunge per il prodotto emesso. Perciò si introduce una distinzione tra le variabili del problema, assumendo che alcune componenti di produzione siano indipendenti dalla richiesta e che altre componenti siano endogene. Le soluzioni di questo sistema tuttavia non sempre risultano appartenenti al dominio di definizione delle variabili. Dunque utilizzando tecniche di programmazione lineare, si osservano i livelli massimi di produzione e domanda corrisposta in un periodo di crisi anche quando i sistemi non raggiungono questa soglia poiché non pienamente operativi. Si propongono diversi schemi di razionamento per distribuire tra i richiedenti i prodotti emessi: 1) programma proporzionale in base alle domande di tutti i richiedenti; 2) programma proporzionale in base alle richieste, con precedenza ai settori intermedi; 3) programma prioritario in cui vengono riforniti i settori intermedi in base alla dimensione dell’ordine; 4) programma prioritario con fornitura totale degli ordini e ordine di consegna casuale. I risultati ottenuti dipendono dal modello di fornitura scelto, dalla dimensione dello shock cui i settori sono soggetti e dalle proprietà della rete industriale, descritta come grafo pesato.

Satellite IoT: a Study and Performance Analysis of GEO and LEO Systems

The study is divided into two main part: one focused on the GEO Satellite IoT and the other on the LEO Satellite IoT. Concerning the GEO Satellite IoT, the activity has been developed in the context of EUMETSAT Data Collection Service (DCS) by investigating the performance at the receiver within challenging scenarios. DCS are provided by several GEO Satellite operators, giving almost total coverage around the world. In this study firstly an overview of the DCS end-to-end architecture is given followed by a detailed description of both the tools used for the simulations: the DCP-TST (message generator and transmitter) and the DCP-RX (receiver). After generating several test messages, the performances have been evaluated with the addition of impairments (CW and sweeping interferences) and considerations in terms of BER and Good Messages are produced. Furthermore, a study on the PLL System is also conducted together with evaluations on the effectiveness of tuning the PLL Bw on the overall performance. Concerning the LEO Satellite IoT, the activity was carried out in the framework of the ASI Bidirectional IoT Satellite Service (BISS) Project. The elaborate covers a survey about the possible services that the project can accomplish and a technical analysis on the uplink MA. In particular, the LR-FHSS is proved to be a valid alternative for the uplink through an extensive analysis on its Network capacity and through the study of an analytic model for Success Probability with its Matlab implementation.

Geometric deep learning for polygonal mesh denoising

Il seguente lavoro si propone come analisi degli operatori convoluzionali che caratterizzano le graph neural networks. ln particolare, la trattazione si divide in due parti, una teorica e una sperimentale. Nella parte teorica vengono innanzitutto introdotte le nozioni preliminari di mesh e convoluzione su mesh. In seguito vengono riportati i concetti base del geometric deep learning, quali le definizioni degli operatori convoluzionali e di pooling e unpooling. Un'attenzione particolare è stata data all'architettura Graph U-Net. La parte sperimentare riguarda l'applicazione delle reti neurali e l'analisi degli operatori convoluzionali applicati al denoising di superfici perturbate a causa di misurazioni imperfette effettuate da scanner 3D.

Tèilifìs Na Gaelige. Il salvataggio delle lingue celtiche tramite tv e nuovi media

La mia tesi si occupa delle politiche culturali, di salvataggio delle lingue celtiche gaeliche scozzesi e irlandesi. In particolare, ho analizzato due canali dei rispettivi paesi: BBCalba (Scozia), e TG4 (Irlanda), prendendo in esame le differenze dei contesti politici, economici e culturali che hanno influenzato le due reti televisive. Lo scopo della mia tesi è dimostrare che TG4 sia riuscito a svolgere meglio il suo compito, essendo un canale televisivo pubblico di un paese indipendente e impegnato nella salvaguardia della sua lingua nativa; al contrario, BBCalba ha trovato molte più difficoltà sul suo cammino, perchè nel contesto televisivo del Regno Unito, è soltanto un canale minore regionale, il cui scopo è osteggiato da una parte della politica britannica, che lo vede come un focolaio indipendentista.

Analisi palinsestuale e pubblicitaria dei contenuti televisivi ritrovati nei volumi in VHS dell'archivio della videoteca del DAR

L'oggetto del mio studio sono i contenuti televisivi (pubblicità, programmi, promozioni televisive) che accompagnano i film archiviati nelle videocassette contenute nell'archivio della videoteca del Dipartimento delle Arti. Una prima fase del lavoro, di natura pratica, mi ha fisicamente portato in videoteca per studiare un campione di più di 2500 videocassette in poco più di un mese e raccogliere dati relativi a quali contenuti di natura televisiva vi si presentassero insieme al film archiviato. Ho visionato e censito, con la supervisione del dott. Gianmario Merizzi, circa 1800 cassette VHS, corrispondenti alla filmografia italiana e francese, raccolte e registrate in un periodo compreso tra gli anni '80 e i primi 2000. Dopo aver raccolto tutte le informazioni utili, ho eseguito un'analisi palinsestuale e pubblicitaria su un campione ridotto di 7 videocassette scelte secondo criteri ben precisi. L'analisi palinsestuale, con il supporto del correlatore, il prof. Luca Barra, ha rivelato i cambiamenti delle strategie di programmazione messe in atto dalle reti in risposta ai cambiamenti normativi, tecnologici e competitivi che hanno segnato la TV italiana negli anni '80 e '90; L'analisi pubblicitaria ha preso in esame i 25 messaggi pubblicitari contenuti nei 7 volumi approfonditi, descrivendone le dinamiche sia del messaggio pubblicitario stesso, sia di come questo si contestualizza all'interno della programmazione televisiva. Infine, ho dedicato un capitolo al valore archivistico dei contenuti della videoteca, raccogliendo le testimonianze del dott. Gianmario Merizzi e della dott.ssa Michela Giorgi, i quali mi hanno aiutato a ricostruire i momenti salienti della costituzione dell'archivio e a riflettere sul futuro incerto che questi servizi oggi affrontano, in un presente sempre più virtuale e ipermediato.

Non backtracking PageRank

In questa tesi abbiamo analizzato il non backtracking PageRank, un algoritmo di classificazione variante del PageRank che non considera il backtracking, cioè i cammini che tornano nel nodo da cui sono partiti al passo subito successivo. Lo scopo di questa variante è ottenere una classificazione migliore in tutti quei problemi in cui il backtracking viene evitato. Siamo partiti introducendo il PageRank standard, per poi spiegare nel dettaglio il non backtracking PageRank e quali fossero le analogie e differenze tra i due. Ci siamo poi chiesti come risolvere computazionalmente il problema, studiando il risolutore di sistemi lineari GMRES e facendo delle osservazioni su come si possano ridurre il numero di iterazioni e il tempo di calcolo tramite il precondizionamento. Infine, abbiamo eseguito degli esperimenti sulle reti stradali di alcune città e confrontato i risultati ottenuti tramite le diverse classificazioni.

Il sistema di guida autonoma di Tesla

Analisi del mondo della guida autonoma dalle origini ad un ipotetico futuro. Introduzione ai concetti tecnici fondamentali della guida autonoma come machine learning e reti neurali. Approfondimento sul sistema di guida autonoma proprietario di Tesla chiamato "Full-Self Driving". Rapida carrellata su sistemi analoghi a quelli di Tesla sviluppati da Uber e Google.

Metodologie di Corrispondenza Stereo Basate su Deep Learning per Superfici Altamente Riflettenti e Trasparenti: Dataset e Architettura

Nell’ambito della Stereo Vision, settore della Computer Vision, partendo da coppie di immagini RGB, si cerca di ricostruire la profondità della scena. La maggior parte degli algoritmi utilizzati per questo compito ipotizzano che tutte le superfici presenti nella scena siano lambertiane. Quando sono presenti superfici non lambertiane (riflettenti o trasparenti), gli algoritmi stereo esistenti sbagliano la predizione della profondità. Per risolvere questo problema, durante l’esperienza di tirocinio, si è realizzato un dataset contenente oggetti trasparenti e riflettenti che sono la base per l’allenamento della rete. Agli oggetti presenti nelle scene sono associate annotazioni 3D usate per allenare la rete. Invece, nel seguente lavoro di tesi, utilizzando l’algoritmo RAFT-Stereo [1], rete allo stato dell’arte per la stereo vision, si analizza come la rete modifica le sue prestazioni (predizione della disparità) se al suo interno viene inserito un modulo per la segmentazione semantica degli oggetti. Si introduce questo layer aggiuntivo perché, trovare la corrispondenza tra due punti appartenenti a superfici lambertiane, risulta essere molto complesso per una normale rete. Si vuole utilizzare l’informazione semantica per riconoscere questi tipi di superfici e così migliorarne la disparità. È stata scelta questa architettura neurale in quanto, durante l’esperienza di tirocinio riguardante la creazione del dataset Booster [2], è risultata la migliore su questo dataset. L’obiettivo ultimo di questo lavoro è vedere se il riconoscimento di superfici non lambertiane, da parte del modulo semantico, influenza la predizione della disparità migliorandola. Nell’ambito della stereo vision, gli elementi riflettenti e trasparenti risultano estremamente complessi da analizzare, ma restano tuttora oggetto di studio dati gli svariati settori di applicazione come la guida autonoma e la robotica.

Specifiche generali dei biomateriali di interesse per l'ingegneria dei tessuti del distretto uterino

Lo scopo di questa trattazione è quello di fornire una panoramica sui metodi di ingegnerizzazione dell’utero ad oggi sperimentati. L’obiettivo degli studi qui analizzati è quello di creare in vitro uno scaffold per l’utero umano con adeguate caratteristiche strutturali e determinati componenti al fine di permettere ai tessuti vicini di rigenerarsi e per poterne studiare le proprietà in vivo. Gli scaffold analizzati sono a base di collagene, fatti di materiali sintetici o costituiti dalle dECM. Per effettuare la decellularizzazione delle ECM sono stati impiegati detergenti come SDS e Triton X-100 o alta pressione idrostatica. Le impalcature realizzate sono state poi valutate per quanto riguarda le proprietà istologiche, IHC, strutturali e meccaniche e tramite angiografia è stata esaminata la conservazione delle reti vascolari negli scaffold dECM. I risultati hanno confermato l'efficacia del protocollo di decellularizzazione tramite HHP o l’utilizzo combinato di SDS e Triton X-100 per fornire scaffold dell’utero con caratteristiche e componenti della ECM simili all'utero nativo. Per quanto riguarda i materiali sintetici, i polimeri sono risultati particolarmente idonei date le loro caratteristiche, quali elevata porosità e proprietà biomeccaniche regolabili; per i materiali naturali invece, il collagene è stato quello più utilizzato e che ha portato ad ottimi risultati, anche in quanto componente principale dell’ECM. Gli studi in vivo hanno poi dimostrato la biocompatibilità e il potenziale rigenerativo degli scaffold e hanno suggerito un percorso di segnalazione come meccanismo di base per il processo rigenerativo. Tra i vari studi è stato analizzato anche il primo protocollo di decellularizzazione efficiente basato sulla perfusione per ottenere scaffold dell’intero utero umano. I risultati raccolti potrebbero essere impiegati in futuri studi di ingegneria del tessuto uterino umano che potrebbero portare allo sviluppo di nuovi trattamenti per pazienti sterili.

Implementazione di un protocollo Header-compression a livello applicazione per scenari IoT

Il fenomeno noto come Internet of Things costituisce oggi il motore principale dell'espansione della rete Internet globale, essendo artefice del collegamento di miliardi di nuovi dispositivi. A causa delle limitate capacità energetiche e di elaborazione di questi dispositivi è necessario riprogettare molti dei protocolli Internet standard. Un esempio lampante è costituito dalla definizione del Constrained Application Protocol (CoAP), protocollo di comunicazione client-server pensato per sostituire HTTP in reti IoT. Per consentire la compatibilità tra reti IoT e rete Internet sono state definite delle linee guida per la mappatura di messaggi CoAP in messaggi HTTP e viceversa, consentendo così l'implementazione di proxies in grado di connettere una rete IoT ad Internet. Tuttavia, questa mappatura è circoscritta ai soli campi e messaggi che permettono di implementare un'architettura REST, rendendo dunque impossibile l'uso di protocolli di livello applicazione basati su HTTP.La soluzione proposta consiste nella definizione di un protocollo di compressione adattiva dei messaggi HTTP, in modo che soluzioni valide fuori dagli scenari IoT, come ad esempio scambio di messaggi generici, possano essere implementate anche in reti IoT. I risultati ottenuti mostrano inoltre che nello scenario di riferimento la compressione adattiva di messaggi HTTP raggiunge prestazioni inferiori rispetto ad altri algoritmi di compressione di intestazioni (in particolare HPACK), ma più che valide perchè le uniche applicabili attualmente in scenari IoT.

Analisi e nuove applicazioni delle Real-time Silent Speech BCIs

Il fatto che il pensiero sia più rapido della comunicazione verbale o scritta è un concetto ormai consolidato. Ricerche recenti, però, si stanno occupando di sviluppare nuove tecnologie in grado di tradurre l’attività neurale in parole o testi in tempo reale. È proprio questo il campo delle Real-time Silent Speech Brain-Computer Interfaces, ovvero sistemi di comunicazione alternativi, basati sulla registrazione e sull’interpretazione di segnali neurali, generati durante il tentativo di parlare o di scrivere. Queste innovazioni tecnologiche costituiscono un traguardo fondamentale per la vita delle persone con paralisi o con patologie neurologiche che determinano l’inabilità a comunicare. L’obiettivo di questo elaborato è quello di descrivere due applicazioni innovative nell’ambito delle Real-time Silent Speech-BCIs. I metodi di BCI confrontati nel presente elaborato sintetizzano il parlato attraverso la rilevazione invasiva o parzialmente invasiva dell’attività cerebrale. L’utilizzo di metodi invasivi per la registrazione dell’attività cerebrale è giustificato dal fatto che le performance di acquisizione del segnale ottenute sono tali da controbilanciare i rischi associati all’operazione chirurgica necessaria per l’impianto. Le tecniche descritte sfruttano delle Reti Neurali Ricorrenti (RNNs), che si sono dimostrate le più efficaci nel prevedere dati sequenziali. Gli studi presentati in questa tesi costituiscono un passaggio fondamentale nel progresso tecnologico per il ripristino della comunicazione in tempo reale e sono i primi a riportare prestazioni di sintesi paragonabili a quelle del linguaggio naturale.

Data-driven Signal Processing per Jamming Detection in Sistemi Satellitari

In questo elaborato vengono analizzate differenti tecniche per la detection di jammer attivi e costanti in una comunicazione satellitare in uplink. Osservando un numero limitato di campioni ricevuti si vuole identificare la presenza di un jammer. A tal fine sono stati implementati i seguenti classificatori binari: support vector machine (SVM), multilayer perceptron (MLP), spectrum guarding e autoencoder. Questi algoritmi di apprendimento automatico dipendono dalle features che ricevono in ingresso, per questo motivo è stata posta particolare attenzione alla loro scelta. A tal fine, sono state confrontate le accuratezze ottenute dai detector addestrati utilizzando differenti tipologie di informazione come: i segnali grezzi nel tempo, le statistical features, le trasformate wavelet e lo spettro ciclico. I pattern prodotti dall’estrazione di queste features dai segnali satellitari possono avere dimensioni elevate, quindi, prima della detection, vengono utilizzati i seguenti algoritmi per la riduzione della dimensionalità: principal component analysis (PCA) e linear discriminant analysis (LDA). Lo scopo di tale processo non è quello di eliminare le features meno rilevanti, ma combinarle in modo da preservare al massimo l’informazione, evitando problemi di overfitting e underfitting. Le simulazioni numeriche effettuate hanno evidenziato come lo spettro ciclico sia in grado di fornire le features migliori per la detection producendo però pattern di dimensioni elevate, per questo motivo è stato necessario l’utilizzo di algoritmi di riduzione della dimensionalità. In particolare, l'algoritmo PCA è stato in grado di estrarre delle informazioni migliori rispetto a LDA, le cui accuratezze risentivano troppo del tipo di jammer utilizzato nella fase di addestramento. Infine, l’algoritmo che ha fornito le prestazioni migliori è stato il Multilayer Perceptron che ha richiesto tempi di addestramento contenuti e dei valori di accuratezza elevati.

Generazione di dati sintetici di risonanza magnetica cerebrale

L’applicazione degli algoritmi di Intelligenza Artificiale (AI) al settore dell’imaging medico potrebbe apportare numerosi miglioramenti alla qualità delle cure erogate ai pazienti. Tuttavia, per poterla mettere a frutto si devono ancora superare alcuni limiti legati alla necessità di grandi quantità di immagini acquisite su pazienti reali, utili nell’addestramento degli stessi algoritmi. Il principale limite è costituito dalle norme che tutelano la privacy di dati sensibili, tra cui sono incluse le immagini mediche. La generazione di grandi dataset di immagini sintetiche, ottenute con algoritmi di Deep Learning (DL), sembra essere la soluzione a questi problemi.