Generare con transformer lineare spiegazioni di concept set medicali costituiti da termini correlati estratti da social post di pazienti

Le malattie rare pongono diversi scogli ai pazienti, ai loro familiari e ai sanitari. Uno fra questi è la mancanza di informazione che deriva dall'assenza di fonti sicure e semplici da consultare su aspetti dell'esperienza del paziente. Il lavoro presentato ha lo scopo di generare da set termini correlati semanticamente, delle frasi che abbiamo la capacità di spiegare il legame fra di essi e aggiungere informazioni utili e veritiere in un linguaggio semplice e comprensibile. Il problema affrontato oggigiorno non è ben documentato in letteratura e rappresenta una sfida interessante si per complessità che per mancanza di dataset per l'addestramento. Questo tipo di task, come altri di NLP, è affrontabile solo con modelli sempre più potenti ma che richiedono risorse sempre più elevate. Per questo motivo, è stato utilizzato il meccanismo di recente pubblicazione del Performer, dimostrando di riuscire a mantenere uno stesso grado di accuratezza e di qualità delle frasi prodotte, con una parallela riduzione delle risorse utilizzate. Ciò apre la strada all'utilizzo delle reti neurali più recenti anche senza avere i centri di calcolo delle multinazionali. Il modello proposto dunque è in grado di generare frasi che illustrano le relazioni semantiche di termini estratti da un mole di documenti testuali, permettendo di generare dei riassunti dell'informazione e della conoscenza estratta da essi e renderla facilmente accessibile e comprensibile al pazienti o a persone non esperte.

Sperimentazione di Deep Metric Loss per Self-Supervised Information Retrieval Systems su CORD19.

Dopo lo sviluppo dei primi casi di Covid-19 in Cina nell’autunno del 2019, ad inizio 2020 l’intero pianeta è precipitato in una pandemia globale che ha stravolto le nostre vite con conseguenze che non si vivevano dall’influenza spagnola. La grandissima quantità di paper scientifici in continua pubblicazione sul coronavirus e virus ad esso affini ha portato alla creazione di un unico dataset dinamico chiamato CORD19 e distribuito gratuitamente. Poter reperire informazioni utili in questa mole di dati ha ulteriormente acceso i riflettori sugli information retrieval systems, capaci di recuperare in maniera rapida ed efficace informazioni preziose rispetto a una domanda dell'utente detta query. Di particolare rilievo è stata la TREC-COVID Challenge, competizione per lo sviluppo di un sistema di IR addestrato e testato sul dataset CORD19. Il problema principale è dato dal fatto che la grande mole di documenti è totalmente non etichettata e risulta dunque impossibile addestrare modelli di reti neurali direttamente su di essi. Per aggirare il problema abbiamo messo a punto nuove soluzioni self-supervised, a cui abbiamo applicato lo stato dell'arte del deep metric learning e dell'NLP. Il deep metric learning, che sta avendo un enorme successo soprattuto nella computer vision, addestra il modello ad "avvicinare" tra loro immagini simili e "allontanare" immagini differenti. Dato che sia le immagini che il testo vengono rappresentati attraverso vettori di numeri reali (embeddings) si possano utilizzare le stesse tecniche per "avvicinare" tra loro elementi testuali pertinenti (e.g. una query e un paragrafo) e "allontanare" elementi non pertinenti. Abbiamo dunque addestrato un modello SciBERT con varie loss, che ad oggi rappresentano lo stato dell'arte del deep metric learning, in maniera completamente self-supervised direttamente e unicamente sul dataset CORD19, valutandolo poi sul set formale TREC-COVID attraverso un sistema di IR e ottenendo risultati interessanti.

Acquisizione di segnali EEG durante compiti di reaching e decodifica mediante rete neurale convoluzionale

La decodifica dei segnali elettroencefalografici (EEG) consiste nell’analisi del segnale per classificare le azioni o lo stato cognitivo di un soggetto. Questi studi possono permettere di comprendere meglio i correlati neurali alla base del movimento, oltre che avere un’applicazione pratica nelle Brain Computer Interfaces. In questo ambito, di rilievo sono le reti neurali convoluzionali (Convolutional Neural Networks, CNNs), che grazie alle loro elevate performance stanno acquisendo importanza nella decodifica del segnale EEG. In questo elaborato di tesi è stata addestrata una CNN precedentemente proposta in letteratura, EEGNet, per classificare i segnali EEG acquisiti durante movimenti di reaching del braccio dominante, sulla base della posizione del target da raggiungere. I dati sono stati acquisiti su dieci soggetti grazie al protocollo sviluppato in questo lavoro, in cui 5 led disposti su una semicirconferenza rappresentano i target del movimento e l’accensione casuale di un led identifica il target da raggiungere in ciascuna prova. I segnali EEG acquisiti sono stati quindi ricampionati, filtrati e suddivisi in epoche di due secondi attorno all’inizio di ciascun movimento, rimuovendo gli artefatti oculari mediante ICA. La rete è stata valutata in tre task di classificazione, uno a cinque classi (una posizione target per classe) e due a tre classi (raggruppando più posizioni target per classe). Per ogni task, la rete è stata addestrata in cross-validazione utilizzando un approccio within-subject. Con questo approccio sono state addestrate e validate 15 CNNs diverse per ogni soggetto. Infine, è stato calcolato l’F1 score per ciascun task di classificazione, mediando i risultati sui soggetti, per valutare quantitativamente le performance della CNN che sono risultati migliori nel classificare target disposti a destra e a sinistra.

Geometric deep learning for polygonal mesh denoising

Il seguente lavoro si propone come analisi degli operatori convoluzionali che caratterizzano le graph neural networks. ln particolare, la trattazione si divide in due parti, una teorica e una sperimentale. Nella parte teorica vengono innanzitutto introdotte le nozioni preliminari di mesh e convoluzione su mesh. In seguito vengono riportati i concetti base del geometric deep learning, quali le definizioni degli operatori convoluzionali e di pooling e unpooling. Un'attenzione particolare è stata data all'architettura Graph U-Net. La parte sperimentare riguarda l'applicazione delle reti neurali e l'analisi degli operatori convoluzionali applicati al denoising di superfici perturbate a causa di misurazioni imperfette effettuate da scanner 3D.

Analisi delle prestazioni di un sistema di accumulo termico

Analisi termofluidodinamica di un accumulatore di calore che utilizza materiali a cambiamento di fase (PCM). I campi di velocità, di temperatura e di titolo, in regime termico non stazionario, relativi al singolo canale, vengono calcolati con un programma basato sul metodo dei volumi finiti, scritto in ambiente di lavoro Matlab. Vengono proposte diverse ottimizzazioni delle performance di accumulo termico, basate su un algoritmo genetico. Le ottimizzazioni sono fatte sia con differenti tipi di parametri di valutazione, sia con differenti gradi del polinomio che descrive la parete del canale; per ogni ottimizzazione l’algoritmo genetico è stato, quindi, utilizzato per determinare i parametri geometrici del canale ottimali. A partire dai risultati ottenuti dalle ottimizzazioni, vengono poi analizzate le prestazioni di canali della stessa geometria, ai quali viene aggiunta un’intelaiatura metallica. Vengono, infine, mostrati i risultati delle simulazioni numeriche fatte.

Il sistema di guida autonoma di Tesla

Analisi del mondo della guida autonoma dalle origini ad un ipotetico futuro. Introduzione ai concetti tecnici fondamentali della guida autonoma come machine learning e reti neurali. Approfondimento sul sistema di guida autonoma proprietario di Tesla chiamato "Full-Self Driving". Rapida carrellata su sistemi analoghi a quelli di Tesla sviluppati da Uber e Google.

Analisi e nuove applicazioni delle Real-time Silent Speech BCIs

Il fatto che il pensiero sia più rapido della comunicazione verbale o scritta è un concetto ormai consolidato. Ricerche recenti, però, si stanno occupando di sviluppare nuove tecnologie in grado di tradurre l’attività neurale in parole o testi in tempo reale. È proprio questo il campo delle Real-time Silent Speech Brain-Computer Interfaces, ovvero sistemi di comunicazione alternativi, basati sulla registrazione e sull’interpretazione di segnali neurali, generati durante il tentativo di parlare o di scrivere. Queste innovazioni tecnologiche costituiscono un traguardo fondamentale per la vita delle persone con paralisi o con patologie neurologiche che determinano l’inabilità a comunicare. L’obiettivo di questo elaborato è quello di descrivere due applicazioni innovative nell’ambito delle Real-time Silent Speech-BCIs. I metodi di BCI confrontati nel presente elaborato sintetizzano il parlato attraverso la rilevazione invasiva o parzialmente invasiva dell’attività cerebrale. L’utilizzo di metodi invasivi per la registrazione dell’attività cerebrale è giustificato dal fatto che le performance di acquisizione del segnale ottenute sono tali da controbilanciare i rischi associati all’operazione chirurgica necessaria per l’impianto. Le tecniche descritte sfruttano delle Reti Neurali Ricorrenti (RNNs), che si sono dimostrate le più efficaci nel prevedere dati sequenziali. Gli studi presentati in questa tesi costituiscono un passaggio fondamentale nel progresso tecnologico per il ripristino della comunicazione in tempo reale e sono i primi a riportare prestazioni di sintesi paragonabili a quelle del linguaggio naturale.

Identificazione di caratteristiche rilevanti in capi di abbigliamento mediante deep-learning

Il mondo della moda è in continua e costante evoluzione, non solo dal punto di vista sociale, ma anche da quello tecnologico. Nel corso del presente elaborato si è studiata la possibilità di riconoscere e segmentare abiti presenti in una immagine utilizzando reti neurali profonde e approcci moderni. Sono state, quindi, analizzate reti quali FasterRCNN, MaskRCNN, YOLOv5, FashionPedia e Match-RCNN. In seguito si è approfondito l’addestramento delle reti neurali profonde in scenari di alta parallelizzazione e su macchine dotate di molteplici GPU al fine di ridurre i tempi di addestramento. Inoltre si è sperimentata la possibilità di creare una rete per prevedere se un determinato abito possa avere successo in futuro analizzando semplicemente dati passati e una immagine del vestito in questione. Necessaria per tali compiti è stata, inoltre, una approfondita analisi dei dataset esistenti nel mondo della moda e dei metodi per utilizzarli per l’addestramento. Il presente elaborato è stato svolto nell’ambito del progetto FA.RE.TRA. per il quale l'Università di Bologna svolge un compito di consulenza per lo studio di fattibilità su reti neurali in grado di svolgere i compiti menzionati.

Tecniche parallele di machine learning applicate a container

L’obiettivo di questa tesi `e l’estensione della conoscenza di un argomento già ampliamente conosciuto e ricercato. Questo lavoro focalizza la propria attenzione su una nicchia dell’ampio mondo della virtualizzazione, del machine learning e delle tecniche di apprendimento parallelo. Nella prima parte verranno spiegati alcuni concetti teorici chiave per la virtualizzazione, ponendo una maggior attenzione verso argomenti di maggior importanza per questo lavoro. La seconda parte si propone di illustrare, in modo teorico, le tecniche usate nelle fasi di training di reti neurali. La terza parte, attraverso una parte progettuale, analizza le diverse tecniche individuate applicandole ad un ambiente containerizzato.

Intelligenza artificiale e test di Turing

Obiettivo di questo lavoro di tesi consiste nell’analizzare la domanda che il matematico e logico inglese Alan Turing propose di considerare: “Can machines think?”. Il quesito, esaminato attraverso la formulazione del gioco dell’imitazione e ormai ricordato come Test di Turing, è talmente interessante da essere divenuto uno degli argomenti più discussi nell’ambito delle scienze cognitive, della filosofia della mente e dell’informatica. In particolare è stata fondata una disciplina, chiamata intelligenza artificiale o IA, che intende studiare e comprendere se e come un sistema informatico possa essere capace di simulare una mente umana e un suo tipico comportamento. Questa tesi presenta una disamina sull’intelligenza artificiale e sul Test di Turing. Dell’IA si prenderanno in esame alcune definizioni formali della disciplina, le teorie di intelligenza artificiale debole e forte, e in particolare l’esperimento mentale della Stanza Cinese, il machine learning, il deep learning e le reti neurali, alcuni loro esempi di implementazione in diversi ambiti e infine alcune questioni etiche relative all’IA. Successivamente verranno esaminati la descrizione del gioco dell’imitazione, le più importanti critiche ed obiezioni al test di Turing, una variante del test, chiamata Test di Turing Totale, il premio Loebner, le previsioni fatte dal matematico e alcuni tentativi di superamento del test, tra cui l’implementazione dei chatterbot ELIZA, ALICE ed Eugene Goostman. Saranno infine proposte delle conclusioni in merito al lavoro svolto.

Proprietà statistiche dell’apprendimento nella rete di Hopfield diluita

La rete di Hopfield è una tipologia di rete neurale che si comporta come una memoria associativa. La caratteristica più importante per questo tipo di rete è la capacità pmax, cioè quanti dati, chiamati ricordi, può apprendere prima che cambi comportamento. Infatti, per un numero grande di ricordi, avviene una transizione di fase e la rete smette di comportarsi come desiderato. La capacità di una rete di Hopfield è proporzionale al numero di neuroni N che la compongono, pmax = α N , dove α = 0.138. Una variante importante di questo modello è la rete di Hopfield diluita. In questa rete i neuroni non sono tutti connessi tra loro ma l’esistenza di connessioni tra due neuroni è determinata in modo stocastico con probabilità ρ di esserci e 1 − ρ di essere assente. Il grafo di una rete così definita è un grafo aleatorio di Erdös–Rényi. Il lavoro qui presentato ha lo scopo di studiare le proprietà statistiche dell’apprendimento di questo tipo di reti neurali, specialmente l’andamento della capacità in funzione del parametro ρ e le connettività del grafo durante le transizioni di fase che avvengono nel network. Attraverso delle simulazioni, si è concluso che la capacità di una rete di Hopfield diluita pmax segue un andamento a potenza pmax = aN ρb +c, dove N è il numero di neuroni, a = (0.140 ± 0.003), b = (0.49 ± 0.03), e c = (−11 ± 2). Dallo studio della connettività del grafo è emerso che la rete funge da memoria associativa finché il grafo del network risulta connesso.

Modello neurocomputazionale per lo studio del benefit dell’integrazione multisensoriale nel processo mnemonico-associativo fra nomi propri e volti

Associare nomi propri a volti di persona è un compito importante, fondamentale nella quotidianità di tutti i giorni. Nonostante questa operazione avvenga quasi sempre in maniera automatica, essa coinvolge una rete neurale complessa ed articolata. Diversi studi offrono strategie che possono aiutare in questo compito; in particolare, è stato riportato che rafforzare i nomi con stimoli cross-modali, ossia presentando più input sensoriali esterni contemporaneamente, può costituire un vantaggio per il recupero in memoria dei nomi stessi. Lo scopo di questa tesi è stato quello di svolgere un’analisi di sensibilità tramite un modello neuro-computazionale su MatLab di ispirazione biologica. Nello specifico sono stati considerati due macro-network: uno per i volti, l’altro per i nomi propri; quest’ultimo in particolare a sua volta si compone di tre aree uni-sensoriali, ciascuna delle quali corrisponde ad un modo specifico con cui codificare un nome (traccia audio, lip reading, name tag). Questi network sono stati dunque implementati attraverso una configurazione articolata su due strati: si potrebbe infatti pensare alla fase di addestramento, basata su un algoritmo hebbiano, come un primo layer del processo, seguito così da un secondo layer, dato invece dalla fase di utilizzo. Dalle simulazioni svolte sembra emergere che addestrare in maniera efficiente le connessioni fra le aree uni-sensoriali dei nomi, ricreando così un'integrazione multi-sensoriale, sia un fattore fondamentale per favorire non solo il ricordo di un nome in sé, ma anche processi mnemonici-associativi che coinvolgono anche lo stimolo visivo di un volto. Le evidenze prodotte risultano inoltre qualitativamente coerenti con analoghi esperimenti in vivo.

Deep Learning applicato alla diagnostica dei trasformatori

Il trasformatore è uno degli elementi più importanti di una rete di trasmissione; essendo il tramite fra reti di alta e media tensione, il suo corretto funzionamento garantisce l’alimentazione di tutti i dispositivi e carichi connessi alla linea. Oltre a questo, il trasformatore è anche l’elemento più costoso di tutta la linea elettrica; la sua manutenzione è di vitale importanza per evitare costi elevati per la sostituzione e disagi lungo la linea. Qui entra in gioco il ruolo della diagnostica; attraverso misure periodiche e mirate sul trasformatore è possibile agire tempestivamente ed evitare tutti i fenomeni precedentemente elencati. Nell’elaborato si tratterà l’analisi del trasformatore elettrico trifase durante il suo funzionamento, evidenziando i sottocomponenti e le rispettive criticità; inoltre, verranno mostrate le varie tecniche di diagnostica del trasformatore, in modo tale da poter estrarre un indice legato allo stato di vita, ossia l’Health Index. Ad oggi esistono diverse tecniche di approccio al calcolo dell’Health Index, quella che viene presentata è una tecnica del tutto innovativa, ossia sviluppare una rete neurale artificiale (Artificial Neural Network, ANN) in grado di prevedere lo stato del trasformatore basandosi su misure effettuate sullo stesso. Dunque, verranno presentante le basi per lo sviluppo di una rete neurale, partendo dall’analisi e formattazione dei dati, fino alla fase di ottimizzazione delle prestazioni. Infine, si attraverseranno tutte le fasi intermedie di realizzazione del progetto da cui l’elaborato prende il titolo; osservando l’evoluzione di una rete neurale che si trasforma da un programma scritto in ambiente Python a una applicazione pronta all’uso per gli operatori durante le operazioni di diagnostica.

Implementazione di un sistema di traduzione automatica: un caso di studio per la traduzione italiano-cinese

Il lavoro di tesi presentato è nato da una collaborazione con il Politecnico di Macao, i referenti sono: Prof. Rita Tse, Prof. Marcus Im e Prof. Su-Kit Tang. L'obiettivo consiste nella creazione di un modello di traduzione automatica italiano-cinese e nell'osservarne il comportamento, al fine di determinare se sia o meno possibile l'impresa. Il trattato approfondisce l'argomento noto come Neural Language Processing (NLP), rientrando dunque nell'ambito delle traduzioni automatiche. Sono servizi che, attraverso l'ausilio dell'intelligenza artificiale sono in grado di elaborare il linguaggio naturale, per poi interpretarlo e tradurlo. NLP è una branca dell'informatica che unisce: computer science, intelligenza artificiale e studio di lingue. Dal punto di vista della ricerca, le più grandi sfide in questo ambito coinvolgono: il riconoscimento vocale (speech-recognition), comprensione del testo (natural-language understanding) e infine la generazione automatica di testo (natural-language generation). Lo stato dell'arte attuale è stato definito dall'articolo "Attention is all you need" \cite{vaswani2017attention}, presentato nel 2017 a partire da una collaborazione di ricercatori della Cornell University.\\ I modelli di traduzione automatica più noti ed utilizzati al momento sono i Neural Machine Translators (NMT), ovvero modelli che attraverso le reti neurali artificiali profonde, sono in grado effettuare traduzioni o predizioni. La qualità delle traduzioni è particolarmente buona, tanto da arrivare quasi a raggiungere la qualità di una traduzione umana. Il lavoro infatti si concentrerà largamente sullo studio e utilizzo di NMT, allo scopo di proporre un modello funzionale e che sia in grado di performare al meglio nelle traduzioni da italiano a cinese e viceversa.

Applicazione della Metodologia Agile e di tecniche di Data Analysis nello sviluppo di un sistema di e-grocery

I principi Agile, pubblicati nell’omonimo Manifesto più di 20 anni fa, al giorno d’oggi sono declinati in una moltitudine di framework: Scrum, XP, Kanban, Lean, Adaptive, Crystal, etc. Nella prima parte della tesi (Capitoli 1 e 2) sono stati descritti alcuni di questi framework e si è analizzato come un approccio Agile è utilizzato nella pratica in uno specifico caso d’uso: lo sviluppo di una piattaforma software a supporto di un sistema di e-grocery da parte di un team di lab51. Si sono verificate le differenze e le similitudini rispetto alcuni metodi Agile formalizzati in letteratura spiegando le motivazioni che hanno portato a differenziarsi da questi framework illustrando i vantaggi per il team. Nella seconda parte della tesi (Capitoli 3 e 4) è stata effettuata un’analisi dei dati raccolti dal supermercato online negli ultimi anni con l’obiettivo di migliorare l’algoritmo di riordino. In particolare, per prevedere le vendite dei singoli prodotti al fine di avere degli ordini più adeguati in quantità e frequenza, sono stati studiati vari approcci: dai modelli statistici di time series forecasting, alle reti neurali, fino ad una metodologia sviluppata ad hoc.