Il modello di Hopfield: un'applicazione del modello di Ising alle reti neurali

Il Modello di Hopfield è un tentativo di modellizzare il comportamento di una memoria associativa come proprietà emergente di un network costituito da unità a due stati interagenti tra loro, e costituisce un esempio di come gli strumenti della meccanica statistica possano essere applicati anche al campo delle reti neurali. Nel presente elaborato viene esposta l'analogia tra il Modello di Hopfield e il Modello di Ising nel contesto delle transizioni di fase, applicando a entrambi i modelli la teoria di campo medio. Viene esposta la dinamica a temperatura finita e ricavata e risolta l'equazione di punto a sella per il limite di non saturazione del Modello di Hopfield. Vengono inoltre accennate le principali estensioni del Modello di Hopfield.

Classificazione di Radiografie Toraciche per la Diagnosi del COVID-19 con Reti Convoluzionali e Vision Transformer

Negli ultimi due anni, per via della pandemia generata dal virus Covid19, la vita in ogni angolo del nostro pianeta è drasticamente cambiata. Ad oggi, nel mondo, sono oltre duecentoventi milioni le persone che hanno contratto questo virus e sono quasi cinque milioni le persone decedute. In alcuni periodi si è arrivati ad avere anche un milione di nuovi contagiati al giorno e mediamente, negli ultimi sei mesi, questo dato è stato di più di mezzo milione al giorno. Gli ospedali, soprattutto nei paesi meno sviluppati, hanno subito un grande stress e molte volte hanno avuto una carenza di risorse per fronteggiare questa grave pandemia. Per questo motivo ogni ricerca in questo campo diventa estremamente importante, soprattutto quelle che, con l'ausilio dell'intelligenza artificiale, riescono a dare supporto ai medici. Queste tecnologie una volta sviluppate e approvate possono essere diffuse a costi molto bassi e accessibili a tutti. In questo elaborato sono stati sperimentati e valutati due diversi approcci alla diagnosi del Covid-19 a partire dalle radiografie toraciche dei pazienti: il primo metodo si basa sul transfer learning di una rete convoluzionale inizialmente pensata per la classificazione di immagini. Il secondo approccio utilizza i Vision Transformer (ViT), un'architettura ampiamente diffusa nel campo del Natural Language Processing adattata ai task di Visione Artificiale. La prima soluzione ha ottenuto un’accuratezza di 0.85 mentre la seconda di 0.92, questi risultati, soprattutto il secondo, sono molto incoraggianti soprattutto vista la minima quantità di dati di training necessaria.

Reti neurali "physics-informed" per modelli epidemiologici

La malattia COVID-19 associata alla sindrome respiratoria acuta grave da coronavirus 2 (SARS-CoV-2) ha rappresentato una grave minaccia per la salute pubblica e l’economia globale sin dalla sua scoperta in Cina, nel dicembre del 2019. Gli studiosi hanno effettuato numerosi studi ed in particolar modo l’applicazione di modelli epidemiologici costruiti a partire dai dati raccolti, ha permesso la previsione di diversi scenari sullo sviluppo della malattia, nel breve-medio termine. Gli obiettivi di questa tesi ruotano attorno a tre aspetti: i dati disponibili sulla malattia COVID-19, i modelli matematici compartimentali, con particolare riguardo al modello SEIJDHR che include le vaccinazioni, e l’utilizzo di reti neurali ”physics-informed” (PINNs), un nuovo approccio basato sul deep learning che mette insieme i primi due aspetti. I tre aspetti sono stati dapprima approfonditi singolarmente nei primi tre capitoli di questo lavoro e si sono poi applicate le PINNs al modello SEIJDHR. Infine, nel quarto capitolo vengono riportati frammenti rilevanti dei codici Python utilizzati e i risultati numerici ottenuti. In particolare vengono mostrati i grafici sulle previsioni nel breve-medio termine, ottenuti dando in input dati sul numero di positivi, ospedalizzati e deceduti giornalieri prima riguardanti la città di New York e poi l’Italia. Inoltre, nell’indagine della parte predittiva riguardante i dati italiani, si è individuato un punto critico legato alla funzione che modella la percentuale di ricoveri; sono stati quindi eseguiti numerosi esperimenti per il controllo di tali previsioni.

Sviluppo di un ambiente virtualizzato per la simulazione di attacchi a reti time-sensitive

Questo lavoro di tesi ha visto come obiettivo finale quello di realizzare una se- rie di attacchi, alcuni di questi totalmente originali, ai protocolli della famiglia Time-Sensitive Networking (TSN) attraverso lo sviluppo di un’infrastruttura virtualizzata. L’infrastruttura è stata costruita e progettata utilizzando mac- chine virtuali con Quick EMUlator (QEMU) come strato di virtualizzazione ed accelerate attraverso Kernel-based Virtual Machine (KVM). Il progetto è stato concepito come Infrastrucutre as Code (IaC), attraverso l’ausilio di Ansible e alcuni script shell utilizzati come collante per le varie parti del progetto.

Reti Neurali Ricorrenti per la generazione di musica simbolica

Il Deep Learning ha radicalmente trasformato il mondo del Machine Learning migliorando lo stato dell'arte in diversi campi che spaziano dalla computer vision al natural language processing. Non fermandosi a problemi di classificazione, negli ultimi anni, applicazioni di tipo generativo hanno portato alla creazione di immagini realistiche e documenti letterali. Il mondo della musica non è esente da una moltitudine di esperimenti nello stesso campo, con risultati ancora acerbi ma comunque potenzialmente interessanti. In questa tesi verrà discussa l'applicazione di un di modello appartenente alla famiglia del Deep Learning per la generazione di musica simbolica.

Modelli di traffico per la formazione della congestione su una rete stradale

A partire dagli anni ’50 furono sviluppati numerosi modelli con l’intento di studiare i fenomeni connessi al traffico. Alcuni di essi riuscirono non solo a spiegare i fenomeni per i quali erano stati ideati ma misero in evidenza altre caratteristiche tipiche dei sistemi dinamici, come la presenza di cicli di isteresi e cambiamenti nella distribuzione dei tempi di percorrenza in situazioni di congestione. Questo lavoro si propone di verificare la validità di un modello semplificato ideato per mettere in luce i comportamenti tipici di un sistema di traffico, in particolare le congestioni che si vengono a creare sulla rete stradale. Tale modello è stato implementato per mezzo della libreria C++ Traffic Flow Dynamics Model, reperibile al link https://github.com/Grufoony/TrafficFlowDynamicsModel. Ai fini dello studio sono stati utilizzati i Diagrammi Fondamentali Macroscopici, particolari diagrammi che mettono in relazione gli osservabili principali di un network stradale quali velocità, densità e flusso. Variando il carico immesso nella rete stradale è stato possibile studiare il sistema in diversi regimi: carico costante, carico piccato e carico periodico. Mediante questi studi sono emerse diverse proprietà tipiche di ogni regime e, per alcuni di essi, è stata verificate e giustificate la presenza di uno o più cicli di isteresi. In ultimo è stata effettuata una breve analisi ad-hoc volta a evidenziare i cambiamenti nella distribuzione dei tempi di percorrenza in relazione al regime di traffico considerato.

Reti Generative Avversarie nel contesto di servizi di rete sociale: un caso di studio

L’intelligenza artificiale è senza dubbio uno degli argomenti attualmente più in voga nel mondo dell’informatica, sempre in costante evoluzione ed espansione in nuovi settori. In questa elaborato progettuale viene combinato l’argomento sopracitato con il mondo dei social network, che ormai sono parte integrante della quotidianità di tutti. Viene infatti analizzato lo stato dell’arte attuale delle reti neurali, in particolare delle reti generative avversarie, e vengono esaminate le principali tipologie di social network. Su questa base, infatti, verrà realizzato un sistema di rete sociale completo nel quale una GAN sarà proprio la protagonista, sfruttando le più interessanti tecnologie attualmente disponibili. Il sistema sarà disponibile sia come applicativo per dispositivi mobile che come sito web e introdurrà elementi di gamification per aumentare l’interazione con l’utente.

Studio di fattibilità di un sensore autoalimentato per misure di corrente nelle reti filoviarie

Negli ultimi anni vi è stato un aumento della sensibilità in merito alle tematiche ambientali e questo ha riguardato anche il settore della mobilità, spingendo sempre più verso l’elettrificazione dei trasporti. Una delle possibilità per elettrificare i trasporti sono le reti filoviarie. Di quelle già esistenti, però, la maggior parte è stata realizzata nel secolo scorso. Inoltre, non vengono effettuate misure per valutare quale sia lo stato del carico sulla rete. In questa tesi si è valutata la fattibilità di realizzazione di un sensore non intrusivo per la misura delle correnti sulle filovie di reti esistenti, al fine di poter ottenere i dati relativi ai flussi di potenza e permettere quindi, in futuro, una migliore gestione della rete. Per effettuare la misura di corrente in modo non invasivo si è pensato di utilizzare un sensore di campo magnetico stazionario. Per valutare l’intensità del campo magnetico, al fine di scegliere il sensore che si confacesse alle caratteristiche dell’applicazione, si è proceduto a sviluppare diversi modelli per rappresentare i conduttori della filovia. Da queste simulazioni è stato inoltre possibile valutare quale fosse la posizione più idonea al collocamento del sensore. Per l’alimentazione del sensore, si sono valutate più possibilità che permettessero di non ricorrere ad un cablaggio ausiliario, tra cui l’utilizzo di un pannello fotovoltaico eventualmente accoppiato ad una batteria. Per la trasmissione dei dati, sono stati valutati più protocolli e dispositivi di comunicazione per trovare quello che meglio combinasse le necessità di trasmissione su distanze medio-lunghe e la necessità di minimizzare i consumi energetici. Infine, sono state effettuate prove sperimentali per validare l'affidabilità delle misure, ovvero verificare che fosse realmente possibile stimare il valore delle correnti nei conduttori della filovia partendo da una misura di campo magnetico, e se i consumi energetici stimati fossero in linea con quelli reali.

Analisi e simulazione di protocolli di accesso multiplo per reti IoT 6G cell-free

Lo scopo delle reti mobili è fornire ai dispositivi wireless accesso a una grande varietà di servizi dati, in un’ampia area geografica. Nonostante le reti cellulari odierne, basate sulla tecnologia Massive MIMO, possano raggiungere elevate performance in condizioni favorevoli (centro cella) esse, presentano all’interno dell’area di copertura, zone soggette a data-rate notevolmente ridotti. In questo elaborato, viene brevemente descritta la rete cell-free; una nuova architettura di rete pensata per superare i vecchi limiti delle reti cellulari tradizionali. Successivamente, vengono presentati attraverso simulazioni i due principali vantaggi che queste nuove reti cell-free offrono. Inoltre, viene analizzato uno schema random access in grado di gestire l’accesso multiplo per queste nuove architetture di rete. Questo schema rappresenta un’estensione di un protocollo già presente in letteratura e perfettamente funzionante per reti Massive MIMO, appartenente alla famiglia dei protocolli Coded Slotted ALOHA. Infine, un'analisi delle prestazioni e alcuni possibili scenari sono stati presentati, con lo scopo di valutare l'effetto che algoritmi di tipo SIC possono avere su queste reti.

Manutenzione predittiva dei giunti mediante tecnologie di Intelligenza Artificiale per la prevenzione dei guasti nelle reti di distribuzione in MT

Lo scopo dell’elaborato è quello di valutare una prima applicazione di intelligenza artificiale per svolgere manutenzione predittiva sui giunti installati nella rete di distribuzione, al fine di prevenirne i guasti. L’estensione delle reti in cavo è infatti in costante aumento per supportare lo sviluppo della rete elettrica e, per l’installazione di nuove linee o nella manutenzione di cavi, si fa uso di giunti, spesso soggetti a guasti e di difficile manutenzione. Risulta quindi importante svolgere manutenzione predittiva su questi componenti, al fine di prevenirne i guasti ed ottenere un risparmio in termini di tempo e denaro. A seguito un’attenta analisi della struttura dei giunti, dei loro modi di guasto e dei parametri caratteristici, si è proceduto alla generazione sintetica di un dataset contenente misure sui giunti e, sulla base di specifici criteri applicati a questi valori, l’informazione sulla presenza o sull’assenza di un guasto. Il dataset è stato poi utilizzato per la fase di apprendimento e di test di sei algoritmi di machine learning, selezionati a partire da considerazioni sullo stato dell’arte, valutato tramite una Revisione Sistematica della Letteratura (SLR). I risultati così ottenuti sono stati analizzati tramite specifiche metriche e da questo caso di studio sono emerse le elevate potenzialità delle tecnologie di intelligenza artificiale ai fini della prevenzione dei guasti nelle reti di distribuzione, soprattutto se considerata la semplicità implementativa degli algoritmi.

Integrazione di reti neurali con approcci simbolici per problemi di ragionamento deduttivo in linguaggio naturale

Uno degli obiettivi più ambizioni e interessanti dell'informatica, specialmente nel campo dell'intelligenza artificiale, consiste nel raggiungere la capacità di far ragionare un computer in modo simile a come farebbe un essere umano. I più recenti successi nell'ambito delle reti neurali profonde, specialmente nel campo dell'elaborazione del testo in linguaggio naturale, hanno incentivato lo studio di nuove tecniche per affrontare tale problema, a cominciare dal ragionamento deduttivo, la forma più semplice e lineare di ragionamento logico. La domanda fondamentale alla base di questa tesi è infatti la seguente: in che modo una rete neurale basata sull'architettura Transformer può essere impiegata per avanzare lo stato dell'arte nell'ambito del ragionamento deduttivo in linguaggio naturale? Nella prima parte di questo lavoro presento uno studio approfondito di alcune tecnologie recenti che hanno affrontato questo problema con intuizioni vincenti. Da questa analisi emerge come particolarmente efficace l'integrazione delle reti neurali con tecniche simboliche più tradizionali. Nella seconda parte propongo un focus sull'architettura ProofWriter, che ha il pregio di essere relativamente semplice e intuitiva pur presentando prestazioni in linea con quelle dei concorrenti. Questo approfondimento mette in luce la capacità dei modelli T5, con il supporto del framework HuggingFace, di produrre più risposte alternative, tra cui è poi possibile cercare esternamente quella corretta. Nella terza e ultima parte fornisco un prototipo che mostra come si può impiegare tale tecnica per arricchire i sistemi tipo ProofWriter con approcci simbolici basati su nozioni linguistiche, conoscenze specifiche sul dominio applicativo o semplice buonsenso. Ciò che ne risulta è un significativo miglioramento dell'accuratezza rispetto al ProofWriter originale, ma soprattutto la dimostrazione che è possibile sfruttare tale capacità dei modelli T5 per migliorarne le prestazioni.

Reti neurali convoluzionali nell'elaborazione di immagini mammografiche

Il tema centrale di questa tesi è il Machine Learning e la sua applicabilità nella ricostruzione di immagini biomediche, nello specifico di immagini mammarie. Il metodo attualmente più diffuso per la rilevazione del tumore al seno è la Mammografia 2D digitale, ma l’interesse mostrato ultimamente verso la Tomosintesi ha dimostrato una migliore capacità di diagnosi tumorale, anche ai primi stadi. Sebbene le due tecniche combinate siano in grado di rilevare anche la minima lesione, questo comporta una sovraesposizione alle radiazioni. Lo scopo finale, perciò, è quello di fornire un valido strumento di supporto per la caratterizzazione automatica di masse e opacità in immagini di tomosintesi, così da sottoporre il paziente ad un singolo esame radiografico. L'obiettivo è stato dunque ricostruire, tramite reti neurali Convoluzionali, immagini sintetiche di Tomosintesi di qualità superiore e il più possibile vicine a quelle di mammografia 2D. Sono state presentate nel dettaglio le due tecniche di imaging, le problematiche ad esse legate ed un approfondito confronto dosimetrico. Dopo una trattazione teorica dei principi delle CNN, sono state riportate le caratteristiche delle architetture di rete realizzate nella parte progettuale dell’elaborato. Sono stati valutati i comportamenti dei differenti modelli neurali per uno stesso Dataset di immagini di Tomosintesi, individuandone il migliore in termini di prestazioni finali nelle immagini di Test. Dagli studi effettuati è stata provata la possibilità, in un futuro sempre più prossimo, di applicare la Tomosintesi, con l’ausilio delle reti Convoluzionali, come tecnica unica di screening e di rilevazione del tumore al seno.

Implementazione di reti neurali per missioni di telerilevamento satellitare da immagini iperspettrali

L’utilizzo di reti neurali, applicate a immagini iperspettrali, direttamente a bordo di un satellite, permetterebbe una stima tempestiva ed aggiornata di alcuni parametri del suolo, necessari per ottimizzare il processo di fertilizzazione in agricoltura. Questo elaborato confronta due modelli derivati dalle reti EfficientNet-Lite0 ed EdgeNeXt per la stima del valore di pH del terreno e delle concentrazioni di Potassio (K), Pentossido di Fosforo (P2O5) e Magnesio (Mg) da immagini iperspettrali raffiguranti campi agricoli. Sono stati inoltre testati due metodi di riduzione delle bande: l’Analisi delle Componenti Principali (PCA) e un algoritmo di selezione basato sull’Orthogonal Subspace Projection (OSP). Lo scopo è ridurre le dimensioni delle immagini al fine di limitare le risorse necessarie all’inferenza delle reti, pur preservandone l’accuratezza. L’esecuzione in tempo reale (23.6 fps) della migliore soluzione ottenuta sul sistema embedded Dev Board Mini ne dimostra l’applicabilità a bordo di nanosatelliti.

‘Data Augmentation’ per reti neurali profonde per la classificazione del segnale EEG

I recenti sviluppi nel campo dell’intelligenza artificiale hanno permesso una più adeguata classificazione del segnale EEG. Negli ultimi anni è stato dimostrato come sia possibile ottenere ottime performance di classificazione impiegando tecniche di Machine Learning (ML) e di Deep Learning (DL), facendo uso, per quest’ultime, di reti neurali convoluzionali (Convolutional Neural Networks, CNN). In particolare, il Deep Learning richiede molti dati di training mentre spesso i dataset per EEG sono limitati ed è difficile quindi raggiungere prestazioni elevate. I metodi di Data Augmentation possono alleviare questo problema. Partendo da dati reali, questa tecnica permette, la creazione di dati artificiali fondamentali per aumentare le dimensioni del dataset di partenza. L’applicazione più comune è quella di utilizzare i Data Augmentation per aumentare le dimensioni del training set, in modo da addestrare il modello/rete neurale su un numero di campioni più esteso, riducendo gli errori di classificazione. Partendo da questa idea, i Data Augmentation sono stati applicati in molteplici campi e in particolare per la classificazione del segnale EEG. In questo elaborato di tesi, inizialmente, vengono descritti metodi di Data Augmentation implementati nel corso degli anni, utilizzabili anche nell’ambito di applicazioni EEG. Successivamente, si presentano alcuni studi specifici che applicano metodi di Data Augmentation per migliorare le presentazioni di classificatori basati su EEG per l’identificazione dello stato sonno/veglia, per il riconoscimento delle emozioni, e per la classificazione di immaginazione motoria.

La stima dell'inerzia nelle reti elettriche

Negli ultimi anni, la rete elettrica ha subito importanti cambiamenti dovuti principalmente al fatto che vi è stato un sensibile sviluppo di impianti di produzione da fonti rinnovabili. Questo aspetto ha però influenzato in modo considerevole il funzionamento della rete ed in particolare la risposta inerziale che essa ha a fronte di uno squilibrio della potenza attiva. In particolare, nella rete si è registrata una importante riduzione dell’inerzia disponibile in quanto molte delle fonti rinnovabili attualmente installate sono connesse tramite inverter, macchine statiche, che non sono in grado di fornire alcuna risposta inerziale in modo intrinseco. Si sta perciò rendendo sempre più necessario possedere degli strumenti volti a fornire una stima dell’inerzia a disposizione della rete, in modo tale da facilitare e migliorare la gestione del Sistema Elettrico. In tale contesto, in questa tesi ci si è concentrati sulla realizzazione di un modello EMTP della rete di distribuzione benchmark europea Cigrè, che permettesse di includere tutte le caratteristiche dinamiche della rete, dei generatori di produzione e in particolare, ci si è soffermati sulla modellizzazione dei carichi, eseguendo un’analisi e un confronto sulle possibili modalità di modellizzazione dei carichi in forma aggregata. Nella seconda parte, sono stati poi sviluppati degli algoritmi che permettessero dai dati raccolti attraverso le simulazioni di ricavare il valore della costante d’inerzia nei differenti scenari.