Apprendimento automatico nei giochi di strategia

Lo scopo di questo elaborato consiste principalmente in una presentazione generale e teorica dei fondamenti dell'Apprendimento Automatico, dei suoi paradigmi principali e dell’applicazione concreta di due di queste tecniche nei giochi di strategia. Nel primo caso di studio è stato descritto il processo che si cela dietro l’addestramento di una rete neurale per giocare a Tris; nel secondo, invece, è stata riporta l’esperienza che mostra come sia possibile addestrare un giocatore di scacchi attraverso le annotazioni di gioco.

Analisi e applicazione dei processi di data mining al flusso informativo di sistemi real-time: Adattamento di un algoritmo di apprendimento automatico per la caratterizzazione e la ricerca di frequent patterns su macchine automatiche

La tesi da me svolta durante questi ultimi sei mesi è stata sviluppata presso i laboratori di ricerca di IMA S.p.a.. IMA (Industria Macchine Automatiche) è una azienda italiana che naque nel 1961 a Bologna ed oggi riveste il ruolo di leader mondiale nella produzione di macchine automatiche per il packaging di medicinali. Vorrei subito mettere in luce che in tale contesto applicativo l’utilizzo di algoritmi di data-mining risulta essere ostico a causa dei due ambienti in cui mi trovo. Il primo è quello delle macchine automatiche che operano con sistemi in tempo reale dato che non presentano a pieno le risorse di cui necessitano tali algoritmi. Il secondo è relativo alla produzione di farmaci in quanto vige una normativa internazionale molto restrittiva che impone il tracciamento di tutti gli eventi trascorsi durante l’impacchettamento ma che non permette la visione al mondo esterno di questi dati sensibili. Emerge immediatamente l’interesse nell’utilizzo di tali informazioni che potrebbero far affiorare degli eventi riconducibili a un problema della macchina o a un qualche tipo di errore al fine di migliorare l’efficacia e l’efficienza dei prodotti IMA. Lo sforzo maggiore per riuscire ad ideare una strategia applicativa è stata nella comprensione ed interpretazione dei messaggi relativi agli aspetti software. Essendo i dati molti, chiusi, e le macchine con scarse risorse per poter applicare a dovere gli algoritmi di data mining ho provveduto ad adottare diversi approcci in diversi contesti applicativi: • Sistema di identificazione automatica di errore al fine di aumentare di diminuire i tempi di correzione di essi. • Modifica di un algoritmo di letteratura per la caratterizzazione della macchina. La trattazione è così strutturata: • Capitolo 1: descrive la macchina automatica IMA Adapta della quale ci sono stati forniti i vari file di log. Essendo lei l’oggetto di analisi per questo lavoro verranno anche riportati quali sono i flussi di informazioni che essa genera. • Capitolo 2: verranno riportati degli screenshoot dei dati in mio possesso al fine di, tramite un’analisi esplorativa, interpretarli e produrre una formulazione di idee/proposte applicabili agli algoritmi di Machine Learning noti in letteratura. • Capitolo 3 (identificazione di errore): in questo capitolo vengono riportati i contesti applicativi da me progettati al fine di implementare una infrastruttura che possa soddisfare il requisito, titolo di questo capitolo. • Capitolo 4 (caratterizzazione della macchina): definirò l’algoritmo utilizzato, FP-Growth, e mostrerò le modifiche effettuate al fine di poterlo impiegare all’interno di macchine automatiche rispettando i limiti stringenti di: tempo di cpu, memoria, operazioni di I/O e soprattutto la non possibilità di aver a disposizione l’intero dataset ma solamente delle sottoporzioni. Inoltre verranno generati dei DataSet per il testing di dell’algoritmo FP-Growth modificato.

Metodologie di apprendimento automatico applicate alla generazione di dati 3D

Il framework in oggetto, è un ambiente ideato con lo scopo di applicare tecniche di Machine Learning (in particolare le Random Forest) alle funzionalità dell'algoritmo di stereo matching SGM (Semi Global Matching), al fine di incrementarne l'accuratezza in versione standard. Scopo della presente tesi è quello di modificare alcune impostazioni di tale framework rendendolo un ambiente che meglio si adatti alla direzionalità delle scanline (introducendo finestre di supporto rettangolari e ortogonali e il training di foreste separate in base alla singola scanline) e ampliarne le funzionalità tramite l'aggiunta di alcune nuove feature, quali la distanza dal più vicino edge direzionale e la distintività calcolate sulle immagini Left della stereo pair e gli edge direzionali sulle mappe di disparità. Il fine ultimo sarà quello di eseguire svariati test sui dataset Middlebury 2014 e KITTI e raccogliere dati che descrivano l'andamento in positivo o negativo delle modifiche effettuate.

Tecniche di apprendimento automatico per la ricerca di eventi top-top con l’esperimento ATLAS a LHC

Il Modello Standard è attualmente la teoria che meglio spiega il comportamento della fisica subnucleare, includendo la definizione delle particelle e di tre delle quattro forze fondamentali presenti in natura; risulta però una teoria incompleta sulle cui integrazioni i fisici stanno lavorando in diverse direzioni: uno degli approcci più promettenti nella ricerca di nuova fisica risulta essere quello delle teorie di campo efficaci. Il vertice di interazione del processo di produzione di coppie di quark top dello stesso segno a partire da protoni è fortemente soppresso nel Modello Standard e deve quindi essere interpretato con le teorie di campo efficaci. Il presente elaborato si concentra su questo nuovo approccio per la ricerca di quark top same-sign e si focalizza sull’utilizzo di una rete neurale per discriminare il segnale dal fondo. L’obiettivo è capire se le prestazioni di quest’ultima cambino quando le vengono fornite in ingresso variabili di diversi livelli di ricostruzione. Utilizzando una rete neurale ottimizzata per la discriminazione del segnale dal fondo, le si sono presentati tre set di variabili per l’allenamento: uno di alto livello, il secondo strettamente di basso livello, il terzo copia del secondo con aggiunta delle due variabili principali di b-tagging. Si è dimostrato che la performance della rete in termini di classificazione segnale-fondo rimane pressoché inalterata: la curva ROC presenta aree sottostanti le curve pressoché identiche. Si è notato inoltre che nel caso del set di variabili di basso livello, la rete neurale classifica come input più importanti gli angoli azimutali dei leptoni nonostante questi abbiano distribuzioni identiche tra segnale e fondo: ciò avviene in quanto la rete neurale è in grado di sfruttare le correlazioni tra le variabili come caratteristica discriminante. Questo studio preliminare pone le basi per l’ottimizzazione di un approccio multivariato nella ricerca di eventi con due top dello stesso segno prodotti a LHC.

Analisi di strategie computazionali per il gioco Forza4 generalizzato

L’Intelligenza Artificiale (IA), sin dalla sua introduzione, si è occupata dei giochi, ponendo l’attenzione a quelli detti a informazione perfetta e a somma zero e sequenziali (Tris, Scacchi e Forza4). Dalla Teoria dei Giochi è derivato il modello Minimax, che sfrutta l'albero di gioco per effettuare una ricerca in profondità allo scopo di minimizzare la massima perdita possibile per individuare la mossa migliore da giocare. Tuttavia, il limite di tale algoritmo risiede nel tempo necessario al calcolo (per alberi profondi e di grandi dimensioni) che, in alcuni casi, può essere considerevole. Per mitigare tale problema, è stato introdotta la proposta Alpha-Beta, che attua delle potature sull’albero di gioco grazie l’introduzione di due nuove variabili dette, appunto, alpha e beta. Tale approccio è stato ulteriormente migliorato ricorrendo all’utilizzo del concetto di funzione euristica e introducendo un limite di profondità al quale fermare la ricorsione del modello Alpha-Beta. Tale limite, tuttavia, determina il problema dell’effetto orizzonte, legato al fatto che fermarsi a una profondità intermedia dell’albero può portare l’algoritmo a non vedere delle alcune mosse migliori che possono situarsi nel sotto albero del nodo a cui si ferma la ricerca, appunto l’orizzonte. Ulteriori accorgimenti, come l'algoritmo ad approfondimento iterativo (Iterative Deepening) e il salvataggio degli stati di gioco in una tabella hash, possono ridurre in modo significativo il tempo di calcolo. Partendo da questi studi, sono stati sviluppati degli agenti software per ConnectX, un gioco sviluppato in Java a somma zero e a informazione perfetta come Forza4. Le implementazioni sono state testate su 39 diverse configurazioni di gioco, dimostrando che l'agente PlayerSoft risulta il più ottimale e che l'implementazione della funzione euristica rappresenta un buon compromesso tra complessità di calcolo e risultato atteso.

Apprendimento robotico

L'elaborato presenta le tecniche di apprendimento principali utilizzate in robotica: l'apprendimento per rinforzo e l'apprendimento per dimostrazione. Nell'ultimo capitolo, invece, si vuole presentare come l'applicazione congiunta di queste tecniche permetta di risolvere problemi di interazione con l'ambiente in modo molto efficiente.

Analisi delle funzionalità respiratorie: monitoraggio della respirazione attraverso uno stetoscopio elettronico

Implementazione di un prototipo di un sistema di monitoraggio delle apnee notturne su un soggetto attraverso uno stetoscopio elettronico.

Segmentazione e categorizzazione di oggetti mediante immagini depth e deep learning

Questo lavoro è iniziato con uno studio teorico delle principali tecniche di classificazione di immagini note in letteratura, con particolare attenzione ai più diffusi modelli di rappresentazione dell’immagine, quali il modello Bag of Visual Words, e ai principali strumenti di Apprendimento Automatico (Machine Learning). In seguito si è focalizzata l’attenzione sulla analisi di ciò che costituisce lo stato dell’arte per la classificazione delle immagini, ovvero il Deep Learning. Per sperimentare i vantaggi dell’insieme di metodologie di Image Classification, si è fatto uso di Torch7, un framework di calcolo numerico, utilizzabile mediante il linguaggio di scripting Lua, open source, con ampio supporto alle metodologie allo stato dell’arte di Deep Learning. Tramite Torch7 è stata implementata la vera e propria classificazione di immagini poiché questo framework, grazie anche al lavoro di analisi portato avanti da alcuni miei colleghi in precedenza, è risultato essere molto efficace nel categorizzare oggetti in immagini. Le immagini su cui si sono basati i test sperimentali, appartengono a un dataset creato ad hoc per il sistema di visione 3D con la finalità di sperimentare il sistema per individui ipovedenti e non vedenti; in esso sono presenti alcuni tra i principali ostacoli che un ipovedente può incontrare nella propria quotidianità. In particolare il dataset si compone di potenziali ostacoli relativi a una ipotetica situazione di utilizzo all’aperto. Dopo avere stabilito dunque che Torch7 fosse il supporto da usare per la classificazione, l’attenzione si è concentrata sulla possibilità di sfruttare la Visione Stereo per aumentare l’accuratezza della classificazione stessa. Infatti, le immagini appartenenti al dataset sopra citato sono state acquisite mediante una Stereo Camera con elaborazione su FPGA sviluppata dal gruppo di ricerca presso il quale è stato svolto questo lavoro. Ciò ha permesso di utilizzare informazioni di tipo 3D, quali il livello di depth (profondità) di ogni oggetto appartenente all’immagine, per segmentare, attraverso un algoritmo realizzato in C++, gli oggetti di interesse, escludendo il resto della scena. L’ultima fase del lavoro è stata quella di testare Torch7 sul dataset di immagini, preventivamente segmentate attraverso l’algoritmo di segmentazione appena delineato, al fine di eseguire il riconoscimento della tipologia di ostacolo individuato dal sistema.

Un Sistema di Parcheggio Intelligente basato su Context-Awareness

Sistema di segnalazione automatica posti auto su strada. Implementato per Android con tecniche di apprendimento automatico supervisionato e Bluetooth per realizzare un'applicazione Context-Aware.

Progettazione e implementazione di un sistema di predizione dell'abbandono degli utenti in una catena di palestre

L'abbandono del cliente, ossia il customer churn, si riferisce a quando un cliente cessa il suo rapporto con l'azienda. In genere, le aziende considerano un cliente come perso quando un determinato periodo di tempo è trascorso dall'ultima interazione del cliente con i servizi dell'azienda. La riduzione del tasso di abbandono è quindi un obiettivo di business chiave per ogni attività. Per riuscire a trattenere i clienti che stanno per abbandonare l'azienda, è necessario: prevedere in anticipo quali clienti abbandoneranno; sapere quali azioni di marketing avranno maggiore impatto sulla fidelizzazione di ogni particolare cliente. L'obiettivo della tesi è lo studio e l'implementazione di un sistema di previsione dell'abbandono dei clienti in una catena di palestre: il sistema è realizzato per conto di Technogym, azienda leader nel mercato del fitness. Technogym offre già un servizio di previsione del rischio di abbandono basato su regole statiche. Tale servizio offre risultati accettabili ma è un sistema che non si adatta automaticamente al variare delle caratteristiche dei clienti nel tempo. Con questa tesi si sono sfruttate le potenzialità offerte dalle tecnologie di apprendimento automatico, per cercare di far fronte ai limiti del sistema storicamente utilizzato dall'azienda. Il lavoro di tesi ha previsto tre macro-fasi: la prima fase è la comprensione e l'analisi del sistema storico, con lo scopo di capire la struttura dei dati, di migliorarne la qualità e di approfondirne tramite analisi statistiche il contenuto informativo in relazione alle features definite dagli algoritmi di apprendimento automatico. La seconda fase ha previsto lo studio, la definizione e la realizzazione di due modelli di ML basati sulle stesse features ma utilizzando due tecnologie differenti: Random Forest Classifier e il servizio AutoML Tables di Google. La terza fase si è concentrata su una valutazione comparativa delle performance dei modelli di ML rispetto al sistema storico.

A multidisciplinary approach to the study of protein dynamics and signal transmission

Allostery is a phenomenon of fundamental importance in biology, allowing regulation of function and dynamic adaptability of enzymes and proteins. Despite the allosteric effect was first observed more than a century ago allostery remains a biophysical enigma, defined as the “second secret of life”. The challenge is mainly associated to the rather complex nature of the allosteric mechanisms, which manifests itself as the alteration of the biological function of a protein/enzyme (e.g. ligand/substrate binding at the active site) by binding of “other object” (“allos stereos” in Greek) at a site distant (> 1 nanometer) from the active site, namely the effector site. Thus, at the heart of allostery there is signal propagation from the effector to the active site through a dense protein matrix, with a fundamental challenge being represented by the elucidation of the physico-chemical interactions between amino acid residues allowing communicatio n between the two binding sites, i.e. the “allosteric pathways”. Here, we propose a multidisciplinary approach based on a combination of computational chemistry, involving molecular dynamics simulations of protein motions, (bio)physical analysis of allosteric systems, including multiple sequence alignments of known allosteric systems, and mathematical tools based on graph theory and machine learning that can greatly help understanding the complexity of dynamical interactions involved in the different allosteric systems. The project aims at developing robust and fast tools to identify unknown allosteric pathways. The characterization and predictions of such allosteric spots could elucidate and fully exploit the power of allosteric modulation in enzymes and DNA-protein complexes, with great potential applications in enzyme engineering and drug discovery.

Approccio meccanico statistico allo studio delle Macchine di Boltzmann Ristrette

La Macchina di Boltzmann Ristretta (RBM) è una rete neurale a due strati utilizzata principalmente nell'apprendimento non supervisionato. La sua capacità nel rappresentare complesse relazioni insite nei dati attraverso distribuzioni di tipo Boltzmann Gibbs la rende un oggetto particolarmente interessante per un approfondimento teoretico in ambito fisico matematico. In questa tesi vengono presentati due ambiti di applicazione della meccanica statistica all'apprendimento automatico. 1) La similarità della RBM a unità binarie con il modello di Ising permette di sfruttare un'espansione alle alte temperature per approssimare l'energia libera, termine presente nel gradiente della likelihoood e difficile da trattare numericamente. I risultati ottenuti con questa tecnica sul dataset MNIST sono paragonabili a quelli ottenuti dalla Contrastive Divergence, che utilizza invece metodi di Monte Carlo. 2) L'equivalenza statistica della variante ibrida di RBM con il modello di Hopfield permette di studiare la taglia del training set necessaria per l'apprendimento attraverso l'analisi del problema inverso, in cui i ruoli di spin e pattern sono invertiti. Viene quindi presentato un metodo basato sulla teoria di Gauge che permette di derivare il diagramma di fase del modello di Hopfield duale sulla linea di Nishimori in funzione della temperatura e del rapporto tra numero di campioni e dimensione del sistema.

Traduzione automatica neurale in ambito economico-finanziario: analisi e valutazione della qualità di sette sistemi

A partire dagli anni ‘40, l'uso della traduzione automatica ha iniziato a rappresentare un soggetto fondamentale nella traduzione, costituendo ancora ad oggi il centro di numerose ricerche e studi. In seguito alla diffusione della tecnologia informatica e del World Wide Web, iniziarono a essere disponibili sistemi commerciali di traduzione automatica. In questo periodo, divennero comuni diversi software di traduzione automatica gratuiti, fino a quando, alla fine degli anni 2000, si assistette infine allo sviluppo di una nuova tecnologia di apprendimento automatico neurale, basata sul funzionamento della mente umana. Il presente lavoro si concentra sulla valutazione della qualità della traduzione automatica neurale attraverso l'analisi e il confronto di sette sistemi, ovvero Google, Systran, Prompt, Microsoft, Yandex, ModernMT e Deepl, impiegati nel settore finanziario per la coppia linguistica inglese-italiano. Il primo capitolo tratta la storia della traduzione automatica, fornendo una breve descrizione delle diverse architetture, dei loro ambiti di utilizzo e della valutazione dei sistemi. Il secondo capitolo introduce il concetto di post-editing insieme agli obiettivi e le problematiche che lo caratterizzano. Il terzo capitolo presenta il progetto Intento, seguito da una breve panoramica dei sistemi di traduzione automatica analizzati. Nel quarto capitolo viene delineato il dominio finanziario, concentrandosi sui diversi ambiti che si sono intersecati con esso nell’ambito dello studio svolto. Il quinto e ultimo capitolo riguarda l'analisi dei segmenti tradotti, preceduta dalla definizione dei parametri scelti per la valutazione. L'ultima parte del capitolo illustra una sintesi dei risultati ottenuti e alcune considerazioni finali.

Data-driven Signal Processing per Jamming Detection in Sistemi Satellitari

In questo elaborato vengono analizzate differenti tecniche per la detection di jammer attivi e costanti in una comunicazione satellitare in uplink. Osservando un numero limitato di campioni ricevuti si vuole identificare la presenza di un jammer. A tal fine sono stati implementati i seguenti classificatori binari: support vector machine (SVM), multilayer perceptron (MLP), spectrum guarding e autoencoder. Questi algoritmi di apprendimento automatico dipendono dalle features che ricevono in ingresso, per questo motivo è stata posta particolare attenzione alla loro scelta. A tal fine, sono state confrontate le accuratezze ottenute dai detector addestrati utilizzando differenti tipologie di informazione come: i segnali grezzi nel tempo, le statistical features, le trasformate wavelet e lo spettro ciclico. I pattern prodotti dall’estrazione di queste features dai segnali satellitari possono avere dimensioni elevate, quindi, prima della detection, vengono utilizzati i seguenti algoritmi per la riduzione della dimensionalità: principal component analysis (PCA) e linear discriminant analysis (LDA). Lo scopo di tale processo non è quello di eliminare le features meno rilevanti, ma combinarle in modo da preservare al massimo l’informazione, evitando problemi di overfitting e underfitting. Le simulazioni numeriche effettuate hanno evidenziato come lo spettro ciclico sia in grado di fornire le features migliori per la detection producendo però pattern di dimensioni elevate, per questo motivo è stato necessario l’utilizzo di algoritmi di riduzione della dimensionalità. In particolare, l'algoritmo PCA è stato in grado di estrarre delle informazioni migliori rispetto a LDA, le cui accuratezze risentivano troppo del tipo di jammer utilizzato nella fase di addestramento. Infine, l’algoritmo che ha fornito le prestazioni migliori è stato il Multilayer Perceptron che ha richiesto tempi di addestramento contenuti e dei valori di accuratezza elevati.

Valutazione delle tecniche di parallelizzazione nell'addestramento di una CNN per la diagnostica del cancro al seno.

Il cancro è un processo autosufficiente e adattivo che interagisce dinamicamente con il suo microambiente, la cui diagnosi, complessa e dispendiosa in termini di tempo e numero di specialisti impiegati, viene solitamente effettuata valutando l’imaging radiografico oppure effettuando un esame istologico. L'interpretazione di tali immagini risulta generalmente molto complessa, a questo scopo sarebbe molto utile poter addestrare un computer a comprendere tali immagini potendo di fatto affiancarsi allo specialista, senza sostituirlo, al momento della diagnosi. A questo scopo è possibile affidarsi alle tecniche di apprendimento automatico, sistema alla base dell’intelligenza artificiale (AI), le quali permettono di fatto di apprendere automaticamente la rappresentazione delle caratteristiche da immagini campione. Tali tecniche di intelligenza artificiale, hanno però bisogno, per essere addestrate, di grandi quantità di dati in cui il segnale di uscita desiderato è noto, comportando di fatto un aumento delle tempistiche di addestramento. Inoltre, in ambito sanitario, i dati sono distribuiti su più archivi, dislocati sul territorio nazionale, rendendo impossibile l’utilizzo di soluzioni centralizzate. L’obbiettivo di questa trattazione sarà cercare di trovare una soluzione a queste due problematiche, ricorrendo all’utilizzo delle tecniche di parallelizzazione. A seguito dell'introduzione dello scenario biologico e delle tecniche di diagnostica ad esso associato è presentato il percorso di creazione della rete neurale. A seguito del suo addestramento sulla GPU di una singola macchina, ottenendo un'accuratezza dell'83.94% in 5 ore 48 minuti e 43 secondi, è stata introdotto la parallelizzazione ed una sua implementazione. In conclusione, sfruttando il sistema implementato, è stata distribuita la fase di addestramento prima su due macchine e poi su tre, ottenendo una diminuzione del tempo di addestramento rispettivamente del 31.4% e del 50%.