Studio e Sperimentazione di Algoritmi di Reinforcement Learning Applicati a Video Game

Nella prima parte del mio lavoro viene presentato uno studio di una prima soluzione "from scratch" sviluppata da Andrew Karpathy. Seguono due miei miglioramenti: il primo modificando direttamente il codice della precedente soluzione e introducendo, come obbiettivo aggiuntivo per la rete nelle prime fasi di gioco, l'intercettazione della pallina da parte della racchetta, migliorando l'addestramento iniziale; il secondo é una mia personale implementazione utilizzando algoritmi più complessi, che sono allo stato dell'arte su giochi dell'Atari, e che portano un addestramento molto più veloce della rete.

Analisi di log files prodotti dal sistema StoRM usato dall’esperimento ATLAS attraverso algoritmi di clustering

L'esperimento ATLAS, come gli altri esperimenti che operano al Large Hadron Collider, produce Petabytes di dati ogni anno, che devono poi essere archiviati ed elaborati. Inoltre gli esperimenti si sono proposti di rendere accessibili questi dati in tutto il mondo. In risposta a questi bisogni è stato progettato il Worldwide LHC Computing Grid che combina la potenza di calcolo e le capacità di archiviazione di più di 170 siti sparsi in tutto il mondo. Nella maggior parte dei siti del WLCG sono state sviluppate tecnologie per la gestione dello storage, che si occupano anche della gestione delle richieste da parte degli utenti e del trasferimento dei dati. Questi sistemi registrano le proprie attività in logfiles, ricchi di informazioni utili agli operatori per individuare un problema in caso di malfunzionamento del sistema. In previsione di un maggiore flusso di dati nei prossimi anni si sta lavorando per rendere questi siti ancora più affidabili e uno dei possibili modi per farlo è lo sviluppo di un sistema in grado di analizzare i file di log autonomamente e individuare le anomalie che preannunciano un malfunzionamento. Per arrivare a realizzare questo sistema si deve prima individuare il metodo più adatto per l'analisi dei file di log. In questa tesi viene studiato un approccio al problema che utilizza l'intelligenza artificiale per analizzare i logfiles, più nello specifico viene studiato l'approccio che utilizza dell'algoritmo di clustering K-means.

Modello di ottimizzazione per l’analisi di più comunità energetiche nella stessa rete di distribuzione con diversi fornitori

La tesi descrive un modello AIMMS di ottimizzazione dei flussi di potenza tra gli utenti di una comunità energetica rinnovabile. Il modello considera la presenza nella stessa rete di distribuzione di più comunità energetiche. Ogni utente può scegliere un fornitore diverso dagli altri anche se partecipa ad una comunità. Sono considerati generatori fotovoltaici e sistemi di accumulo. Per i carichi sono stati generati profili tipici di utenze domestiche. Il modello è in grado di valutare i prezzi delle transazioni di energia interne a ciascuna comunità, in base alle tariffe orarie dei fornitori di energia. Per la rete di distribuzione test IEEE a 123 nodi, la tesi presenta una analisi di sensitività al variare della taglia dei sistemi di accumulo, della potenza di picco dei generatori fotovoltaici, della potenza richiesta dai carichi, del numero di comunità energetiche e dei fornitori.

Miglioramento della qualità di algoritmi di face morphing generation

L'obiettivo principale di questo lavoro di tesi è quello di migliorare gli algoritmi di morphing generation in termini di qualità visiva e di potenzialità di attacco dei sistemi automatici di riconoscimento facciale.

Percorsi tecnico-gestionali di ottimizzazione del processo di riciclo delle automobili a fine vita

La Direttiva 2000/53/CE sui veicoli fuori uso (VFU) stabilisce, entro il 2015, l’obiettivo di reimpiegare e riciclare almeno l’85% in peso del VFU e di reimpiegare e recuperare almeno il 95% in peso del VFU. Sebbene la media europea superi entrambi i target, nel 2019 l’Italia ha raggiunto l’84.2% sia per reimpiego e riciclo che per reimpiego e recupero, non essendo utilizzato il recupero energetico. Obiettivo di questa tesi, realizzata in collaborazione con un impianto di frantumazione, è stato quello di studiare nuove metodologie di gestione dei VFU in modo da diminuire la produzione di car fluff, smaltito in discarica, e incrementare i tassi di riciclo. Nello specifico, è stato chiesto a due autodemolitori di selezionare un campione di 10 VFU da sottoporre a messa in sicurezza e demolizione secondo step precisi di promozione al riciclaggio, compresa la separazione di sedili e cruscotti. Una volta eseguiti i test di frantumazione su pacchi auto, sedili e cruscotti, sono state effettuate analisi merceologiche e chimico-fisiche su alcuni flussi in uscita e sono stati calcolati i tassi di reimpiego, riciclo e smaltimento. Per entrambi i campioni è stato raggiunto l’obiettivo di reimpiego e riciclo, superando di circa un punto percentuale i valori del 2019. Il fluff ottenuto dalla frantumazione dei sedili non rispetta i parametri per poter essere classificato come CSS-combustibile; uno sviluppo futuro potrebbe essere quello di diminuire la concentrazione di cloro, antimonio, nichel e rame, per potere permettere di recuperare tale frazione e aumentare i target di riciclo.

Sviluppo ed applicazione di un modello di ottimizzazione per la gestione di una rete di Simbiosi Industriale

Nell’attuale contesto competitivo, sempre più alla ricerca di un incontro tra esigenze di natura economica e logiche di Sostenibilità Ambientale e di Economia Circolare (E.C.), questo elaborato si pone l’obiettivo di presentare un modello matematico, formulato per la simulazione e la conseguente ottimizzazione di una rete logistica gestita con logiche di Simbiosi Industriale (S.I.). Lo scopo di tale modello è fungere da supporto all’adozione di pratiche di S.I. in un determinato contesto territoriale, attraverso l’individuazione delle sinergie ottime, tra quelle considerate possibili, in grado di ridurre la produzione di rifiuti, a favore del riutilizzo di sottoprodotti e materie prime seconde, minimizzando il costo totale del sistema. Preliminarmente alla presentazione del modello, sarà descritto il contesto in cui la S.I. si colloca e i suoi collegamenti con i concetti di Ecologia Industriale (E.I.) ed E.C., verranno distinti i vari modelli esistenti di S.I. ed i casi di successo presenti nel contesto italiano ed europeo, e sarà illustrato l’attuale inquadramento normativo. In seguito, verranno descritti nel dettaglio il modello matematico e un caso studio, dimensionato allo scopo di validare il modello stesso. Fase particolarmente critica del lavoro è risultata essere quella relativa alla raccolta dati da inserire nel caso studio, in quanto informazioni sensibili e di conseguenza non facilmente reperibili. I risultati ottenuti dimostrano come possa risultare conveniente, dal punto di vista economico, l’adozione di pratiche di S.I. negli scambi tra realtà industriali, e in che modo tale convenienza muti al variare delle condizioni economiche al contorno.

Sviluppo di Algoritmi di Localizzazione 3D Passiva per UAVs

Gli UAV, o meglio conosciuti come ‘droni’, sono aeromobili a pilotaggio remoto il cui utilizzo si estende dal settore militare a quello civile. Quest’ultimi, possono essere attrezzati con numerosi dispositivi accessori, come ad esempio disturbatori di frequenze. La simbiosi UAV-jammer attacca le comunicazioni wireless tramite interferenze a radiofrequenza, per degradare o interrompere il servizio offerto dalle reti. Questo elaborato, si concentra sull’analisi di algoritmi di localizzazione passiva, per stimare la posizione dell’UAV e interrompere l’interferenza. Inizialmente, viene descritto il segnale emesso dall’UAV, che utilizza lo standard di comunicazione 802.11a. A seguire, dato che la localizzazione passiva si basa sulle misure TDOA rilevate da una stazione di monitoraggio a terra, vengono presentati tre algoritmi di stima TDOA, tra i quali fast TDOA, adaptive threshold-based first tap detection e un algoritmo sviluppato per i nuovi sistemi GNSS. Successivamente, vengono esaminati tre algoritmi di localizzazione passiva, che sfruttano il principio dei minimi quadrati (LS), ovvero il CTLS, LCLS e CWLS. Infine, le prestazioni degli algoritmi di localizzazione vengono valutate in un ambiente di simulazione realistico, con canale AWGN o con canale ITU Extended pedestrian A.

Sviluppo e ottimizzazione di algoritmi per predire la risposta alla terapia di resincronizzazione cardiaca

La necessità di indagine sul fronte dell’insufficienza cardiaca deriva dall’elevato impatto sociale della patologia, non soltanto per l’effetto invalidante sulla condizione del paziente che ne è affetto, bensì anche per la notevole incidenza sui servizi sanitari nazionali, per l’importante valore di mortalità e morbilità che ne è associato. Il numero di ospedalizzazioni per scompenso cardiaco è consistente; ciò rende ragione dell’elevato assorbimento di risorse dovuto a questa patologia. Il razionale dell’impiego della Terapia di Resincronizzazione Cardiaca (CRT) consiste nella correzione della dissincronia cardiaca come causa di disfunzione meccanica atriale e ventricolare. Il metodo analitico sviluppato origina dalle indagini sugli spostamenti dell’elettrocatetere posizionato in Seno Coronarico, sulla base del fatto che il sito di stimolazione risulta un fattore determinante per la buona risposta alla terapia. Dovendo studiare le posizioni nel tempo del catetere, si è pensato di valutarne le variazioni nel periodo pre e post attivazione della CRT ricostruendone la traiettoria in 3D. Lo studio parametrico di quest’ultima ha permesso di individuare un indice predittore della risposta alla CRT al follow-up a sei mesi. La prosecuzione della ricerca presentata ha l’intento di migliorare gli algoritmi di elaborazione dei dati per rendere più robuste le misure, sfruttando tecniche che possano aumentare riproducibilità, ripetibilità, e ininfluenza rispetto alla variabilità delle condizioni analitiche. Sviluppando nuovi modelli si è eliminata l'interazione dell'operatore nelle fasi d'indagine, rendendo le analisi completamente automatiche. I metodi sono stati testati e applicati.

Procedure di Programmazione Dinamica per Determinare le K Migliori Soluzioni del Knapsack Problem 0-1 e dello Shortest Path Problem

In questa tesi viene trattata la problematica di determinare le migliori K soluzioni per due problemi di ottimizzazione, il Knapsack Problem 0-1 e lo Shortest Path Problem. Tali soluzioni possono essere impiegate all'interno di metodi di column generation per la risoluzione di problemi reali, ad esempio Bin Packing Problems e problemi di scheduling di veicoli ed equipaggi. Sono stati implementati, per verificarne sperimentalmente le prestazioni, nuovi algoritmi di programmazione dinamica, sviluppati nell’ambito di un programma di ricerca. Inizialmente, per entrambi i problemi, è stato descritto un algoritmo che determinasse le migliori K soluzioni per ogni possibile sottoproblema; partendo da uno zaino con capacità nulla, nel caso del Knapsack Problem 0-1, e dalla determinazione di un cammino dal vertice sorgente in se stesso per lo Shortest Path Problem, l’algoritmo determina le migliori soluzioni di sottoproblemi via via sempre più grandi, utilizzando le soluzioni costruite per gli stati precedenti, fino a ottenere le migliori soluzioni del problema globale. Successivamente, è stato definito un algoritmo basato su un approccio di ricorsione backward; in questo caso si utilizza una funzione ricorsiva che, chiamata a partire dallo stato corrispondente al problema globale, viene richiamata solo sugli stati intermedi strettamente necessari, e per ognuno di essi non vengono determinate soluzioni superflue.

Rassegna di strutture dati e algoritmi per l'indicizzazione di basi di dati.

La frenetica evoluzione sociale e culturale, data dal crescente e continuo bisogno di conoscenza dell’uomo, ha portato oggi a navigare in un oceano sconfinato di dati e informazioni. Esse assumono una propria peculiare importanza, un valore sia dal punto di vista del singolo individuo, sia all’interno di un contesto sociale e di un settore di riferimento specifico e concreto. La conseguente mutazione dell’interazione e della comunicazione a livello economico della società, ha portato a parlare oggi di economia dell’informazione. In un contesto in cui l’informazione rappresenta la risorsa principale per l’attività di crescita e sviluppo economico, è fondamentale possedere la più adeguata strategia organizzativa per la gestione dei dati grezzi. Questo per permetterne un’efficiente memorizzazione, recupero e manipolazione in grado di aumentare il valore dell’organizzazione che ne fa uso. Un’informazione incompleta o non accurata può portare a valutazioni errate o non ottimali. Ecco quindi la necessità di gestire i dati secondo specifici criteri al fine di creare un proprio vantaggio competitivo. La presente rassegna ha lo scopo di analizzare le tecniche di ottimizzazione di accesso alle basi di dati. La loro efficiente implementazione è di fondamentale importanza per il supporto e il corretto funzionamento delle applicazioni che ne fanno uso: devono garantire un comportamento performante in termini di velocità, precisione e accuratezza delle informazioni elaborate. L’attenzione si focalizzerà sulle strutture d’indicizzazione di tipo gerarchico: gli alberi di ricerca. Verranno descritti sia gli alberi su dati ad una dimensione, sia quelli utilizzati nel contesto di ricerche multi dimensionali (come, ad esempio, punti in uno spazio). L’ingente sforzo per implementare strutture di questo tipo ha portato gli sviluppatori a sfruttare i principi di ereditarietà e astrazione della programmazione ad oggetti al fine di ideare un albero generalizzato che inglobasse in sé tutte le principali caratteristiche e funzioni di una struttura di indicizzazione gerarchica, così da aumentarne la riusabilità per i più particolari utilizzi. Da qui la presentazione della struttura GiST: Generalized Search Tree. Concluderà una valutazione dei metodi d’accesso esposti nella dissertazione con un riepilogo dei principali dati relativi ai costi computazionali, vantaggi e svantaggi.

Analisi ed ottimizzazione di un convertitore multilivello per sistemi fotovoltaici multistringa connessi alla rete

Durante il lavoro di tesi si è analizzato e sviluppato un convertitore trifase multilivello di nuova generazione per l'allacciamento di un campo fotovoltaico multistringa alla rete elettrica. Si sono quindi studiati gli algoritmi di controllo di questa tipologia di inverter e sono state proposte soluzioni ad alcune delle più importanti problematiche incontrate in fase di sviluppo.

L'utilizzo di algoritmi genetici nel progetto preliminare di un velivolo

Il progetto di un velivolo risulta essere un processo multidisciplinare molto complesso. Per poter determinare una configurazione di variabili che permetta di soddisfare i requisiti che si desiderano ottenere dal velivolo, sono necessarie una serie di stime che richiedono altrettanti cicli di analisi delle caratteristiche, prima di poter ottenere una configurazione completa o accettabile. Il processo di progetto richiede, così, un gran numero di iterazioni per poter trovare la migliore configurazione. In questo lavoro di tesi verranno descritti gli strumenti di ottimizzazione noti come algoritmi genetici e verrà presentato come questi possano essere inquadrati all'interno della fase preliminare del progetto di un velivolo.

Valutazione della qualità delle immagini e della dose in multi-slice computed tomography per l'ottimizzazione dei protocolli clinici che impiegano sistemi di modulazione automatica

In questo studio ci siamo proposti di investigare i sistemi di modulazione automatica della dose sui sistemi TC Multislice (Automatic Exposure Control – AEC) da tre diversi produttori, aventi differenti indicatori di qualità delle immagini. Il presente lavoro è stato svolto presso il Servizio di Fisica Sanitaria dell’Azienda Ospedaliera Universitaria - Policlinico Sant’Orsola-Malpighi di Bologna e consiste in un’analisi quantitativa della dose impiegata durante esami di Tomografia Computerizzata Multi-Slice (TCMS) e delle rispettive immagini radiologiche. Le immagini sono state acquisite con : GE LightSpeed VCT 64 e GE LightSpeed 16 (AEC AutomA 3D longitudinale e angolare), Siemens Sensation 16 (AEC CARE Dose 4D combinato), Philips Brilliance 16 e iCT 64 (separati in AEC ZDOM longitudinale e AEC DDOM angolare). Le acquisizioni TCMS sono state effettuate a differenti kV e mA di riferimento, al fine di investigarne gli effetti sulla modulazione, impiegando algoritmi di ricostruzione standard presenti su ogni macchina. Due fantocci antropomorfi simulanti la zona del torace e dell’addome sono stati utilizzati per simulare un paziente standard posizionato come in un esame clinico di routine ; a questo proposito, sono stati impiegati protocolli elicoidali standard con e senza modulazione. Sono inoltre stati testati differenti valori di indice di qualità delle immagini. Il profilo dei mA lungo la lunghezza è stato ottenuto utilizzando ImageJ, un programma open source comunemente utilizzato per l’elaborazione di immagini; i mAs sono stati normalizzati ad un fattore che tiene conto delle differenti geometrie e delle filtrazioni dei diversi scanner tomografici analizzati nell’esperienza. Il rumore è stato valutato tramite la scelta di determinate ROI (Region Of Interest) localizzate in aree il più possibili uniformi disponibili lungo i fantocci. Abbiamo registrato che una variazione del Noise Index o dei mAs di riferimento a seconda della tipologia di macchina analizzata risulta in uno shift dei profili di dose; lo stesso si è verificato quando sono stati cambiato kV o mA nella scout di acquisizione. Sistemi AEC longitudinali e combinati hanno mostrato profili di mAs normalizzati simili tra loro, con valori elevati evidenziati nella zona delle spalle e zona pelvi; sono state osservate differenze del 30-40% tra i differenti scanner tomografici. Solo in un caso di macchina analizzata si è verificato un comportamento opposto rispetto alle altre due tipologie di macchina in esame. A dispetto della differente natura dei sistemi AEC, i risultati ottenuti dai protocolli combinati e longitudinali sono simili tra loro. Il rumore presente nelle immagini è aumentato ad un livello accettabile e la sua uniformità lungo la direzione di scan è migliorata.

Algoritmi per la stima del rumore nella ricostruzione di immagini

In questa tesi viene analizzato un metodo di regolarizzazione nel quale il problema di regolarizzazione è formulato come un problema di ottimizzazione vincolata. In questa formulazione è fondamentale il termine noto del vincolo, parametro per il quale dipende la bontà della ricostruzione, che corrisponde ad una stima della norma del rumore sul dato. Il contributo della tesi è l'analisi di un algoritmo proposto per stimare il rumore in applicazioni di image deblurring utilizzando la decomposizione in valori singolari dell'operatore che descrive il blur. Sono stati fatti numerosi test per valutare sia i parametri dell'algoritmo di stima che l'efficacia della stima ottenuta quando è inserita nel termine noto del vincolo del problema di ottimizzazione per la ricostruzione dell'immagine.

L'algoritmo bionomico per il Traveling Salesman Problem

In questa tesi viene presentato un nuovo metaeuristico per la risoluzione del Traveling Salesman Problem (TSP) simmetrico. Tale metodo, detto algoritmo bionomico, è una variante dell'algoritmo genetico che usa un metodo innovativo di generazione del parents set. Nella tesi vengono proposti diversi metodi di crossover specifici per il TSP ma che possono essere facilmente estesi per altri problemi di ottimizzazione combinatoria. Tali metodi sono stati sperimentati su un insieme di problemi test, i risultati computazionali mostrano l'efficienza dei metodi proposti. In particolare uno dei metodi domina gli altri sia per la miglior qualità delle soluzioni prodotte che per il minor tempo di calcolo impiegato.