A Reinforcement Learning Agent for Distributed Task Allocation

Al giorno d'oggi il reinforcement learning ha dimostrato di essere davvero molto efficace nel machine learning in svariati campi, come ad esempio i giochi, il riconoscimento vocale e molti altri. Perciò, abbiamo deciso di applicare il reinforcement learning ai problemi di allocazione, in quanto sono un campo di ricerca non ancora studiato con questa tecnica e perchè questi problemi racchiudono nella loro formulazione un vasto insieme di sotto-problemi con simili caratteristiche, per cui una soluzione per uno di essi si estende ad ognuno di questi sotto-problemi. In questo progetto abbiamo realizzato un applicativo chiamato Service Broker, il quale, attraverso il reinforcement learning, apprende come distribuire l'esecuzione di tasks su dei lavoratori asincroni e distribuiti. L'analogia è quella di un cloud data center, il quale possiede delle risorse interne - possibilmente distribuite nella server farm -, riceve dei tasks dai suoi clienti e li esegue su queste risorse. L'obiettivo dell'applicativo, e quindi del data center, è quello di allocare questi tasks in maniera da minimizzare il costo di esecuzione. Inoltre, al fine di testare gli agenti del reinforcement learning sviluppati è stato creato un environment, un simulatore, che permettesse di concentrarsi nello sviluppo dei componenti necessari agli agenti, invece che doversi anche occupare di eventuali aspetti implementativi necessari in un vero data center, come ad esempio la comunicazione con i vari nodi e i tempi di latenza di quest'ultima. I risultati ottenuti hanno dunque confermato la teoria studiata, riuscendo a ottenere prestazioni migliori di alcuni dei metodi classici per il task allocation.

Limiti e potenzialità della pirolisi analitica nella quantificazione delle microplastiche nell'ambiente

I rifiuti plastici, oggigiorno, rappresentano una grande minaccia per l’ambiente, per gli ecosistemi e per la salute umana, tanto da essere al centro della attenzione di numerosi studi. La preoccupazione maggiore è destata dalle microplastiche (frammenti di dimensioni inferiori ai 5 mm) che per la loro dimensione, la loro ubiquità e la loro lunga persistenza in ambiente possono interferire in maniera allarmante con gli organismi viventi. L’ampia gamma di dimensioni delle microplastiche e la natura complessa delle loro forme, colori e tipi di polimero hanno impedito ai ricercatori di sviluppare una classificazione coerente data anche dall'attuale assenza di una standardizzazione nel metodo di campionamento, preparazione e analisi del campione. Infatti lo studio di questa tipologia di inquinanti può essere effettuato mediante diverse metodologie analitiche sia di tipo spettroscopico che termico. Con questo studio si è cercato di valutare le potenzialità della pirolisi analitica (PyGCMS) per la quantificazione e identificazione di sei polimeri: PE, PP, PS, PET, PVC e PA. Tramite un attento confronto con la letteratura sono stati identificati alcuni punti critici nell'analisi quantitativa di alcuni polimeri in miscela. In particolare, la miscela PET/PA è risultata essere soggetta a grandi interferenze date dalla comparsa di prodotti pirolitici secondari che ne impediscono una corretta quantificazione. Inoltre un diverso rapporto dei polimeri nella miscela binaria va a modificare la risposta quantitativa rendendola non prevedibile. L’uso di derivatizzanti come agenti metilanti sembra ridurre alcuni effetti di interazione in pirolisi, ma non sembra essere così vantaggioso come riportato in altri studi. Complessivamente la pirolisi analitica risulta una tecnica applicabile alla identificazione e quantificazione delle microplastiche, ma emerge dallo studio una scarsa conoscenza in letteratura delle interazioni in fase pirolitica tra prodotti di pirolisi di diversi polimeri.

Compatibilizzazione di blend di acido poli-lattico/poli-caprolattone mediante copolimeri a blocchi di poli-metilmetacrilato e poli-p-vinilfenolo

La ricerca verso lo sviluppo di materiali nuovi con proprietà ad hoc per determinati scopi è da sempre al centro della comunità scientifica, la cui attenzione attualmente è particolarmente viva per i polimeri. La messa a punto di nuovi polimeri con proprietà differenti e sempre migliori è però molto costosa e dispendiosa in termini di tempistiche, spesso quindi si cerca di ottimizzare quelli già noti grazie anche alla caratteristica dei polimeri di poter formare delle leghe, o blend. Se due polimeri riescono a mescolarsi rendendo indistinguibili le fasi relative ai costituenti allora si ottiene un nuovo materiale con proprietà differenti da quelle delle sue componenti, chiamato blend omogeneo. Molto interessanti sono le leghe polimeriche di acido poli-lattico (PLA) e poli-ε-caprolattone (PCL). Il PLA è un polimero biodegradabile molto versatile dalle buone proprietà meccaniche. Il maggiore limite del PLA è dato, però, proprio dalla sua rigidità strutturale che lo rende anche fragile e poco duttile. Il PCL è un polimero biodegradabile molto flessibile e duttile, per questo è studiato come possibile tenacizzante per il PLA. Il blend PLA/PCL risulta essere eterogeneo e le fasi costituenti si separano. È stata quindi volta l’attenzione agli agenti compatibilizzanti, molecole che aggiunte ad un blend eterogeneo riescono ad aumentare la reciproca miscibilità dei materiali costituenti, formando un materiale omogeneo detto compatibilizzato. I migliori agenti compatibilizzanti sono dei copolimeri a blocchi, in cui un blocco sia miscibile con uno dei componenti polimerici del blend ed il secondo blocco con la restante componente. Lo scopo di questo lavoro di tesi è quello di sintetizzare possibili agenti compatibilizzanti che siano dei copolimeri costituiti da un blocco di unità ripetenti di metilmetacrilato e da uno di unità di p-vinilfenolo o di un suo derivato e verificarne l’efficacia nel compatibilizzare blend di PLA e PCL.

Progettazione, Sintesi e Caratterizzazione di nanoparticelle a base di HSA-MnO2 per la terapia multimodale del cancro

Una strategia promettente per potenziare l’efficacia di un trattamento antitumorale limitandone gli effetti collaterali sistemici e i fenomeni di resistenza, è quella di combinare, all’interno di un nanoveicolo, l’azione sinergica/additiva di diversi trattamenti terapeutici, come ad esempio la terapia fotodinamica (PDT) e l’immunoterapia. In questo lavoro di tesi sono state preparate nanoparticelle multimodali altamente biodegradabili e biocompatibili, a base di albumina umana (HSA) caricate con un pro-farmaco del paclitaxel (PTX), un agente chemioterapeutico approvato per il trattamento di diversi tumori solidi; una molecola fotosensibile, IR780, che illuminata a una specifica lunghezza d'onda, induce la formazione di specie radicaliche dell'ossigeno (ROS) e ossigeno di singoletto (1O2), in grado di uccidere le cellule malate; ed infine con Indoximod (IND), in grado di inibire un checkpoint immunitario, con azione indiretta sull’enzima indoleamine 2,3-dioxygenase (IDO-1). Le nanoparticelle sono poi state rivestite con un guscio di MnO2, per limitare l’ipossia caratteristica dell’ambiente tumorale, potenziando così l’azione citotossica. Le nanoparticelle ottenute sono state caratterizzate in termini di dimensioni, capacità di loading, stabilità in acqua e in ambiente fisiologico. Inoltre, mediante spettroscopia UV-vis, è stata studiata la capacità dell’IR780 di produrre specie reattive all’ossigeno (ROS). In futuro, saranno studiati i fenomeni di rilascio dei diversi agenti dalle nanoparticelle e sarà verificato se la presenza dell’ossido di manganese sia in grado di migliorare l’ossigenazione del microambiente tumorale.

Recupero di fibre di carbonio mediante pirogassificazione per la realizzazione di materiali di seconda generazione verso un modello di economia circolare

Lo scopo del presente elaborato di tesi è quello di ottimizzare il recupero, tramite pirogassificazione, delle fibre di carbonio derivanti da scarti e rifiuti di materiali compositi. Inoltre è stato valutato il riutilizzo delle fibre di carbonio riciclate per la produzione di materiali compositi di seconda generazione. Sono stati investigati diversi agenti di sizing per valutare un eventuale miglioramento dell'adesione fibra-matrice. Sulle singole fibre di carbonio riciclate è stata effettuata la caratterizzazione meccanica (prove a trazione) e morfologica (SEM). Inoltre, i materiali compositi realizzati sono stati caratterizzati meccanicamente (prove a trazione, a flessione e DMA), termicamente (TGA, DSC) e morfologicamente (SEM).

Sintesi e caratterizzazione di batterie tipo rocking chair basate sugli analoghi del blu di Prussia

La rapida espansione del mercato delle batterie incalza lo sviluppo di materiali elettrodici basati su elementi largamente disponibili sulla crosta terrestre, rispettosi dell'ambiente ed economicamente sostenibili. Nel presente elaborato si effettua lo studio di elettrodi basati sugli analoghi del blu di Prussia (PBA) come una classe di composti inorganici che presenta diverse proprietà elettrochimiche adatte per applicazioni legate all’energy storage. A tal riguardo, la sintesi del PBA ferro esacianocobaltato (FeHCC) è stata effettuata mediante un metodo di coprecipitazione semplice e poco costoso. L’utilizzo di tecniche analitiche quali XAS, PXRD, MP-AES e TGA ha permesso di ricavare la composizione del ferro esacianocobaltato, dell'esacianoferrato di titanio e del manganese esacianoferrato nonché diverse informazioni di carattere strutturale. In seguito, le prestazioni elettrochimiche degli elettrodi sono state valutate mediante voltammetria ciclica, utilizzando come agenti intercalanti gli ioni K+ e Na+ contenuti nel relativo elettrolita acquoso.Infine, grazie ai dati così ottenuti, è stato possibile assemblare e testare diversi layout di coin cell in configurazione rocking chair completamente basate su elettrodi PBA; anche in questo caso, la voltammetria ciclica e le tecniche galvanostatiche sono state utilizzate per valutare le prestazioni elettrochimiche e raccogliere informazioni sulla capacità gravimetrica ottenibile da questi dispositivi.

Indagine sull'effetto flangia in strutture esistenti in muratura tramite modellazione al continuo

Nell’ambito dello studio della vulnerabilità delle strutture in muratura la modellazione dei maschi murari e la conseguente verifica avviene convenzionalmente considerando tali partizioni come indipendenti, ovvero suddividendo, dapprima,i maschi murari a seconda della loro disposizione spaziale nei confronti della direzione della azione sismica e, successivamente, considerando il contributo dei maschi murari come agenti “in parallelo”.In tale scenario, la modellazione al continuo rende la definizione del singolo maschio murario non banale, in quanto tale tipologia di modellazione vede la geometria dell’edificio come un “unicum” strutturale.Questa dissertazione si prefigge di qualificare e quantificare le differenze scaturite dalla diversa suddivisione dei maschi e delle zone di interfaccia tra diverse pareti murarie, valutando il comportamento del maschio stesso in termini di taglio e sforzo normale ottenuti mediante un’analisi statica non lineare (Pushover). Due modelli ispirati a strutture reali sono analizzati a tal proposito: - Il prototipo testato nel 1994 nel Laboratorio dell’Università di Pavia (modello benchmark n°4). - La scuola “P.Capuzi” di Visso (MC), edificio monitorato permanentemente dall’Osservatorio Sismico delle Strutture del Dipartimento di Protezione Civile [3] e ad oggi demolito (modello benchmark n°5). Il lavoro qui presentato si inserisce in un più ampio programma di ricerca svolto in sinergia da varie unità coinvolte nel progetto ReLUIS 2017/2108 – Linea Strutture in Muratura [1][2] e avente come oggetto l’analisi di strutture benchmark per la valutazione dell’affidabilità di codici di calcolo. I modelli sono stati studiati eseguendo analisi di tipo statico non lineare (Pushover) con distribuzione di forze proporzionale alle masse.

Sostenibilità degli allevamenti di bovini da latte: valutazione degli impatti ambientali di un'azienda emiliana.

Il surriscaldamento globale è un fenomeno preoccupante ed è accertato che le attività umane sono responsabili di questa crisi climatica causata dall’aumento dei gas serra immessi nell’atmosfera. L’agricoltura contribuisce per il 23% delle emissioni planetarie di gas serra, che derivano per quasi l’80% dalla gestione degli allevamenti. L’allevamento è responsabile di diversi impatti ambientali, quali le emissioni enteriche delle bovine, le emissioni dalla fase di gestione delle deiezioni, e quelle che avvengono nella fase di coltivazione dei terreni aziendali, quali le emissioni di protossido di azoto dovute alle fertilizzazioni azotate e le emissioni derivanti dall’uso dei combustibili per le macchine agricole utilizzate per la gestione del bestiame, il consumo idrico, il consumo di energia per la climatizzazione estiva dell’allevamento e la produzione e lo smaltimento dei rifiuti plastici. Il rapporto però tra produzione di bestiame e cambiamento climatico è bilaterale. Infatti, i cambiamenti climatici influiscono negativamente sulla produzione zootecnica, con effetti diretti sulla salute animale e sull'efficienza riproduttiva, ma anche effetti indiretti derivanti dai cambiamenti nella qualità e quantità dei mangimi, disponibilità di acqua, alterazioni dell'ecosistema che portano a cambiamenti nella distribuzione di agenti patogeni e malattie. Proprio alla relazione, biunivoca, tra allevamento del bestiame ed impatto ambientale è dedicata la presente tesi. È stato infatti condotto uno studio con l'obiettivo di valutare gli impatti ambientali degli allevamenti di bovini da latte, sulla base di un modello di valutazione del ciclo di vita (Life Cycle Assessment) per un allevamento campione di un’azienda emiliana. I risultati emersi mostrano la possibilità di identificare gli impatti più rilevanti nell'allevamento bovino nei mangimi, negli imballaggi in plastica, nel consumo di energia e carburante.

Planning preoperatorio basato sulla ricostruzione di un avatar muscolo-scheletrico customizzato

L’obbiettivo dell’elaborato che segue è quello di fornire a medici e chirurghi uno strumento di valutazione dei trattamenti di cura, per pazienti affetti da malattie del sistema muscolo scheletrico e della deambulazione. Lo studio incomincia dall’analisi del movimento del paziente tramite strumenti di gate analysis. Impiegando come modello la ricostruzione dell’apparato muscolo scheletrico del paziente, tramite sistemi di modellazione 3Dda TAC (Tomografia Assiale Computerizzata) o risonanza magnetica, realizzando un modello personalizzato che verrà analizzato tramite il software OpenSim. Tramite lo studio del movimento andremo successivamente ad identificare le forze articolari agenti sul ginocchio e grazie alla modellazione FEM (Finite Element Method) verrà realizzato uno strumento di valutazione della strategia operatoria ottimale per il paziente, simulando l’operazione del ginocchio, che agisce sulle forze muscolari variando le forze agenti sull’articolazione e come queste variazioni modificano l’andamento delle tensioni nell’articolazione.

Autonomous Pricing using Policy-Gradient Reinforcement Learning

Nella letteratura economica e di teoria dei giochi vi è un dibattito aperto sulla possibilità di emergenza di comportamenti anticompetitivi da parte di algoritmi di determinazione automatica dei prezzi di mercato. L'obiettivo di questa tesi è sviluppare un modello di reinforcement learning di tipo actor-critic con entropy regularization per impostare i prezzi in un gioco dinamico di competizione oligopolistica con prezzi continui. Il modello che propongo esibisce in modo coerente comportamenti cooperativi supportati da meccanismi di punizione che scoraggiano la deviazione dall'equilibrio raggiunto a convergenza. Il comportamento di questo modello durante l'apprendimento e a convergenza avvenuta aiuta inoltre a interpretare le azioni compiute da Q-learning tabellare e altri algoritmi di prezzo in condizioni simili. I risultati sono robusti alla variazione del numero di agenti in competizione e al tipo di deviazione dall'equilibrio ottenuto a convergenza, punendo anche deviazioni a prezzi più alti.

Analisi di strategie computazionali per il gioco Forza4 generalizzato

L’Intelligenza Artificiale (IA), sin dalla sua introduzione, si è occupata dei giochi, ponendo l’attenzione a quelli detti a informazione perfetta e a somma zero e sequenziali (Tris, Scacchi e Forza4). Dalla Teoria dei Giochi è derivato il modello Minimax, che sfrutta l'albero di gioco per effettuare una ricerca in profondità allo scopo di minimizzare la massima perdita possibile per individuare la mossa migliore da giocare. Tuttavia, il limite di tale algoritmo risiede nel tempo necessario al calcolo (per alberi profondi e di grandi dimensioni) che, in alcuni casi, può essere considerevole. Per mitigare tale problema, è stato introdotta la proposta Alpha-Beta, che attua delle potature sull’albero di gioco grazie l’introduzione di due nuove variabili dette, appunto, alpha e beta. Tale approccio è stato ulteriormente migliorato ricorrendo all’utilizzo del concetto di funzione euristica e introducendo un limite di profondità al quale fermare la ricorsione del modello Alpha-Beta. Tale limite, tuttavia, determina il problema dell’effetto orizzonte, legato al fatto che fermarsi a una profondità intermedia dell’albero può portare l’algoritmo a non vedere delle alcune mosse migliori che possono situarsi nel sotto albero del nodo a cui si ferma la ricerca, appunto l’orizzonte. Ulteriori accorgimenti, come l'algoritmo ad approfondimento iterativo (Iterative Deepening) e il salvataggio degli stati di gioco in una tabella hash, possono ridurre in modo significativo il tempo di calcolo. Partendo da questi studi, sono stati sviluppati degli agenti software per ConnectX, un gioco sviluppato in Java a somma zero e a informazione perfetta come Forza4. Le implementazioni sono state testate su 39 diverse configurazioni di gioco, dimostrando che l'agente PlayerSoft risulta il più ottimale e che l'implementazione della funzione euristica rappresenta un buon compromesso tra complessità di calcolo e risultato atteso.

Calcolo strutturale tramite simulazione agli elementi finiti ed analisi delle criticità di macchinari della linea di prodotto Handling

Questa tesi si propone di analizzare due macchinari della linea di “Handling” della divisione Active di IMA S.p.A., ovvero la macchina “Cyclops” e la macchina “Hercules”. Per entrambe le macchine si vuole svolgere un’analisi completa dei rischi strutturali: si vogliono individuare, infatti, i componenti strutturalmente critici al fine di proporre migliorie e soluzioni per evitare problematiche o danneggiamenti alle macchine. Per l’individuazione delle criticità strutturali, la prima cosa effettuata è stata un’analisi del funzionamento dei macchinari, attraverso uno studio dei singoli componenti e dei loro montaggi, a cui è seguita un’analisi dei carichi e delle sollecitazioni agenti su entrambe le macchine in condizioni di lavoro standard. A valle di queste analisi è stato possibile, quindi, individuare i componenti maggiormente sollecitati e, con l’ausilio di un software di nome Creo Simulate, ovvero un’estensione del software PTC Creo, molto diffuso nell’ambito della progettazione 3D di componenti industriali, sono state eseguite delle simulazioni virtuali di calcolo agli elementi finiti. Dall’analisi dei risultati delle simulazioni eseguite al calcolatore si sono evidenziate le eventuali criticità di ogni componente proponendo modifiche di progettazione, sia in termini di modifica della geometria del componente, sia riguardo a possibili modifiche nella scelta dei materiali. In aggiunta alle simulazioni virtuali, per completezza d’analisi, sono state svolte anche analisi strutturali di tipo analitico per la verifica di collegamenti bullonati e collegamenti saldati e per la verifica a fatica di alberi in rotazione.

Tecniche di pianificazione automatica in giochi con regole dinamiche: sviluppo di un agente intelligente per la Keke Competition.

L'intelligenza artificiale (IA) trova nei giochi un campo di applicazione molto vasto, nel quale poter sperimentare svariate tecniche e proporre nuove stimolanti sfide che spingano i partecipanti ad esplorare nuovi orizzonti nell'ambito delle applicazioni di IA. La Keke AI Competition rappresenta una di queste sfide, introducendo una gara tra agenti intelligenti per il gioco Baba is You, puzzle game in cui i giocatori possono creare regole che influenzano le meccaniche del gioco in maniera temporanea o permanente. La natura di queste regole dinamiche crea una sfida per l'intelligenza artificiale, che deve adattarsi ad una varietà di combinazioni di meccaniche per risolvere un livello. Questo progetto di tesi si propone di realizzare un agente intelligente che possa idealmente partecipare alla competizione sfruttando tecniche di pianificazione automatica. In particolare, l'agente progettato si basa sull'algoritmo di pianificazione graphplan che opera a diversi livelli di astrazione posti in gerarchia tra loro ed è stato realizzato completamente in Prolog. Questo progetto mostra quindi come le tecniche di pianificazione automatica siano un valido strumento per risolvere alcune tipologie di giochi innovativi complessi nell'ambito dell'IA.

Tasso di fuga per perturbazioni aperte di sistemi dinamici caotici

Si dimostra che una classe di trasformazioni espandenti a tratti sull'intervallo unitario soddisfa le ipotesi di un teorema di analisi funzionale contenuto nell'articolo "Rare Events, Escape Rates and Quasistationarity: Some Exact Formulae" di G. Keller e C. Liverani. Si considera un sistema dinamico aperto, con buco di misura epsilon. Se al diminuire di epsilon i buchi costituiscono una famiglia decrescente di sottointervalli di I, e per epsilon che tende a zero essi tendono a un buco formato da un solo punto, allora il teorema precedente consente di dimostrare la differenziabilità del tasso di fuga del sistema aperto, visto come funzione della dimensione del buco. In particolare, si ricava una formula esplicita per l'espansione al prim'ordine del tasso di fuga .

Studio della struttura locale di droganti in quantum dots mediante spettroscopia di assorbimento di raggi X

La capacità della spettroscopia di assorbimento di riuscire a determinare la struttura locale di campioni di ogni tipo e concentrazione, dagli elementi puri ai più moderni materiali nanostrutturati, rende lo studio dei meccanismi di incorporazione di droganti in matrici di semiconduttori il campo che meglio ne esprime tutto il potenziale. Inoltre la possibilità di ottenere informazioni sulla struttura locale di un particolare elemento in traccia posto in sistemi senza ordine a lungo raggio risulta, ovviamente, nello studio dei semiconduttori di grandissimo interesse. Tuttavia, la complessità di determinate strutture, generate dalla incorporazione di elementi eterovalenti che ne modificano la simmetria, può far si che all’analisi sperimentale si debbano affiancare dei metodi avanzati ab-initio. Questi approcci garantiscono, attraverso la simulazione o di strutture atomiche o dello stesso spettro XAS, di ottenere una più completa e precisa interpretazione dei dati sperimentali. Nella fase preliminare di questo elaborato si illustrerà la fenomenologia della spettroscopia di assorbimento e i fondamenti teorici che stanno alla base dell’analisi della struttura fine di soglia. Si introdurranno contemporaneamente le tecniche sperimentali con cui si realizzano le misure di spettri di assorbimento su una beamline che sfrutta sorgente di radiazione di sincrotrone facendo riferimento agli strumenti montati sulla linea LISA (o BM08) presso l’European Synchrotron Radiation Facility di Grenoble su cui si sono realizzati gli esperimenti di questo lavoro. Successivamente si realizzerà una rassegna di alcuni esperimenti simbolo della analisi della struttura locale di droganti in semiconduttori mediante XAFS, andando ad approfondire i metodi sperimentali associati. Nella parte principale della tesi verranno descritti alcuni tipi di analisi avanzate effettuate su Colloidal Quantum Dots a base di solfuro di piombo drogati con antimonio. Tali sistemi, particolarmente interessanti per potenziali applicazioni in campo optoelettrico, sono stati analizzati mediante misure di fluorescenza ottenute sulla beamline LISA. La fase di analisi ha visto la progettazione di una suite di programmi in C++ per realizzare simulazioni di uno spettro XAS teorico completo basato su strutture ottenute (anche esse) da metodi ab-initio.