Sviluppo di algoritmi di grid data clustering basati su metodi statistici

Lo scopo del clustering è quindi quello di individuare strutture nei dati significative, ed è proprio dalla seguente definizione che è iniziata questa attività di tesi , fornendo un approccio innovativo ed inesplorato al cluster, ovvero non ricercando la relazione ma ragionando su cosa non lo sia. Osservando un insieme di dati ,cosa rappresenta la non relazione? Una domanda difficile da porsi , che ha intrinsecamente la sua risposta, ovvero l’indipendenza di ogni singolo dato da tutti gli altri. La ricerca quindi dell’indipendenza tra i dati ha portato il nostro pensiero all’approccio statistico ai dati , in quanto essa è ben descritta e dimostrata in statistica. Ogni punto in un dataset, per essere considerato “privo di collegamenti/relazioni” , significa che la stessa probabilità di essere presente in ogni elemento spaziale dell’intero dataset. Matematicamente parlando , ogni punto P in uno spazio S ha la stessa probabilità di cadere in una regione R ; il che vuol dire che tale punto può CASUALMENTE essere all’interno di una qualsiasi regione del dataset. Da questa assunzione inizia il lavoro di tesi, diviso in più parti. Il secondo capitolo analizza lo stato dell’arte del clustering, raffrontato alla crescente problematica della mole di dati, che con l’avvento della diffusione della rete ha visto incrementare esponenzialmente la grandezza delle basi di conoscenza sia in termini di attributi (dimensioni) che in termini di quantità di dati (Big Data). Il terzo capitolo richiama i concetti teorico-statistici utilizzati dagli algoritimi statistici implementati. Nel quarto capitolo vi sono i dettagli relativi all’implementazione degli algoritmi , ove sono descritte le varie fasi di investigazione ,le motivazioni sulle scelte architetturali e le considerazioni che hanno portato all’esclusione di una delle 3 versioni implementate. Nel quinto capitolo gli algoritmi 2 e 3 sono confrontati con alcuni algoritmi presenti in letteratura, per dimostrare le potenzialità e le problematiche dell’algoritmo sviluppato , tali test sono a livello qualitativo , in quanto l’obbiettivo del lavoro di tesi è dimostrare come un approccio statistico può rivelarsi un’arma vincente e non quello di fornire un nuovo algoritmo utilizzabile nelle varie problematiche di clustering. Nel sesto capitolo saranno tratte le conclusioni sul lavoro svolto e saranno elencati i possibili interventi futuri dai quali la ricerca appena iniziata del clustering statistico potrebbe crescere.

Studi di data popularity nell'analisi distribuita su Grid dell'esperimento CMS a LHC

L’esperimento CMS a LHC ha raccolto ingenti moli di dati durante Run-1, e sta sfruttando il periodo di shutdown (LS1) per evolvere il proprio sistema di calcolo. Tra i possibili miglioramenti al sistema, emergono ampi margini di ottimizzazione nell’uso dello storage ai centri di calcolo di livello Tier-2, che rappresentano - in Worldwide LHC Computing Grid (WLCG)- il fulcro delle risorse dedicate all’analisi distribuita su Grid. In questa tesi viene affrontato uno studio della popolarità dei dati di CMS nell’analisi distribuita su Grid ai Tier-2. Obiettivo del lavoro è dotare il sistema di calcolo di CMS di un sistema per valutare sistematicamente l’ammontare di spazio disco scritto ma non acceduto ai centri Tier-2, contribuendo alla costruzione di un sistema evoluto di data management dinamico che sappia adattarsi elasticamente alle diversi condizioni operative - rimuovendo repliche dei dati non necessarie o aggiungendo repliche dei dati più “popolari” - e dunque, in ultima analisi, che possa aumentare l’“analysis throughput” complessivo. Il Capitolo 1 fornisce una panoramica dell’esperimento CMS a LHC. Il Capitolo 2 descrive il CMS Computing Model nelle sue generalità, focalizzando la sua attenzione principalmente sul data management e sulle infrastrutture ad esso connesse. Il Capitolo 3 descrive il CMS Popularity Service, fornendo una visione d’insieme sui servizi di data popularity già presenti in CMS prima dell’inizio di questo lavoro. Il Capitolo 4 descrive l’architettura del toolkit sviluppato per questa tesi, ponendo le basi per il Capitolo successivo. Il Capitolo 5 presenta e discute gli studi di data popularity condotti sui dati raccolti attraverso l’infrastruttura precedentemente sviluppata. L’appendice A raccoglie due esempi di codice creato per gestire il toolkit attra- verso cui si raccolgono ed elaborano i dati.

Tecniche di resource discovery nel grid computing

In questa tesi vengono analizzate le principali tecniche di Resource Discovery in uso nei sistemi di Grid Computing, valutando i principali vantaggi e svantaggi di ogni soluzione. Particolare attenzione verrà riposta sul Resource Discovery ad Agenti, che si propone come architettura capace di risolvere in maniera definitiva i classici problemi di queste reti. All'interno dell'elaborato, inoltre, ogni tecnica presentata verrà arricchita con una sua implementazione pratica: tra queste, ricordiamo MDS, Chord e l'implementazione Kang.

Ottimizzazione stocastica di una microrete con tecnologia "vehicle-to-grid"

La presente tesi ha come obiettivo quello di sviluppare un modello per la gestione ottimizzata delle unità di generazione e di accumulo di una microrete elettrica. La tesi analizza, come caso studio di riferimento, una microrete contenente impianti di generazione da fonti rinnovabili, sistemi di accumulo a batteria (BES:Battery Energy System) e stazioni di ricarica per veicoli elettrici. In particolare le stazioni di ricarica sono a flusso bidirezionale, in grado di fornire servizi di tipo "grid-to-vehicle"(G2V) e "vehicle-to-grid" (V2G). Il modello consente di definire, come sistema di dispacciamento centrale, le potenze che le varie risorse distribuite devono erogare o assorbire nella rete nelle 24 ore successive. Il dispacciamento avviene mediante risoluzione di un problema di minimizzazione dei costi operativi e dell'energia prelevata dalla rete esterna. Il problema è stato formulato tramite l'approccio di programmazione stocastica lineare dove i parametri incerti del modello sono modellizzati tramite processi stocastici. L'implementazione del modello è stata effettuata tramite il software AIMMS, un programma di ottimizzazione che prevede al suo interno delle funzionalità specifiche per la programmazione stocastica

Implementazione di un simulatore per determinare la degradazione delle batterie nella partecipazione al Grid Support

L'elaborato descrive l'esperienza di tirocinio svolta nell'azienda Vertiv, dove è stato chiesto di realizzare un simulatore per il calcolo della degradazione delle batterie nella partecipazione al Grid Support. Nella prima parte viene illustrato il panorama energetico attuale, descrivendo il funzionamento generale di un sistema elettrico. Successivamente vengono descritti i gruppi di continuità e le loro modalità di funzionamento. A questo si collega la descrizione dei prodotti dell'azienda che verranno considerati nel simulatore. Vengono descritti i servizi di Grid Support che un cliente può scegliere al fine di ottenere un uso ottimale dell'energia elettrica, e quindi un risparmio, e quelli che aiutano la rete a bilanciare le variazioni di frequenza. Vi è inoltre una descrizione delle batterie, le loro caratteristiche e i parametri fondamentali di questa modalità di immagazzinamento dell'energia. Vengono riportate le principali tipologie delle batterie al Litio, essendo queste quelle utilizzate all'interno del simulatore. L'ultimo capitolo riguarda la descrizione del simulatore; vengono riportate le caratteristiche delle batterie considerate, divise a seconda del fornitore. Il simulatore è diviso in due parti, una chiamata "Frequency Regulation", l'altra "Peak Shaving". Nella prima vengono mostrati i dati di input che possono essere cambiati, la degradazione delle batterie collegata ai servizi FFR e FCR-D, i possibili guadagni che un cliente potrebbe ottenere nel momento in cui firma un contratto per partecipare ad un programma di variazione della frequenza, a seconda del mercato elettrico scelto. Nella seconda i dati di input, la degradazione delle batterie e i possibili risparmi associati al servizio Peak Shaving. Infine vengono riportati degli scenari di esempio per mostrare come un ipotetico cliente possa giocare con i dati di input e confrontare i risultati ottenuti allo scopo di ottenere la miglior soluzione possibile.

Integrating mobile devices into a scalable Grid Computing architecture designed to perform distributed computations

The idea of Grid Computing originated in the nineties and found its concrete applications in contexts like the SETI@home project where a lot of computers (offered by volunteers) cooperated, performing distributed computations, inside the Grid environment analyzing radio signals trying to find extraterrestrial life. The Grid was composed of traditional personal computers but, with the emergence of the first mobile devices like Personal Digital Assistants (PDAs), researchers started theorizing the inclusion of mobile devices into Grid Computing; although impressive theoretical work was done, the idea was discarded due to the limitations (mainly technological) of mobile devices available at the time. Decades have passed, and now mobile devices are extremely more performant and numerous than before, leaving a great amount of resources available on mobile devices, such as smartphones and tablets, untapped. Here we propose a solution for performing distributed computations over a Grid Computing environment that utilizes both desktop and mobile devices, exploiting the resources from day-to-day mobile users that alternatively would end up unused. The work starts with an introduction on what Grid Computing is, the evolution of mobile devices, the idea of integrating such devices into the Grid and how to convince device owners to participate in the Grid. Then, the tone becomes more technical, starting with an explanation on how Grid Computing actually works, followed by the technical challenges of integrating mobile devices into the Grid. Next, the model, which constitutes the solution offered by this study, is explained, followed by a chapter regarding the realization of a prototype that proves the feasibility of distributed computations over a Grid composed by both mobile and desktop devices. To conclude future developments and ideas to improve this project are presented.