Investigation of petabyte-scale data transfer performances with PhEDEx for the CMS experiment

PhEDEx, the CMS transfer management system, during the first LHC Run has moved about 150 PB and currently it is moving about 2.5 PB of data per week over the Worldwide LHC Computing Grid (WLGC). It was designed to complete each transfer required by users at the expense of the waiting time necessary for its completion. For this reason, after several years of operations, data regarding transfer latencies has been collected and stored into log files containing useful analyzable informations. Then, starting from the analysis of several typical CMS transfer workflows, a categorization of such latencies has been made with a focus on the different factors that contribute to the transfer completion time. The analysis presented in this thesis will provide the necessary information for equipping PhEDEx in the future with a set of new tools in order to proactively identify and fix any latency issues. PhEDEx, il sistema di gestione dei trasferimenti di CMS, durante il primo Run di LHC ha trasferito all’incirca 150 PB ed attualmente trasferisce circa 2.5 PB di dati alla settimana attraverso la Worldwide LHC Computing Grid (WLCG). Questo sistema è stato progettato per completare ogni trasferimento richiesto dall’utente a spese del tempo necessario per il suo completamento. Dopo svariati anni di operazioni con tale strumento, sono stati raccolti dati relativi alle latenze di trasferimento ed immagazzinati in log files contenenti informazioni utili per l’analisi. A questo punto, partendo dall’analisi di una ampia mole di trasferimenti in CMS, è stata effettuata una suddivisione di queste latenze ponendo particolare attenzione nei confronti dei fattori che contribuiscono al tempo di completamento del trasferimento. L’analisi presentata in questa tesi permetterà di equipaggiare PhEDEx con un insieme di utili strumenti in modo tale da identificare proattivamente queste latenze e adottare le opportune tattiche per minimizzare l’impatto sugli utenti finali.

Implementazione Libreria C per il Multiple Testing correction

Nell'era genomica moderna, la mole di dati generata dal sequenziamento genetico è diventata estremamente elevata. L’analisi di dati genomici richiede l’utilizzo di metodi di significatività statistica per quantificare la robustezza delle correlazioni individuate nei dati. La significatività statistica ci permette di capire se le relazioni nei dati che stiamo analizzando abbiano effettivamente un peso statistico, cioè se l’evento che stiamo analizzando è successo “per caso” o è effettivamente corretto pensare che avvenga con una probabilità utile. Indipendentemente dal test statistico utilizzato, in presenza di test multipli di verifica (“Multiple Testing Hypothesis”) è necessario utilizzare metodi per la correzione della significatività statistica (“Multiple Testing Correction”). Lo scopo di questa tesi è quello di rendere disponibili le implementazioni dei più noti metodi di correzione della significatività statistica. È stata creata una raccolta di questi metodi, sottoforma di libreria, proprio perché nel panorama bioinformatico moderno non è stato trovato nulla del genere.

Analisi dei comportamenti degli utenti per lo sviluppo di un sistema di App Recommendation

Negli ultimi cinque anni lo sviluppo di applicazioni mobile ha visto un grandissimo incremento dovuto pricipalmente all’esplosione della diffusione di smartphone; questo fenomeno ha reso disponibile agli analisti una enorme quantità di dati sulle abitudini degli utenti. L’approccio centralizzato nella distribuzione delle applicazioni da parte dei grandi provider quali Apple, Google e Microsoft ha permesso a migliaia di sviluppatori di tutto il mondo di raggiungere con i loro prodotti gli utenti finali e diffondere l’utilizzo di applicativi installabili; le app infatti sono diventate in poco tempo fondamentali nella vita di tutti i giorni e in alcuni casi hanno sostituito funzioni primarie del telefono cellulare. Obiettivo principale di questo studio sarà inferire pattern comportamentali dall’analisi di una grossa mole di dati riguardanti l’utilizzo dello smartphone e delle app installabili da parte di un gruppo di utenti. Ipotizzando di avere a disposizione tutte le azioni che un determinato bacino di utenza effettua nella selezione delle applicazioni di loro interesse quando accedono al marketplace (luogo digitale da cui è possibile scaricare nuove applicazioni ed installarle) è possibile stimare, ovviamente con un certo margine di errore, dati sensibili dell’utente quali: Sesso, Età, Interessi e così via analizzandoli in relazione ad un modello costruito su dati di un campione di utenti ben noto. Costruiremo così un modello utilizzando dati di utenti ben noti di cui conosciamo i dettagli sensibili e poi, tramite avanzate tecniche di regressione e classificazione saremo in grado di definire se esiste o meno una correlazione tra le azioni effettuate su uno Smartphone e il profilo dell’utente. La seconda parte della tesi sarà incentrata sull'analisi di sistemi di raccomandazioni attualmente operativi e ci concentreremo sullo studio di possibili sviluppi sviluppi futuri di questi sistemi partendo dai risultati sperimentali ottenuti.

The use of mobile single-sided NMR for the diagnosis of osteoporosis: a preliminary study

Una nuova ed originale tecnica è stata messa a punto, finalizzata alla realizzazione di una procedura per la diagnosi dell’osteoporosi, mediante l’utilizzo di scanner low field single-sided NMR. Tre differenti scanner (NMR MOLE, MOUSE PM 10 e MOUSE PM5) sono stati usati per determinare il Bone Volume-to-Total Volume ratio (BV/TV), parametro che fornisce indicazioni sulla microstruttura dell’osso. I risultati sono stati confrontati con le analisi micro-CT. Gli esperimenti sono stati condotti nel Lab. NMR del dipartimento DIFA di UNIBO e nel Lab. NMR della Victoria University di Wellington (NZ), durante un periodo di visita di cinque mesi, supportato da una borsa di studio della “Facoltà di Scienze” di UNIBO. Le analisi micro-CT sono state condotte presso il Lab. di Tecnologie Mediche dell’Istituto Ortopedico Rizzoli, Bologna. La ricerca è stata parzialmente finanziata dalla “Fondazione del Monte di Bologna e Ravenna”. La caratterizzazione dell’osso trabecolare di campioni animali e dei tessuti che lo circondano (come cartilagine e muscolo) è stata condotta tramite mappe di correlazione T1-T2 e D-T2 , dove T1 e T2 sono, rispettivamente, il tempo di rilassamento longitudinale e trasversale del nucleo 1H, e D è il coefficiente di autodiffusione molecolare. E’ stata sviluppata una sequenza di impulsi (Diffusion-Weighted T1-T2) per ottenere mappe T1-T2 pesate in diffusione. I risultati hanno consentito di mettere a punto una procedura che elimina il segnale NMR proveniente da cartilagine e muscolo, rendendo più realistico lo scenario di applicazione in-vivo. I tre diversi dispositivi NMR hanno dato risultati consistenti tra loro e con le immagini micro-CT. L’intera catena di esperimenti condotti ha mostrato che dispositivi NMR single-sided possono essere usati per valutare il BV/TV di ossa trabecolari, con il vantaggio di essere portatili, a basso costo e non invasivi, permettendo campagne di screening della popolazione a rischio osteoporosi.

Smart City e Analisi di Big Data da Tracce Vodafone di Dispositivi Mobili

I dispositivi mobili, dagli smartphone ai tablet, sono entrati a far parte della nostra quotidianità. Controllando l’infrastruttura delle comunicazioni, rispetto a qualsiasi altro settore, si ha un maggiore accesso a informazioni relative alla geo-localizzazione degli utenti e alle loro interazioni. Questa grande mole di informazioni può aiutare a costruire città intelligenti e sostenibili, che significa modernizzare ed innovare le infrastrutture, migliorare la qualità della vita e soddisfare le esigenze di cittadini, imprese e istituzioni. Vodafone offre soluzioni concrete nel campo dell’info-mobilità consentendo la trasformazione delle nostre città in Smart City. Obiettivo della tesi e del progetto Proactive è cercare di sviluppare strumenti che, a partire da dati provenienti dalla rete mobile Vodafone, consentano di ricavare e di rappresentare su cartografia dati indicanti la presenza dei cittadini in determinati punti d’interesse, il profilo di traffico di determinati segmenti viari e le matrici origine/destinazione. Per fare questo verranno prima raccolti e filtrati i dati della città di Milano e della regione Lombardia provenienti dalla rete mobile Vodafone per poi, in un secondo momento, sviluppare degli algoritmi e delle procedure in PL/SQL che siano in grado di ricevere questo tipo di dato, di analizzarlo ed elaborarlo restituendo i risultati prestabiliti. Questi risultati saranno poi rappresentati su cartografia grazie a QGis e grazie ad una Dashboard aziendale interna di Vodafone. Lo sviluppo delle procedure e la rappresentazione cartografica dei risultati verranno eseguite in ambiente di Test e se i risultati soddisferanno i requisiti di progetto verrà effettuato il porting in ambiente di produzione. Grazie a questo tipo di soluzioni, che forniscono dati in modalità anonima e aggregata in ottemperanza alle normative di privacy, le aziende di trasporto pubblico, ad esempio, potranno essere in grado di gestire il traffico in modo più efficiente.

Progettazione di Data Warehouse di dati genomici su piattaforma Hadoop

Negli ultimi anni la biologia ha fatto ricorso in misura sempre maggiore all’informatica per affrontare analisi complesse che prevedono l’utilizzo di grandi quantità di dati. Fra le scienze biologiche che prevedono l’elaborazione di una mole di dati notevole c’è la genomica, una branca della biologia molecolare che si occupa dello studio di struttura, contenuto, funzione ed evoluzione del genoma degli organismi viventi. I sistemi di data warehouse sono una tecnologia informatica che ben si adatta a supportare determinati tipi di analisi in ambito genomico perché consentono di effettuare analisi esplorative e dinamiche, analisi che si rivelano utili quando si vogliono ricavare informazioni di sintesi a partire da una grande quantità di dati e quando si vogliono esplorare prospettive e livelli di dettaglio diversi. Il lavoro di tesi si colloca all’interno di un progetto più ampio riguardante la progettazione di un data warehouse in ambito genomico. Le analisi effettuate hanno portato alla scoperta di dipendenze funzionali e di conseguenza alla definizione di una gerarchia nei dati. Attraverso l’inserimento di tale gerarchia in un modello multidimensionale relativo ai dati genomici sarà possibile ampliare il raggio delle analisi da poter eseguire sul data warehouse introducendo un contenuto informativo ulteriore riguardante le caratteristiche dei pazienti. I passi effettuati in questo lavoro di tesi sono stati prima di tutto il caricamento e filtraggio dei dati. Il fulcro del lavoro di tesi è stata l’implementazione di un algoritmo per la scoperta di dipendenze funzionali con lo scopo di ricavare dai dati una gerarchia. Nell’ultima fase del lavoro di tesi si è inserita la gerarchia ricavata all’interno di un modello multidimensionale preesistente. L’intero lavoro di tesi è stato svolto attraverso l’utilizzo di Apache Spark e Apache Hadoop.

Modello di simulazione del processo di gestione ordini e di outbound in linguaggio Arena

La tesi ha l'obiettivo di analizzare e tradurre in un modello di simulazione il processo di evasione di ordini dal sito di stoccaggio di un’azienda di e-commerce al fine di valutarne le possibili evoluzioni. In prima analisi sono stati evidenziati i principali motivi che spingono i clienti a preferire gli store online rispetto a quelli fisici e come alcuni dei vantaggi siano il frutto dell’efficienza della gestione dell’outbound. Si è passati, quindi, all’esame del caso di studio, alla scomposizione delle singole fasi di lavorazione degli ordini e alla loro traduzione in linguaggio Arena. Il modello ottenuto è stato valutato grazie alla comparazione dei risultati di statistiche automatiche e manuali, frutto della simulazione, con i dati reali. La fase finale ha riguardato, invece, la valutazione in termini di efficienza di una possibile evoluzione del sistema che consiste nell’introduzione di un robot addetto al packing: il modello è stato modificato e le statistiche del caso as-is sono state confrontate con quelle frutto della nuova simulazione. Con i dati utilizzati è stato dimostrato come un unico robot garantisca prestazioni superiori rispetto allo stato attuale e risulti più che sufficiente per la mole di lavoro di una giornata tipo. Nei periodi dell’anno caratterizzati da un aumento esponenziale degli acquisti, tuttavia, potrebbe essere necessario affiancare alla soluzione automatica quella manuale.

Progettazione e prototipazione di un sistema di Data Stream Processing basato su Apache Storm

Con l’avvento di Internet, il numero di utenti con un effettivo accesso alla rete e la possibilità di condividere informazioni con tutto il mondo è, negli anni, in continua crescita. Con l’introduzione dei social media, in aggiunta, gli utenti sono portati a trasferire sul web una grande quantità di informazioni personali mettendoli a disposizione delle varie aziende. Inoltre, il mondo dell’Internet Of Things, grazie al quale i sensori e le macchine risultano essere agenti sulla rete, permette di avere, per ogni utente, un numero maggiore di dispositivi, direttamente collegati tra loro e alla rete globale. Proporzionalmente a questi fattori anche la mole di dati che vengono generati e immagazzinati sta aumentando in maniera vertiginosa dando luogo alla nascita di un nuovo concetto: i Big Data. Nasce, di conseguenza, la necessità di far ricorso a nuovi strumenti che possano sfruttare la potenza di calcolo oggi offerta dalle architetture più complesse che comprendono, sotto un unico sistema, un insieme di host utili per l’analisi. A tal merito, una quantità di dati così vasta, routine se si parla di Big Data, aggiunta ad una velocità di trasmissione e trasferimento altrettanto alta, rende la memorizzazione dei dati malagevole, tanto meno se le tecniche di storage risultano essere i tradizionali DBMS. Una soluzione relazionale classica, infatti, permetterebbe di processare dati solo su richiesta, producendo ritardi, significative latenze e inevitabile perdita di frazioni di dataset. Occorre, perciò, far ricorso a nuove tecnologie e strumenti consoni a esigenze diverse dalla classica analisi batch. In particolare, è stato preso in considerazione, come argomento di questa tesi, il Data Stream Processing progettando e prototipando un sistema bastato su Apache Storm scegliendo, come campo di applicazione, la cyber security.

Business Process Management and Process Mining within a Real Business Environment: An Empirical Analysis of Event Logs Data in a Consulting Project

Il presente elaborato esplora l’attitudine delle organizzazioni nei confronti dei processi di business che le sostengono: dalla semi-assenza di struttura, all’organizzazione funzionale, fino all’avvento del Business Process Reengineering e del Business Process Management, nato come superamento dei limiti e delle problematiche del modello precedente. All’interno del ciclo di vita del BPM, trova spazio la metodologia del process mining, che permette un livello di analisi dei processi a partire dagli event data log, ossia dai dati di registrazione degli eventi, che fanno riferimento a tutte quelle attività supportate da un sistema informativo aziendale. Il process mining può essere visto come naturale ponte che collega le discipline del management basate sui processi (ma non data-driven) e i nuovi sviluppi della business intelligence, capaci di gestire e manipolare l’enorme mole di dati a disposizione delle aziende (ma che non sono process-driven). Nella tesi, i requisiti e le tecnologie che abilitano l’utilizzo della disciplina sono descritti, cosi come le tre tecniche che questa abilita: process discovery, conformance checking e process enhancement. Il process mining è stato utilizzato come strumento principale in un progetto di consulenza da HSPI S.p.A. per conto di un importante cliente italiano, fornitore di piattaforme e di soluzioni IT. Il progetto a cui ho preso parte, descritto all’interno dell’elaborato, ha come scopo quello di sostenere l’organizzazione nel suo piano di improvement delle prestazioni interne e ha permesso di verificare l’applicabilità e i limiti delle tecniche di process mining. Infine, nell’appendice finale, è presente un paper da me realizzato, che raccoglie tutte le applicazioni della disciplina in un contesto di business reale, traendo dati e informazioni da working papers, casi aziendali e da canali diretti. Per la sua validità e completezza, questo documento è stata pubblicato nel sito dell'IEEE Task Force on Process Mining.