Elastic computing on Cloud resources for the CMS experiment

Nowadays, data handling and data analysis in High Energy Physics requires a vast amount of computational power and storage. In particular, the world-wide LHC Com- puting Grid (LCG), an infrastructure and pool of services developed and deployed by a ample community of physicists and computer scientists, has demonstrated to be a game changer in the efficiency of data analyses during Run-I at the LHC, playing a crucial role in the Higgs boson discovery. Recently, the Cloud computing paradigm is emerging and reaching a considerable adoption level by many different scientific organizations and not only. Cloud allows to access and utilize not-owned large computing resources shared among many scientific communities. Considering the challenging requirements of LHC physics in Run-II and beyond, the LHC computing community is interested in exploring Clouds and see whether they can provide a complementary approach - or even a valid alternative - to the existing technological solutions based on Grid. In the LHC community, several experiments have been adopting Cloud approaches, and in particular the experience of the CMS experiment is of relevance to this thesis. The LHC Run-II has just started, and Cloud-based solutions are already in production for CMS. However, other approaches of Cloud usage are being thought of and are at the prototype level, as the work done in this thesis. This effort is of paramount importance to be able to equip CMS with the capability to elastically and flexibly access and utilize the computing resources needed to face the challenges of Run-III and Run-IV. The main purpose of this thesis is to present forefront Cloud approaches that allow the CMS experiment to extend to on-demand resources dynamically allocated as needed. Moreover, a direct access to Cloud resources is presented as suitable use case to face up with the CMS experiment needs. Chapter 1 presents an overview of High Energy Physics at the LHC and of the CMS experience in Run-I, as well as preparation for Run-II. Chapter 2 describes the current CMS Computing Model, and Chapter 3 provides Cloud approaches pursued and used within the CMS Collaboration. Chapter 4 and Chapter 5 discuss the original and forefront work done in this thesis to develop and test working prototypes of elastic extensions of CMS computing resources on Clouds, and HEP Computing “as a Service”. The impact of such work on a benchmark CMS physics use-cases is also demonstrated.

Implementazione di una infrastruttura basata su Kafka e Storm per il Mobile Cloud computing

Lo scopo dell'elaborato di tesi è l'analisi, progettazione e sviluppo di un prototipo di una infrastruttura cloud in grado di gestire un grande flusso di eventi generati da dispositivi mobili. Questi utilizzano informazioni come la posizione assunta e il valore dei sensori locali di cui possono essere equipaggiati al fine di realizzare il proprio funzionamento. Le informazioni così ottenute vengono trasmesse in modo da ottenere una rete di device in grado di acquisire autonomamente informazioni sull'ambiente ed auto-organizzarsi. La costruzione di tale struttura si colloca in un più ampio ambito di ricerca che punta a integrare metodi per la comunicazione ravvicinata con il cloud al fine di permettere la comunicazione tra dispositivi vicini in qualsiasi situazione che si potrebbe presentare in una situazione reale. A definire le specifiche della infrastruttura e quindi a impersonare il ruolo di committente è stato il relatore, Prof. Mirko Viroli, mentre lo sviluppo è stato portato avanti da me e dal correlatore, Ing. Pietro Brunetti. Visti gli studi precedenti riguardanti il cloud computing nell'area dei sistemi complessi distribuiti, Brunetti ha dato il maggiore contributo nella fase di analisi del problema e di progettazione mentre la parte riguardante la effettiva gestione degli eventi, le computazioni in cloud e lo storage dei dati è stata maggiormente affrontata da me. In particolare mi sono occupato dello studio e della implementazione del backend computazionale, basato sulla tecnologia Apache Storm, della componente di storage dei dati, basata su Neo4j, e della costruzione di un pannello di visualizzazione basato su AJAX e Linkurious. A questo va aggiunto lo studio su Apache Kafka, utilizzato come tecnologia per realizzare la comunicazione asincrona ad alte performance tra le componenti. Si è reso necessario costruire un simulatore al fine di condurre i test per verificare il funzionamento della infrastruttura prototipale e per saggiarne l'effettiva scalabilità, considerato il potenziale numero di dispositivi da sostenere che può andare dalle decine alle migliaia. La sfida più importante riguarda la gestione della vicinanza tra dispositivi e la possibilità di scalare la computazione su più macchine. Per questo motivo è stato necessario far uso di tecnologie per l'esecuzione delle operazioni di memorizzazione, calcolo e trasmissione dei dati in grado di essere eseguite su un cluster e garantire una accettabile fault-tolerancy. Da questo punto di vista i lavori che hanno portato alla costruzione della infrastruttura sono risultati essere un'ottima occasione per prendere familiarità con tecnologie prima sconosciute. Quasi tutte le tecnologie utilizzate fanno parte dell'ecosistema Apache e, come esposto all'interno della tesi, stanno ricevendo una grande attenzione da importanti realtà proprio in questo periodo, specialmente Apache Storm e Kafka. Il software prodotto per la costruzione della infrastruttura è completamente sviluppato in Java a cui si aggiunge la componente web di visualizzazione sviluppata in Javascript.

Virtualizzazione di funzioni di rete su piattaforme per cloud computing

Questo documento affronta le novità ed i vantaggi introdotti nel mondo delle reti di telecomunicazioni dai paradigmi di Software Defined Networking e Network Functions Virtualization, affrontandone prima gli aspetti teorici, per poi applicarne i concetti nella pratica, tramite casi di studio gradualmente più complessi. Tali innovazioni rappresentano un'evoluzione dell'architettura delle reti predisposte alla presenza di più utenti connessi alle risorse da esse offerte, trovando quindi applicazione soprattutto nell'emergente ambiente di Cloud Computing e realizzando in questo modo reti altamente dinamiche e programmabili, tramite la virtualizzazione dei servizi di rete richiesti per l'ottimizzazione dell'utilizzo di risorse. Motivo di tale lavoro è la ricerca di soluzioni ai problemi di staticità e dipendenza, dai fornitori dei nodi intermedi, della rete Internet, i maggiori ostacoli per lo sviluppo delle architetture Cloud. L'obiettivo principale dello studio presentato in questo documento è quello di valutare l'effettiva convenienza dell'applicazione di tali paradigmi nella creazione di reti, controllando in questo modo che le promesse di aumento di autonomia e dinamismo vengano rispettate. Tale scopo viene perseguito attraverso l'implementazione di entrambi i paradigmi SDN e NFV nelle sperimentazioni effettuate sulle reti di livello L2 ed L3 del modello OSI. Il risultato ottenuto da tali casi di studio è infine un'interessante conferma dei vantaggi presentati durante lo studio teorico delle innovazioni in analisi, rendendo esse una possibile soluzione futura alle problematiche attuali delle reti.

Tecniche di resource discovery nel grid computing

In questa tesi vengono analizzate le principali tecniche di Resource Discovery in uso nei sistemi di Grid Computing, valutando i principali vantaggi e svantaggi di ogni soluzione. Particolare attenzione verrà riposta sul Resource Discovery ad Agenti, che si propone come architettura capace di risolvere in maniera definitiva i classici problemi di queste reti. All'interno dell'elaborato, inoltre, ogni tecnica presentata verrà arricchita con una sua implementazione pratica: tra queste, ricordiamo MDS, Chord e l'implementazione Kang.

Integration of Internet of Things and Cloud computing. A case study on vital signs monitoring.

Il progresso scientifico e le innovazioni tecnologiche nei campi dell'elettronica, informatica e telecomunicazioni, stanno aprendo la strada a nuove visioni e concetti. L'obiettivo della tesi è quello d'introdurre il modello del Cloud computing per rendere possibile l'attuale visione di Internet of Thing. Nel primo capitolo si introduce Ubiquitous computing come un nuovo modo di vedere i computer, cercando di fare chiarezza sulla sua definizione, la sua nascita e fornendo un breve quadro storico. Nel secondo capitolo viene presentata la visione di Internet of Thing (Internet delle “cose”) che si avvale di concetti e di problematiche in parte già considerate con Ubiquitous computing. Internet of Thing è una visione in cui la rete Internet viene estesa agli oggetti di tutti i giorni. Tracciare la posizione degli oggetti, monitorare pazienti da remoto, rilevare dati ambientali sono solo alcuni esempi. Per realizzare questo tipo di applicazioni le tecnologie wireless sono da considerare necessarie, sebbene questa visione non assuma nessuna specifica tecnologia di comunicazione. Inoltre, anche schede di sviluppo possono agevolare la prototipazione di tali applicazioni. Nel terzo capitolo si presenta Cloud computing come modello di business per utilizzare su richiesta risorse computazionali. Nel capitolo, vengono inizialmente descritte le caratteristiche principali e i vari tipi di modelli di servizio, poi viene argomentato il ruolo che i servizi di Cloud hanno per Internet of Thing. Questo modello permette di accelerare lo sviluppo e la distribuzione di applicazioni di Internet of Thing, mettendo a disposizione capacità di storage e di calcolo per l'elaborazione distribuita dell'enorme quantità di dati prodotta da sensori e dispositivi vari. Infine, nell'ultimo capitolo viene considerato, come esempio pratico, l'integrazione di tecnologie di Cloud computing in una applicazione IoT. Il caso di studio riguarda il monitoraggio remoto dei parametri vitali, considerando Raspberry Pi e la piattaforma e-Health sviluppata da Cooking Hacks per lo sviluppo di un sistema embedded, e utilizzando PubNub come servizio di Cloud per distribuire i dati ottenuti dai sensori. Il caso di studio metterà in evidenza sia i vantaggi sia le eventuali problematiche che possono scaturire utilizzando servizi di Cloud in applicazioni IoT.

Evoluzione delle user interface: dalla metafora del desktop al Wearable Computing

Negli ultimi decenni abbiamo assistito ad una graduale evoluzione delle interfacce utente e della tecnologia. Sono stati introdotti nuovi dispositivi mobile e wearable che negli ultimi anni hanno subito un incremento tecnologico esponenziale arrivando a fondersi con la vita di tutti i giorni. Le classiche interfacce grafiche WIMP, la metafora del desktop e le linee guida di progettazione fino ad ora sviluppate non risultano ideali per la nuova tecnologia di wearable computing. Il proposito che la tesi vuole andare ad affrontare è proprio quello di indagare lo sviluppo di nuove user inteface basate sulla tecnologia wearable ed in particolare per smart glasses.

Elasticity in Cloud Computing: Tecnologia e applicazione aziendale presso Onit

Il Cloud Computing permette di utilizzare al meglio le risorse distribuite allo scopo di risolvere problemi di computazione su larga scala, e viene distribuito dai provider all'utente finale sotto forma di servizio. Presentati i diversi modelli di distribuzione dei servizi Cloud, si discutono le varie tipologie di servizi offerti. Efficaci meccanismi di elasticità e scalabilità hanno permesso al Cloud Computing di superare lo scoglio iniziale di utilizzo medio dei server al 10%. L'elasticità (rapid elasticity) è l’abilità di acquisire e rilasciare le risorse di un'infrastruttura Cloud su richiesta, l’abilità di un'applicazione di cambiare le sue dimensione durante il suo tempo di esecuzione; la scalabilità è un prerequisito per ottenere una buona elasticità per il sistema, ed è l'abilità che ha un layer di sostenere carichi di lavoro variabili continuando ad adempiere agli obblighi imposti dallo SLA allocando o disallocando risorse computazionali. Le diverse modalità di scaling e il loro utilizzo determinano la scalabilità e di conseguenza l'elasticità del sistema, e sfruttano la virtualizzazione per poter funzionare. Ciò ha portato notevoli benefici perchè aumenta l'utilizzo dei server, migliora l'efficienza del sistema, e dona flessibilità in caso di errori massimizzando il tempo di funzionamento. Sono stati introdotti due esempi di sistemi elastici basati ovviamente sulla virtualizzazione come Amazon Web Services e Microsoft Azure, che dominano il mercato del Cloud Computing e fanno uso dei più efficenti meccanismi d'elasticità. Il cuore di questo elaborato è l'analisi dell'ampliamento dell'adozione del Cloud Computing in azienda Onit Group srl. L'obiettivo è trattare i punti fondamentali per il Cloud Computing, analizzarli e immagazzinare tutte queste conoscenze per analizzare lo stato attuale del Cloud nell'azienda focalizzando l'attenzione sui vantaggi e sugli svantaggi che un sostanziale ampliamento dell'adozione ai sistemi Cloud poteva apportare.

Scalable and Seamless Discovery and Selection of Services in Mobile Cloud Computing

Mobile devices are now capable of supporting a wide range of applications, many of which demand an ever increasing computational power. To this end, mobile cloud computing (MCC) has been proposed to address the limited computation power, memory, storage, and energy of such devices. An important challenge in MCC is to guarantee seamless discovery of services. To this end, this thesis proposes an architecture that provides user-transparent and low-latency service discovery, as well as automated service selection. Experimental results on a real cloud computing testbed demonstrated that the proposed work outperforms state of-the-art approaches by achieving extremely low discovery delay.

Studio di Augmented World come Paradigma di Progettazione di Sistemi basati su Realtà Aumentata e Pervasive Computing - Verso la Definizione di un Modello

L’obiettivo della tesi è definire un modello che permetta di realizzare applicazioni che integrino diverse tecnologie come la realtà aumentata, pervasive computing e Internet of Things. In particolare si analizza la nozione di "augmentation" che indica un’estensione e un arricchimento delle funzionalità e delle informazioni che possono essere percepite dai sensi umani e che può essere ritrovata, in modo diverso, nelle tecnologie trattate. A tal proposito, si introduce l’idea di augmented world, il cui scopo è quello di realizzare un livello aumentato collegato ad un livello fisico, attraverso il quale permettere l’interazione tra elementi virtuali ed elementi fisici. In seguito, tramite un'analisi tassonomica si vogliono individuare le caratteristiche ed i requisiti fondanti degli ambiti applicativi trattati per poter definire un modello che possa essere utilizzato come riferimento per le diverse tipologie di applicazioni. Infine il modello proposto è stato applicato a diversi casi di studio che spaziano tra i principali contesti applicativi in cui vengono utilizzate le tecnologie illustrate. La modellazione è fatta prescindendo da alcuni aspetti relativi alla comunicazione o alla sincronizzazione tra livello reale e livello aumentato, in quanto l’obiettivo è esporre una prima validazione del modello che permetta di riscontrarne l’adeguatezza ed eventuali limiti per una futura raffinazione.

Context-Aware Computing e Tecnologie Wearable

Quest' ultimo ventennio ha visto una vera e propria rivoluzione dei dispositivi, partendo dal computer desktop, passando ai laptop fino ad arrivare agli smartphone. Oggi giorno invece si parla di computer indossabili, i dispositivi stanno diventando sempre più piccoli e integrati in oggetti di moda come possono essere degli orologi, occhiali e orecchini.Questi sono connessi in rete con migliaia di dispositivi e con computer più grandi, con i quali, gli utenti nel corso della giornata interagiscono continuamente senza nemmeno rendersene conto scambiandosi migliaia di piccole informazioni: quando si cammina per strada, in centro città quando si fanno compere, quando si è in casa a guardare la TV. Questo ha portato quindi alla nascita di una nuova tipologia di sistemi, in risposta ai cambiamenti portati da questa rivoluzione, i così detti "Sistemi Context-Aware".Il context di un utente può essere descritto come la relazione che vi è tra i suoi dispositivi elettronici, e l' ambiente che lo circonda, a seconda di dove si trova esso dovrà dare delle risposte opportune, e compiere quindi autonomamente certe azioni, tal volta ad insaputa dell' utente. Le applicazioni che usano quindi questo sistema, vengono continuamente messe a conoscenza dei cambiamenti che vengono apportati all' ambiente circostante, regolandosi e reagendo di conseguenza in autonomia. Ad esempio, il nostro dispositivo scopre tramite la rete, la presenza di un amico nelle vicinanze, mentre stiamo passeggiano per strada, allora potrebbe inviarci un messaggio mostrandoci chi è, e dove si trova, con il tragitto da percorrere per raggiungerlo. Le migliaia di informazioni che vengono quindi scambiate in rete andranno a creare “un ambiente intelligente”, con il quale gli utenti interagiscono inviando informazioni sul proprio conto, senza nemmeno accorgersene, in modo da avere una risposta personalizzata, da parte dell' ambiente.

Retrieval simulations of the vertical profiles of water vapour and other chemical species in the Martian atmosphere using PACS

Water vapour, despite being a minor constituent in the Martian atmosphere with its precipitable amount of less than 70 pr. μm, attracts considerable attention in the scientific community because of its potential importance for past life on Mars. The partial pressure of water vapour is highly variable because of its seasonal condensation onto the polar caps and exchange with a subsurface reservoir. It is also known to drive photochemical processes: photolysis of water produces H, OH, HO2 and some other odd hydrogen compounds, which in turn destroy ozone. Consequently, the abundance of water vapour is anti-correlated with ozone abundance. The Herschel Space Observatory provides for the first time the possibility to retrieve vertical water profiles in the Martian atmosphere. Herschel will contribute to this topic with its guaranteed-time key project called "Water and related chemistry in the solar system". Observations of Mars by Heterodyne Instrument for the Far Infrared (HIFI) and Photodetector Array Camera and Spectrometer (PACS) onboard Herschel are planned in the frame of the programme. HIFI with its high spectral resolution enables accurate observations of vertically resolved H2O and temperature profiles in the Martian atmosphere. Unlike HIFI, PACS is not capable of resolving the line-shape of molecular lines. However, our present study of PACS observations for the Martian atmosphere shows that the vertical sensitivity of the PACS observations can be improved by using multiple-line observations with different line opacities. We have investigated the possibility of retrieving vertical profiles of temperature and molecular abundances of minor species including H2O in the Martian atmosphere using PACS. In this paper, we report that PACS is able to provide water vapour vertical profiles for the Martian atmosphere and we present the expected spectra for future PACS observations. We also show that the spectral resolution does not allow the retrieval of several studied minor species, such as H2O2, HCl, NO, SO2, etc.