Analisi e valutazione della piattaforma Spark

Negli ultimi anni i dati, la loro gestione e gli strumenti per la loro analisi hanno subito una trasformazione. Si è visto un notevole aumento dei dati raccolti dagli utenti, che si aggira tra il 40 e il 60 percento annuo, grazie ad applicazioni web, sensori, ecc.. Ciò ha fatto nascere il termine Big Data, con il quale ci si riferisce a dataset talmente grandi che non sono gestibili da sistemi tradizionali, come DBMS relazionali in esecuzione su una singola macchina. Infatti, quando la dimensione di un dataset supera pochi terabyte, si è obbligati ad utilizzare un sistema distribuito, in cui i dati sono partizionati su più macchine. Per gestire i Big Data sono state create tecnologie che riescono ad usare la potenza computazionale e la capacità di memorizzazione di un cluster, con un incremento prestazionale proporzionale al numero di macchine presenti sullo stesso. Il più utilizzato di questi sistemi è Hadoop, che offre un sistema per la memorizzazione e l’analisi distribuita dei dati. Grazie alla ridondanza dei dati ed a sofisticati algoritmi, Hadoop riesce a funzionare anche in caso di fallimento di uno o più macchine del cluster, in modo trasparente all’utente. Su Hadoop si possono eseguire diverse applicazioni, tra cui MapReduce, Hive e Apache Spark. É su quest’ultima applicazione, nata per il data processing, che è maggiormente incentrato il progetto di tesi. Un modulo di Spark, chiamato Spark SQL, verrà posto in confronto ad Hive nella velocità e nella flessibilità nell’eseguire interrogazioni su database memorizzati sul filesystem distribuito di Hadoop.

Implementazione di una infrastruttura basata su Kafka e Storm per il Mobile Cloud computing

Lo scopo dell'elaborato di tesi è l'analisi, progettazione e sviluppo di un prototipo di una infrastruttura cloud in grado di gestire un grande flusso di eventi generati da dispositivi mobili. Questi utilizzano informazioni come la posizione assunta e il valore dei sensori locali di cui possono essere equipaggiati al fine di realizzare il proprio funzionamento. Le informazioni così ottenute vengono trasmesse in modo da ottenere una rete di device in grado di acquisire autonomamente informazioni sull'ambiente ed auto-organizzarsi. La costruzione di tale struttura si colloca in un più ampio ambito di ricerca che punta a integrare metodi per la comunicazione ravvicinata con il cloud al fine di permettere la comunicazione tra dispositivi vicini in qualsiasi situazione che si potrebbe presentare in una situazione reale. A definire le specifiche della infrastruttura e quindi a impersonare il ruolo di committente è stato il relatore, Prof. Mirko Viroli, mentre lo sviluppo è stato portato avanti da me e dal correlatore, Ing. Pietro Brunetti. Visti gli studi precedenti riguardanti il cloud computing nell'area dei sistemi complessi distribuiti, Brunetti ha dato il maggiore contributo nella fase di analisi del problema e di progettazione mentre la parte riguardante la effettiva gestione degli eventi, le computazioni in cloud e lo storage dei dati è stata maggiormente affrontata da me. In particolare mi sono occupato dello studio e della implementazione del backend computazionale, basato sulla tecnologia Apache Storm, della componente di storage dei dati, basata su Neo4j, e della costruzione di un pannello di visualizzazione basato su AJAX e Linkurious. A questo va aggiunto lo studio su Apache Kafka, utilizzato come tecnologia per realizzare la comunicazione asincrona ad alte performance tra le componenti. Si è reso necessario costruire un simulatore al fine di condurre i test per verificare il funzionamento della infrastruttura prototipale e per saggiarne l'effettiva scalabilità, considerato il potenziale numero di dispositivi da sostenere che può andare dalle decine alle migliaia. La sfida più importante riguarda la gestione della vicinanza tra dispositivi e la possibilità di scalare la computazione su più macchine. Per questo motivo è stato necessario far uso di tecnologie per l'esecuzione delle operazioni di memorizzazione, calcolo e trasmissione dei dati in grado di essere eseguite su un cluster e garantire una accettabile fault-tolerancy. Da questo punto di vista i lavori che hanno portato alla costruzione della infrastruttura sono risultati essere un'ottima occasione per prendere familiarità con tecnologie prima sconosciute. Quasi tutte le tecnologie utilizzate fanno parte dell'ecosistema Apache e, come esposto all'interno della tesi, stanno ricevendo una grande attenzione da importanti realtà proprio in questo periodo, specialmente Apache Storm e Kafka. Il software prodotto per la costruzione della infrastruttura è completamente sviluppato in Java a cui si aggiunge la componente web di visualizzazione sviluppata in Javascript.

Deployment automatico di applicazioni specificate in linguaggio ABS

Da quando è iniziata l'era del Cloud Computing molte cose sono cambiate, ora è possibile ottenere un server in tempo reale e usare strumenti automatizzati per installarvi applicazioni. In questa tesi verrà descritto lo strumento MODDE (Model-Driven Deployment Engine), usato per il deployment automatico, partendo dal linguaggio ABS. ABS è un linguaggio a oggetti che permette di descrivere le classi in una maniera astratta. Ogni componente dichiarato in questo linguaggio ha dei valori e delle dipendenze. Poi si procede alla descrizione del linguaggio di specifica DDLang, col quale vengono espressi tutti i vincoli e le configurazioni finali. In seguito viene spiegata l’architettura di MODDE. Esso usa degli script che integrano i tool Zephyrus e Metis e crea un main ABS dai tre file passati in input, che serve per effettuare l’allocazione delle macchine in un Cloud. Inoltre verranno introdotti i due sotto-strumenti usati da MODDE: Zephyrus e Metis. Il primo si occupa di scegliere quali servizi installare tenendo conto di tutte le loro dipendenze, cercando di ottimizzare il risultato. Il secondo gestisce l’ordine con cui installarli tenendo conto dei loro stati interni e delle dipendenze. Con la collaborazione di questi componenti si ottiene una installazione automatica piuttosto efficace. Infine dopo aver spiegato il funzionamento di MODDE viene spiegato come integrarlo in un servizio web per renderlo disponibile agli utenti. Esso viene installato su un server HTTP Apache all’interno di un container di Docker.

Tangram ed edutainment per l'apprendimento della geometria

Partendo dalle analisi condotte sulla relazione esistente tra il divertimento ed un migliore apprendimento, e sui concetti di Edutainment e Gamification, si è realizzata una applicazione per dispositivi mobili che riproduce in formato digitale il gioco cinese del Tangram al fine di utilizzarlo come strumento di edutainment volto all'apprendimento di alcune nozioni di geometria ed all'allenamento delle abilità legate alla logica. Nello sviluppo di tale applicazione si è fatto riferimento alla metodologia di progettazione delle applicazioni ibride, in modo da semplificare la portabilità cross-platform tra i dispositivi, e si è prestata particolare attenzione alla creazione di un sistema che possa essere inserito come modulo all'interno di una applicazione multi-gioco di più ampio respiro. Per la progettazione si è fatto riferimento al paradigma ad oggetti e ad una gestione delle dinamiche di gioco event-driven.

Sviluppo di un serious mobile game per bambini in età scolare e pre-scolare

Lo scopo di questa tesi è realizzare un serious game fruibile attraverso dispositivi mobili, con l’obiettivo di veicolare i concetti relativi alla raccolta differenziata ai bambini, in età scolare e pre-scolare. La modalità di gioco implementata prevede una partecipazione in coppia. I due giocatori, posti uno di fronte all'altro, devono guidare a turno MecWillly, un robot umanoide che si muove all'interno di una griglia solo in determinate direzioni, al bidone giusto, a seconda del rifiuto che viene loro mostrato. Un'altra finalità del gioco, quindi, è quella di imparare a collaborare per raggiungere un obiettivo comune, ma anche di capire come cambia la rappresentazione degli oggetti nello spazio, a seconda del punto di vista di un giocatore rispetto all'altro.

Progettazione di Data Warehouse di dati genomici su piattaforma Hadoop

Negli ultimi anni la biologia ha fatto ricorso in misura sempre maggiore all’informatica per affrontare analisi complesse che prevedono l’utilizzo di grandi quantità di dati. Fra le scienze biologiche che prevedono l’elaborazione di una mole di dati notevole c’è la genomica, una branca della biologia molecolare che si occupa dello studio di struttura, contenuto, funzione ed evoluzione del genoma degli organismi viventi. I sistemi di data warehouse sono una tecnologia informatica che ben si adatta a supportare determinati tipi di analisi in ambito genomico perché consentono di effettuare analisi esplorative e dinamiche, analisi che si rivelano utili quando si vogliono ricavare informazioni di sintesi a partire da una grande quantità di dati e quando si vogliono esplorare prospettive e livelli di dettaglio diversi. Il lavoro di tesi si colloca all’interno di un progetto più ampio riguardante la progettazione di un data warehouse in ambito genomico. Le analisi effettuate hanno portato alla scoperta di dipendenze funzionali e di conseguenza alla definizione di una gerarchia nei dati. Attraverso l’inserimento di tale gerarchia in un modello multidimensionale relativo ai dati genomici sarà possibile ampliare il raggio delle analisi da poter eseguire sul data warehouse introducendo un contenuto informativo ulteriore riguardante le caratteristiche dei pazienti. I passi effettuati in questo lavoro di tesi sono stati prima di tutto il caricamento e filtraggio dei dati. Il fulcro del lavoro di tesi è stata l’implementazione di un algoritmo per la scoperta di dipendenze funzionali con lo scopo di ricavare dai dati una gerarchia. Nell’ultima fase del lavoro di tesi si è inserita la gerarchia ricavata all’interno di un modello multidimensionale preesistente. L’intero lavoro di tesi è stato svolto attraverso l’utilizzo di Apache Spark e Apache Hadoop.

Elaborazione di Big Data: un’applicazione dello Speed Layer di Lambda Architecture

I Big Data hanno forgiato nuove tecnologie che migliorano la qualità della vita utilizzando la combinazione di rappresentazioni eterogenee di dati in varie discipline. Occorre, quindi, un sistema realtime in grado di computare i dati in tempo reale. Tale sistema viene denominato speed layer, come si evince dal nome si è pensato a garantire che i nuovi dati siano restituiti dalle query funcions con la rapidità in cui essi arrivano. Il lavoro di tesi verte sulla realizzazione di un’architettura che si rifaccia allo Speed Layer della Lambda Architecture e che sia in grado di ricevere dati metereologici pubblicati su una coda MQTT, elaborarli in tempo reale e memorizzarli in un database per renderli disponibili ai Data Scientist. L’ambiente di programmazione utilizzato è JAVA, il progetto è stato installato sulla piattaforma Hortonworks che si basa sul framework Hadoop e sul sistema di computazione Storm, che permette di lavorare con flussi di dati illimitati, effettuando l’elaborazione in tempo reale. A differenza dei tradizionali approcci di stream-processing con reti di code e workers, Storm è fault-tolerance e scalabile. Gli sforzi dedicati al suo sviluppo da parte della Apache Software Foundation, il crescente utilizzo in ambito di produzione di importanti aziende, il supporto da parte delle compagnie di cloud hosting sono segnali che questa tecnologia prenderà sempre più piede come soluzione per la gestione di computazioni distribuite orientate agli eventi. Per poter memorizzare e analizzare queste moli di dati, che da sempre hanno costituito una problematica non superabile con i database tradizionali, è stato utilizzato un database non relazionale: HBase.

Elaborazioni complesse server side multipiattaforma

Poiché nell’ultimo decennio i dispositivi mobile assumono un ruolo sempre più determinante nello svolgimento della vita stessa, nel corso del tempo si sono ricercate e sviluppate app per facilitare le più svariate operazioni quotidiane. Visto la vastità del mercato degli smartphone, nel tempo sono stati sviluppati vari sistemi operativi in grado di governare queste piattaforme. Per una azienda, tuttavia, gestire i costi di implementazione di una stessa app in ambienti differenti risulta più oneroso che gestire i costi di una sola in grado di operare nei diversi sistemi operativi. Quest’ultimo tipo di app viene comunemente denominato app multipiattaforma. Un modo per implementare questo genere di applicazioni vede come strumento di utilizzo Visual Studio, noto IDE. Nel caso specifico Visual Studio ha integrato il progetto Apache Cordova per le creazione di applicativi multipiattaforma. In questo elaborato di tesi tramite i due strumenti appena introdotti si sono sviluppate due differenti app, al fine di valutarne le performance in termini di tempo. La prima app propone la risoluzione di un noto problema di calcolo combinatorio conosciuto con il nome di Knapsack, ovvero il problema dello zaino. La seconda cerca invece di digitalizzare una semplice espressione matematica contenuta in un’immagine e di fornirne quindi il risultato. Dai dati ottenuti si possono operare confronti per determinare la validità dello strumento di sviluppo, mettendo in luce anche possibili evoluzioni di queste due app.

App Ibrida per l’apprendimento della matematica attraverso esercizi di logica

Nell’ambito di questo lavoro di tesi è stata progettata e realizzata un'applicazione di edutainment, pensata per essere fruita attraverso dispositivi mobili, da parte di studenti delle scuole medie, con l’obiettivo di esercitare e migliorare le capacità logiche e di problem solving. La tesi descrive il contesto educativo e scolastico in relazione alla presenza delle tecnologie dell'informazione e della comunicazione, ed infine mostra come una componente di intrattenimento possa essere utile nei processi di apprendimento. Lo sviluppo dell’applicazione è basato sulla progettazione di applicazioni ibride, usando come framework di sviluppo Apache Cordova, quindi attraverso tecnologie web-based, con un’architettura client-server, in cui la parte client gestisce l’interfaccia grafica e le interazioni logiche mentre la parte server viene sfruttata esclusivamente come contenitore di informazioni.

Tecniche Cloud Avanzate per Adaptive Hadoop Load Balancing tramite Sahara

Ogni giorno vengono generati grandi moli di dati attraverso sorgenti diverse. Questi dati, chiamati Big Data, sono attualmente oggetto di forte interesse nel settore IT (Information Technology). I processi digitalizzati, le interazioni sui social media, i sensori ed i sistemi mobili, che utilizziamo quotidianamente, sono solo un piccolo sottoinsieme di tutte le fonti che contribuiscono alla produzione di questi dati. Per poter analizzare ed estrarre informazioni da questi grandi volumi di dati, tante sono le tecnologie che sono state sviluppate. Molte di queste sfruttano approcci distribuiti e paralleli. Una delle tecnologie che ha avuto maggior successo nel processamento dei Big Data, e Apache Hadoop. Il Cloud Computing, in particolare le soluzioni che seguono il modello IaaS (Infrastructure as a Service), forniscono un valido strumento all'approvvigionamento di risorse in maniera semplice e veloce. Per questo motivo, in questa proposta, viene utilizzato OpenStack come piattaforma IaaS. Grazie all'integrazione delle tecnologie OpenStack e Hadoop, attraverso Sahara, si riesce a sfruttare le potenzialita offerte da un ambiente cloud per migliorare le prestazioni dell'elaborazione distribuita e parallela. Lo scopo di questo lavoro e ottenere una miglior distribuzione delle risorse utilizzate nel sistema cloud con obiettivi di load balancing. Per raggiungere questi obiettivi, si sono rese necessarie modifiche sia al framework Hadoop che al progetto Sahara.

Interleukin-6, -7, -8 and -10 predict outcome in acute myocardial infarction complicated by cardiogenic shock

The IABP-SHOCK-trial was a morbidity-based randomized controlled trial in patients with infarction-related cardiogenic shock (CS), which used the change of the quantified degree of multiorgan failure as determined by APACHE II score over a 4-day period as primary outcome measure. The prospective hypothesis was that adding IABP therapy to "standard care" would improve CS-triggered multi organ dysfunction syndrome (MODS). The primary endpoint showed no difference between conventionally managed cardiogenic shock patients and those with IABP support. In an inflammatory marker substudy, we analysed the prognostic value of interleukin (IL)-1β, -6, -7, -8, and -10 in patients with acute myocardial infarction complicated by cardiogenic shock.

Early serum procalcitonin, interleukin-6, and 24-hour lactate clearance: useful indicators of septic infections in severely traumatized patients

BACKGROUND: Elevated lactate and interleukin-6 (IL-6) levels were shown to correlate with mortality and multiple organ dysfunction in severely traumatized patients. The purpose of this study was to test whether an association exists between 24-hour lactate clearance, IL-6 and procalcitonin (PCT) levels, and the development of infectious complications in trauma patients. METHODS: A total of 1757 consecutive trauma patients with an Injury Severity Score (ISS) > 16 admitted over a 10-year period were retrospectively analyzed over a 21-day period. Exclusion criteria included death within 72 h of admission (24.5%), late admission > 12 h after injury (16%), and age < 16 years (0.5%). Data are stated as the median (range). RESULTS: Altogether, 1032 trauma patients (76.2% male) with an average age of 38 years, a median ISS of 29 (16-75), and an Acute Physiology, Age, and Chronic Health Evaluation (APACHE) II score of 14 (0-40) were evaluated. The in-hospital mortality (>3 days) was 10%. Patients with insufficient 24-hour lactate clearance had a high rate of overall mortality and infections. Elevated early serum procalcitonin on days 1 to 5 after trauma was strongly associated with the subsequent development of sepsis (p < 0.01) but not with nonseptic infections. The kinetics of IL-6 were similar to those of PCT but did differentiate between infected and noninfected patients after day 5. CONCLUSIONS: This study demonstrates that elevated early procalcitonin and IL-6 levels and inadequate 24-hour lactate clearance help identify trauma patients who develop septic and nonseptic infectious complications. Definition of specific cutoff values and early monitoring of these parameters may help direct early surgical and antibiotic therapy and reduce infectious mortality.

Model Driven Architecture (MDA): Integration and Model Reuse for Open Source eLearning Platforms

Open Source (OS) community offers numerous eLearning platforms of both types: Learning Management Systems (LMS) and Learning Content Systems (LCS). General purpose OS intermediaries such as SourceForge, ObjectWeb, Apache or specialized intermediaries like CampusSource reduce the cost to locate such eLearning platforms. Still, it is impossible to directly compare the functionalities of those OS software products without performing detailed testing on each product. Some articles available from eLearning Wikipedia show comparisons between eLearning platforms which can help, but at the end they barely serve as documentation which are becoming out of date quickly [1]. The absence of integration activities between OS eLearning platforms - which are sometimes quite similar in terms of functionalities and implementation technologies - is sometimes critical since most of the OS projects possess small financial and human resources. This paper shows a possible solution for these barriers of OS eLearning platforms. We propose the Model Driven Architecture (MDA) concept to capture functionalities and to identify similarities between available OS eLearning platforms. This contribution evolved from a fruitful discussion at the 2nd CampusSource Developer Conference at the University of Muenster (27th August 2004).

A Qualitative Study on the Adoption of Copyright Assignment Agreements (CAA) and Copyright License Agreements (CLA) within Selected FOSS Projects

Open source software projects are multi-collaborative works incorporating the contributions of numerous developers who, in spite of publishing their code under a public license such as GPL, Apache or BSD, retain the copyright in their contributions. Having multiple copyright-owners can make the steering of a project difficult, if not impossible, as there is no ultimate authority able to take decisions relating to the maintenance and use of the project. This predicament can be remedied by centring the dispersed copyrights in a single authority via contributor agreements. Whether to introduce contributor agreements, and if so in which form, is a pressing question for many emerging, but also for established projects. The current paper provides an insight into the ethos of different projects and their reason for adopting or rejecting particular contributor agreements. It further examines the exact set-up of the contributor agreements used and concludes that smart drafting can blur the difference between CAAs and CLAs to a considerable extent, manoeuvring them into a legal grey area. To avoid costly litigation to test the legal enforceability of individual clauses, this paper proposes the establishment of an international committee comprised of developers, product managers and lawyers interested in finding a common terminology that may serve as a foundation for every contributor agreement

Genetics and epidemiology of gallbladder disease in New World native peoples.

Native peoples of the New World, including Amerindians and admixed Latin Americans such as Mexican-Americans, are highly susceptible to diseases of the gallbladder. These include cholesterol cholelithiasis (gallstones) and its complications, as well as cancer of the gallbladder. Although there is clearly some necessary dietary or other environmental risk factor involved, the pattern of disease prevalence is geographically associated with the distribution of genes of aboriginal Amerindian origin, and levels of risk generally correspond to the degree of Amerindian admixture. This pattern differs from that generally associated with Westernization, which suggests a gene-environment interaction, and that within an admixed population there is a subset whose risk is underestimated when admixture is ignored. The risk that an individual of a susceptible New World genotype will undergo a cholecystectomy by age 85 can approach 40% in Mexican-American females, and their risk of gallbladder cancer can reach several percent. These are heretofore unrecognized levels of risk, especially of the latter, because previous studies have not accounted for admixture or for the loss of at-risk individuals due to cholecystectomy. A genetic susceptibility may, thus, be as "carcinogenic" in New World peoples as any known major environmental exposure; yet, while the risk has a genetic basis, its expression as gallbladder cancer is so delayed as to lead only very rarely to multiply-affected families. Estimates in this paper are derived in part from two studies of Mexican-Americans in Starr County and Laredo, Texas.