Analisi e valutazione della piattaforma Spark

Negli ultimi anni i dati, la loro gestione e gli strumenti per la loro analisi hanno subito una trasformazione. Si è visto un notevole aumento dei dati raccolti dagli utenti, che si aggira tra il 40 e il 60 percento annuo, grazie ad applicazioni web, sensori, ecc.. Ciò ha fatto nascere il termine Big Data, con il quale ci si riferisce a dataset talmente grandi che non sono gestibili da sistemi tradizionali, come DBMS relazionali in esecuzione su una singola macchina. Infatti, quando la dimensione di un dataset supera pochi terabyte, si è obbligati ad utilizzare un sistema distribuito, in cui i dati sono partizionati su più macchine. Per gestire i Big Data sono state create tecnologie che riescono ad usare la potenza computazionale e la capacità di memorizzazione di un cluster, con un incremento prestazionale proporzionale al numero di macchine presenti sullo stesso. Il più utilizzato di questi sistemi è Hadoop, che offre un sistema per la memorizzazione e l’analisi distribuita dei dati. Grazie alla ridondanza dei dati ed a sofisticati algoritmi, Hadoop riesce a funzionare anche in caso di fallimento di uno o più macchine del cluster, in modo trasparente all’utente. Su Hadoop si possono eseguire diverse applicazioni, tra cui MapReduce, Hive e Apache Spark. É su quest’ultima applicazione, nata per il data processing, che è maggiormente incentrato il progetto di tesi. Un modulo di Spark, chiamato Spark SQL, verrà posto in confronto ad Hive nella velocità e nella flessibilità nell’eseguire interrogazioni su database memorizzati sul filesystem distribuito di Hadoop.

Sviluppo di un modello di costo per Spark Sql

La quantità di dati che vengono generati e immagazzinati sta aumentando sempre più grazie alle nuove tecnologie e al numero di utenti sempre maggiore. Questi dati, elaborati correttamente, permettono quindi di ottenere delle informazioni di valore strategico che aiutano nell’effettuare decisioni aziendali a qualsiasi livello, dalla produzione fino al marketing. Sono nati soprattutto negli ultimi anni numerosi framework proprietari e open source che permettono l'elaborazione di questi dati sfruttando un cluster. In particolare tra i più utilizzati e attivi in questo momento a livello open source troviamo Hadoop e Spark. Obiettivo di questa tesi è realizzare un modello di Spark per realizzare una funzione di costo che sia non solo implementabile all’interno dell’ottimizzatore di Spark SQL, ma anche per poter effettuare delle simulazioni di esecuzione di query su tale sistema. Si è quindi studiato nel dettaglio con ducumentazione e test il comportamento del sistema per realizzare un modello. I dati ottenuti sono infine stati confrontati con dati sperimentali ottenuti tramite l'utilizzo di un cluster. Con la presenza di tale modello non solo risulta possibile comprendere in maniera più approfondita il reale comportamento di Spark ma permette anche di programmare applicazioni più efficienti e progettare con maggiore precisione sistemi per la gestione dei dataset che sfruttino tali framework.

Pulsed plasma thruster ignition system: investigation, test design and results

Fra i sistemi di propulsione elettrica per satelliti, il Pulsed Plasma Thruster, PPT, è quello dal design più semplice. È anche il primo sistema di propulsione elettrica utilizzato in un satellite artificiale, ossia ZOND-2 lanciato nel 1964 dall’Unione Sovietica. Tuttavia, dopo circa 50 anni di ricerca, la comprensione teorica e sperimentale di questo dispositivo rimane limitata. Questo elaborato di tesi magistrale indaga sul sottosistema di accensione del PPT, cercando di mettere in luce alcuni aspetti legati al lifetime della spark plug, SP. Tale SP, o candela, è l’attuatore del sottosistema di accensione. Questa produce una scintilla sulla sua superficie, la quale permette la realizzazione della scarica elettrica principale fra i due elettrodi del motore. Questa scarica crea una sottile parete di plasma che, per mezzo della forza elettromagnetica di Lorentz, produce la spinta del PPT. Poiché la SP si trova all’interno del catodo del motore e si affaccia nella camera di scarica, questa soffre di fenomeni di corrosione e di deposizione carbonacea proveniente dal propellente. Questi fenomeni possono limitare notevolmente il lifetime della SP. I parametri connessi alla vita operativa della SP sono numerosi. In questo elaborato si è analizzata la possibilità di utilizzare una elettronica di accensione della candela alternativa alla classica soluzione che utilizza un trasformatore. Il sottosistema di accensione classico e quello nuovo sono stati realizzati e testati, per metterne in luce le differenze ed i possibili vantaggi/svantaggi.

Studio mediante magnetometro moke di film sottili di manganite per applicazioni in spintronica.

In questo lavoro di tesi è stata studiata l'anisotropia magnetica di film sottili epitassiali di La0.7Sr0.3MnO3 (LSMO), cresciuti con la tecnica Channel Spark Ablation su substrati monocristallini di SrTiO3 (001). L'interesse nei confronti di questi materiali nasce dal fatto che, grazie alla loro proprietà di half-metallicity, sono usati come iniettori di spin in dispositivi per applicazioni in spintronica, l'elettronica che considera elemento attivo per l'informazione non solo la carica elettrica ma anche lo spin dei portatori. Un tipico esempio di dispositivo spintronico è la valvola di spin (un dispositivo costituito da due film ferromagnetici metallici separati da uno strato conduttore o isolante) il cui stato resistivo dipende dall'orientazione relativa dei vettori magnetizzazione (parallela o antiparallela) degli strati ferromagnetici. E’ quindi di fondamentale importanza conoscere i meccanismi di magnetizzazione dei film che fungono da iniettori di spin. Questa indagine è stata effettuata misurando cicli di isteresi magnetica grazie ad un magnetometro MOKE (magneto-optical Kerr effect). Le misure di campo coercitivo e della magnetizzazione di rimanenza al variare dell'orientazione del campo rispetto al campione, permettono di identificare l'anisotropia, cioè gli assi di facile e difficile magnetizzazione. I risultati delle misure indicano una diversa anisotropia in funzione dello spessore del film: anisotropia biassiale (cioè con due assi facili di magnetizzazione) per film spessi 40 nm e uniassiale (un asse facile) per film spessi 20 nm. L'anisotropia biassiale viene associata allo strain che il substrato cristallino induce nel piano del film, mentre l'origine dell'uniassialità trova la giustificazione più probabile nella morfologia del substrato, in particolare nella presenza di terrazzamenti che potrebbero indurre una step-induced anisotropy. Il contributo di questi fattori di anisotropia alla magnetizzazione è stato studiato anche in temperatura.

Sviluppo e caratterizzazione microstrutturale e tribologica di rivestimenti su lega di titanio per applicazioni biomedicali

Oggetto dello studio è stato lo sviluppo di rivestimenti con tecnica PEO (Plasma Electrolityc Ossidation) sulla lega di titanio Ti-6Al-4V, al fine di utilizzare questo materiale in sostituzione della lega CrCoMo nelle protesi d'anca e di ginocchio. Queste, ad oggi, sono le protesi articolari più diffuse e devono garantire contemporaneamente elevate prestazioni meccaniche (in particolare resistenza ad usura), affidabilità e biocompatibilità. La lega CrCoMo negli anni si è affermata nel campo protesico poiché è un materiale metallico avente elevata rigidezza abbinata a una buona resistenza a corrosione ed all'usura durante il movimento articolare. Un problema rilevante e frequente di questa lega è l'allergia di alcuni pazienti agli elementi di lega che la costituiscono o il rischio per i pazienti non allergici di subire un'ipersensibilizzazione, con conseguente sviluppo dell'allergia e necessità di sostituire la protesi. La lega Ti-6Al-4V potrebbe essere una valida alternativa data la sua elevata biocompatibilità e le sue proprietà meccaniche, tanto che è già ampiamente utilizzata nella costruzione di protesi statiche come chiodi o viti. Purtroppo ad oggi non è stato possibile l'utilizzo di questa negli accoppiamenti articolari, data la sua bassa resistenza all'usura per sfregamento. L'attività di tesi è stata quindi incentrata sulla definizione dei bagni elettrolitici e del ciclo elettrico ottimali per realizzare, con tecnica PEO, rivestimenti in grado di conferire una buona resistenza allo sfregamento alla lega di titanio. Il raggiungimento degli obiettivi prefissati è stato valutato attraverso una caratterizzazione microstrutturale e tribologica del rivestimento.

Modelli e Strumenti di Classifciazione Automatica per il Controllo dell'Accesso su Piattaforme Big Data

Dall'analisi dei big data si possono trarre degli enormi benefici in svariati ambiti applicativi. Uno dei fattori principali che contribuisce alla ricchezza dei big data, consiste nell'uso non previsto a priori di dati immagazzinati in precedenza, anche in congiunzione con altri dataset eterogenei: questo permette di trovare correlazioni significative e inaspettate tra i dati. Proprio per questo, il Valore, che il dato potenzialmente porta con sè, stimola le organizzazioni a raccogliere e immagazzinare sempre più dati e a ricercare approcci innovativi e originali per effettuare analisi su di essi. L’uso fortemente innovativo che viene fatto dei big data in questo senso e i requisiti tecnologici richiesti per gestirli hanno aperto importanti problematiche in materia di sicurezza e privacy, tali da rendere inadeguati o difficilmente gestibili, gli strumenti di sicurezza utilizzati finora nei sistemi tradizionali. Con questo lavoro di tesi si intende analizzare molteplici aspetti della sicurezza in ambito big data e offrire un possibile approccio alla sicurezza dei dati. In primo luogo, la tesi si occupa di comprendere quali sono le principali minacce introdotte dai big data in ambito di privacy, valutando la fattibilità delle contromisure presenti all’attuale stato dell’arte. Tra queste anche il controllo dell’accesso ha riscontrato notevoli sfide causate dalle necessità richieste dai big data: questo elaborato analizza pregi e difetti del controllo dell’accesso basato su attributi (ABAC), un modello attualmente oggetto di discussione nel dibattito inerente sicurezza e privacy nei big data. Per rendere attuabile ABAC in un contesto big data, risulta necessario l’ausilio di un supporto per assegnare gli attributi di visibilità alle informazioni da proteggere. L’obiettivo di questa tesi consiste nel valutare fattibilità, caratteristiche significative e limiti del machine learning come possibile approccio di utilizzo.

Progettazione di Data Warehouse di dati genomici su piattaforma Hadoop

Negli ultimi anni la biologia ha fatto ricorso in misura sempre maggiore all’informatica per affrontare analisi complesse che prevedono l’utilizzo di grandi quantità di dati. Fra le scienze biologiche che prevedono l’elaborazione di una mole di dati notevole c’è la genomica, una branca della biologia molecolare che si occupa dello studio di struttura, contenuto, funzione ed evoluzione del genoma degli organismi viventi. I sistemi di data warehouse sono una tecnologia informatica che ben si adatta a supportare determinati tipi di analisi in ambito genomico perché consentono di effettuare analisi esplorative e dinamiche, analisi che si rivelano utili quando si vogliono ricavare informazioni di sintesi a partire da una grande quantità di dati e quando si vogliono esplorare prospettive e livelli di dettaglio diversi. Il lavoro di tesi si colloca all’interno di un progetto più ampio riguardante la progettazione di un data warehouse in ambito genomico. Le analisi effettuate hanno portato alla scoperta di dipendenze funzionali e di conseguenza alla definizione di una gerarchia nei dati. Attraverso l’inserimento di tale gerarchia in un modello multidimensionale relativo ai dati genomici sarà possibile ampliare il raggio delle analisi da poter eseguire sul data warehouse introducendo un contenuto informativo ulteriore riguardante le caratteristiche dei pazienti. I passi effettuati in questo lavoro di tesi sono stati prima di tutto il caricamento e filtraggio dei dati. Il fulcro del lavoro di tesi è stata l’implementazione di un algoritmo per la scoperta di dipendenze funzionali con lo scopo di ricavare dai dati una gerarchia. Nell’ultima fase del lavoro di tesi si è inserita la gerarchia ricavata all’interno di un modello multidimensionale preesistente. L’intero lavoro di tesi è stato svolto attraverso l’utilizzo di Apache Spark e Apache Hadoop.

Fabrication of high-k dielectric thin films for spintronics

Lo scopo di questa tesi è la fabbricazione di ossidi complessi aventi struttura perovskitica, per mezzo della tecnica Channel Spark Ablation (CSA). Più precisamente sono stati depositati film sottili di manganite (LSMO), SrTiO3 (STO) e NdGaO3 (NGO). Inoltre nel laboratorio ospite è stata effettuata la caratterizzazione elettrica e dielettrica (spettroscopia di impedenza), mentre per l'analisi strutturale e chimica ci si è avvalsi di collaborazioni. Sono stati fabbricati dispositivi LSMO/STO/Co e se ne è studiato il comportamento magnetoresistivo e la bistabilità elettrica a seconda del carattere epitassiale od amorfo dell'STO. I risultati più promettenti sono stati ottenuti con STO amorfo. Sono stati costruiti diversi set di condensatori nella configurazione Metallo/Isolante/Semiconduttore (MIS), con M=Au, I=STO o NGO ed S=Nb:STO, allo scopo di indagare la dipendenza delle proprietà dielettriche ed isolanti dai parametri di crescita. In particolare ci si è concentrati sulla temperatura di deposizione e, nel caso dei film di STO, anche sulla dipendenza della costante dielettrica dallo spessore del film. Come ci si aspettava, la costante dielettrica relativa dei film di STO (65 per un film spesso 40 nm e 175 per uno di 170 nm) si è rivelata maggiore di quella dei film di NGO per i quali abbiamo ottenuto un valore di 20, che coincide con il valore del bulk. Nonostante l'elevata capacità per unità di area ottenibile con l'STO, la costante dielettrica di questo materiale risulta fortemente dipendente dallo spessore del film. Un ulteriore aspetto critico relativo all'STO è dato dal livello di ossidazione del film: le vacanze di ossigeno, infatti, possono ridurre la resistività dell'STO (nominalmente molto elevata), ed aumentarne la corrente di perdita. Al contrario l'NGO è meno sensibile ai processi tecnologici e, allo stesso tempo, ha un valore di costante dielettrica più alto rispetto ad un tipico dielettrico come l'ossido di silicio.

Lightweight Internet Traffic Classification - A Subject Based Solution with Word Embeddings

Internet traffic classification is a relevant and mature research field, anyway of growing importance and with still open technical challenges, also due to the pervasive presence of Internet-connected devices into everyday life. We claim the need for innovative traffic classification solutions capable of being lightweight, of adopting a domain-based approach, of not only concentrating on application-level protocol categorization but also classifying Internet traffic by subject. To this purpose, this paper originally proposes a classification solution that leverages domain name information extracted from IPFIX summaries, DNS logs, and DHCP leases, with the possibility to be applied to any kind of traffic. Our proposed solution is based on an extension of Word2vec unsupervised learning techniques running on a specialized Apache Spark cluster. In particular, learning techniques are leveraged to generate word-embeddings from a mixed dataset composed by domain names and natural language corpuses in a lightweight way and with general applicability. The paper also reports lessons learnt from our implementation and deployment experience that demonstrates that our solution can process 5500 IPFIX summaries per second on an Apache Spark cluster with 1 slave instance in Amazon EC2 at a cost of $ 3860 year. Reported experimental results about Precision, Recall, F-Measure, Accuracy, and Cohen's Kappa show the feasibility and effectiveness of the proposal. The experiments prove that words contained in domain names do have a relation with the kind of traffic directed towards them, therefore using specifically trained word embeddings we are able to classify them in customizable categories. We also show that training word embeddings on larger natural language corpuses leads improvements in terms of precision up to 180%.

Tecnologie per l’analisi in tempo reale di Big Data: prestazioni a confronto

Lo scopo di questo l'elaborato è l'analisi,lo studio e il confronto delle tecnologie per l'analisi in tempo reale di Big Data: Apache Spark Streaming, Apache Storm e Apache Flink. Per eseguire un adeguato confronto si è deciso di realizzare un sistema di rilevamento e riconoscimento facciale all’interno di un video, in maniera da poter parallelizzare le elaborazioni necessarie sfruttando le potenzialità di ogni architettura. Dopo aver realizzato dei prototipi realistici, uno per ogni architettura, si è passati alla fase di testing per misurarne le prestazioni. Attraverso l’impiego di cluster appositamente realizzati in ambiente locale e cloud, sono state misurare le caratteristiche che rappresentavano, meglio di altre, le differenze tra le architetture, cercando di dimostrarne quantitativamente l’efficacia degli algoritmi utilizzati e l’efficienza delle stesse. Si è scelto quindi il massimo input rate sostenibile e la latenza misurate al variare del numero di nodi. In questo modo era possibile osservare la scalabilità di architettura, per analizzarne l’andamento e verificare fino a che limite si potesse giungere per mantenere un compromesso accettabile tra il numero di nodi e l’input rate sostenibile. Gli esperimenti effettuati hanno mostrato che, all’aumentare del numero di worker le prestazioni del sistema migliorano, rendendo i sistemi studiati adatti all’utilizzo su larga scala. Inoltre sono state rilevate sostanziali differenze tra i vari framework, riportando pro e contro di ognuno, cercando di evidenziarne i più idonei al caso di studio.

Modellistica di accensione per candele ad arco elettrico in motori a combustione interna alternativi

Nel panorama mondiale di contenimento delle emissioni inquinanti in atmosfera é divenuto sempre più importante limitare la parte derivante dai motori a combustione interna: l'utilizzo di motori GDI a carica stratificata e di ricircolo dei gas di scarico (EGR) sono esempi di tecnologie pensate proprio in tale ottica. Sia la presenza di un ambiente magro che di EGR nel cilindro, come anche l'aumento della pressione nel cilindro per l'incremento della pressione di sovralimentazione o del rapporto di compressione, hanno lo svantaggio di limitare la velocità di combustione e rendere più sfavorevoli le condizioni di accensione della miscela; in questo scenario diviene di fondamentale importanza il miglioramento dei sistemi di accensione, la creazione di modelli volti a simularli e la comprensione dei fenomeni che ne stanno alla base. Il seguente lavoro di tesi si inserisce proprio in questo contesto, indagando le varie fasi di cui si compone il fenomeno dell'accensione e le relazioni che legano le variabili di interesse fisico, verificate sulla base di evidenze sperimentali. Successivamente vengono analizzati i principali modelli d'accensione che sono stati proposti e implementati in codici computazionali fluidodinamici; l'analisi mette in luce le differenze, i punti di forza e le semplificazioni introdotte in ognuno di essi, in modo da poterli valutare criticamente. La suddetta analisi é anche utile per introdurre il modello frutto del lavoro del gruppo di ricerca dell'Università di Bologna; ci si concentra particolarmente su quest'ultimo poiché un obiettivo di questo lavoro di tesi é stato proprio l'implementazione e l'utilizzo del modello in un codice fluidodinamico tridimensionale quale CONVERGE CFD. L'implementazione é stata poi validata attraverso simulazioni su una geometria reale di un motore a combustione interna ad elevate prestazioni, confrontando i risultati ottenuti con il nuovo modello rispetto ai dati sperimentali sulla combustione.

Implementazione e validazione di un modello di accensione per motori a combustione interna

Nell'ambito dei motori ad accensione comandata, la comprensione del processo di accensione e delle prime fasi di sviluppo del kernel è di primaria importanza per lo studio dell'intero processo di combustione, dal momento che questi determinano lo sviluppo successivo del fronte di fiamma. Dal punto di vista fisico, l'accensione coinvolge un vasto numero di fenomeni di natura molto complessa, come processi di ionizzazione e passaggio di corrente nei gas: molti di questi avvengono con tempi caratteristici che ne impediscono la simulazione tramite le attuali tecniche CFD. Si rende pertanto necessario sviluppare modelli semplificati che possano descrivere correttamente il fenomeno, a fronte di tempi di calcolo brevi. In quest'ottica, il presente lavoro di tesi punta a fornire una descrizione accurata degli aspetti fisici dell'accensione, cercando di metterne in evidenza gli aspetti principali e le criticità. A questa prima parte di carattere prettamente teorico, segue la presentazione del modello di accensione sviluppato presso il DIN dell'Università di Bologna dal Prof. Bianche e dall'Ing. Falfari e la relativa implementazione tramite il nuovo codice CONVERGE CFD: la validazione è infine condotta riproducendo un caso test ben noto il letteratura, che mostrerà un buon accordo tra valori numerici e sperimentali a conferma della validità del modello.