Progettazione e sviluppo di una soluzione Hadoop per il calcolo di Big Data Analytics

Il presente elaborato ha come oggetto la progettazione e lo sviluppo di una soluzione Hadoop per il Calcolo di Big Data Analytics. Nell'ambito del progetto di monitoraggio dei bottle cooler, le necessità emerse dall'elaborazione di dati in continua crescita, ha richiesto lo sviluppo di una soluzione in grado di sostituire le tradizionali tecniche di ETL, non pi�ù su�fficienti per l'elaborazione di Big Data. L'obiettivo del presente elaborato consiste nel valutare e confrontare le perfomance di elaborazione ottenute, da un lato, dal flusso di ETL tradizionale, e dall'altro dalla soluzione Hadoop implementata sulla base del framework MapReduce.

Progettazione e realizzazione di un'applicazione per l'estrazione, l'analisi e l'integrazione di social data e linked open data.

Studio ed analisi delle principali tecniche in ambito di Social Data Analysis. Progettazione e Realizzazione di una soluzione software implementata con linguaggio Java in ambiente Eclipse. Il software realizzato permette di integrare differenti servizi di API REST, per l'estrazione di dati sociali da Twitter, la loro memorizzazione in un database non-relazionale (realizzato con MongoDB), e la loro gestione. Inoltre permette di effettuare operazioni di classificazione di topic, e di analizzare dati complessivi sulle collection di dati estratti. Infine permette di visualizzare un albero delle "ricondivisioni", partendo da singoli tweet selezionati, ed una mappa geo-localizzata, contenente gli utenti coinvolti nella catena di ricondivisioni, e i relativi archi di "retweet".

Sviluppo di un modulo di acquisizione dati ad elevato throughput da amplificatori per elettrofisiologia

Lo scopo dell'elaborato di tesi è la progettazione e lo sviluppo di alcuni moduli di un software per la lettura ad elevato throughput di dati da particolari dispositivi per elettrofisiologia sviluppati dall'azienda Elements s.r.l. Elements produce amplificatori ad alta precisione per elettrofisiologia, in grado di misurare correnti a bassa intensità prodotte dai canali ionici. Dato il grande sviluppo che l'azienda sta avendo, e vista la previsione di introdurre sul mercato nuovi dispositivi con precisione e funzionalità sempre migliori, Elements ha espresso l'esigenza di un sistema software che fosse in grado di supportare al meglio i dispositivi già prodotti, e, soprattutto, prevedere il supporto dei nuovi, con prestazioni molto migliori del software già sviluppato da loro per la lettura dei dati. Il software richiesto deve fornire una interfaccia grafica che, comunicando con il dispositivo tramite USB per leggere dati da questo, provvede a mostrarli a schermo e permette di registrarli ed effettuare basilari operazioni di analisi. In questa tesi verranno esposte analisi, progettazione e sviluppo dei moduli di software che si interfacciano direttamente con il dispositivo, quindi dei moduli di rilevamento, connessione, acquisizione ed elaborazione dati.

Progettazione di database con Mysql e MongoDB: analisi di prestazioni su un caso di studio

Analisi di prestazioni di un database costruito con MongoDB e uno con Mysql residenti su due macchine virtuali uguali configurate appositamente per i test di inserimento, interrogazione e eliminazione.

Determinazione dei valori di fondo di Arsenico nella falda freatica delle provincia di Ferrara e Considerazioni sulla sua origine.

L’acquifero superficiale della Provincia di Ferrara è caratterizzato dalla presenza di una diffusa contaminazione da Arsenico. Per dare una risposta a questo fenomeno gli Enti della Provincia e del Comune hanno deciso di intraprendere uno studio volto alla determinazione dei valori di fondo del metalloide ed al miglioramento della comprensione del fenomeno. Il lavoro ha portato alla creazione di tre database con i dati presenti negli archivi provinciali inerenti: ubicazione e caratteristiche dei piezometri, dati idrochimici, concentrazione di Arsenico. L’acquifero superficiale è l’A0, olocenico, che si presenta eterogeneo per via della sua evoluzione geologica. Da uno studio stratigrafico ed idrogeologico si è visto come l’area sia costituita, andando da Ovest verso Est, da corpi alluvionali-deltizio-costieri olocenici in eteropia di facies. L’area centro-orientale è caratterizzata da un ciclo sedimentario trasgressivo-regressivo caratterizzato, nella parte superiore, dalla progradazione di un antico delta del Po. In tale ambiente si sono andati formando depositi ricchi in materia organica e in torba. Questi possono assumere una rilevante importanza nello spiegare il fenomeno, poiché possono svolgere sia il ruolo di sorgente dell’Arsenico che di redox driver attraverso la loro decomposizione. Elaborando i dati sono emersi elementi che sembrano confermare l’azione di un meccanismo di dissoluzione riduttiva che rilascia l’Arsenico, come mostrato dai cross plot tra Arsenico e Potenziale Redox, Ferro e Potenziale Redox, Arsenico e Ferro, Ferro e Manganese. L’area è stata suddivisa in tre zone, in cui la centrale corrisponde all’area ricca in materia organica. Sulla base delle tre aree individuate si è proceduto alla creazione di tre popolazioni di dati sottoposte ad analisi statistica. Quindi si è dimostrata l’assenza di contaminazione antropica, si sono esclusi i dati non significativi, si sono trattati i non detected e si sono individuati ed eliminati gli outlier. Infine si è proceduto alla determinazione della migliore distribuzione per ogni popolazione. Fatto ciò si è calcolato il 95° percentile, che è stato assunto come valore di fondo dell’area. Si è visto come tutti i tre valori di fondo superassero la CSC ed in particolare il valore di fondo dell’area centrale risultasse nettamente superiore agli altri due, superando la CSC di circa 10 volte. Questo ad ulteriore conferma della possibile azione della torba nel rilascio di Arsenico.

Processi di degassamento di laghi craterici iperacidi: analisi del fenomeno attraverso i dati di prove di laboratorio e confronto con dati empirici.

Le condizioni iperacide presenti nelle acque di alcuni laghi craterici, combinate con altre proprietà chimico-fisiche quali densità e temperatura, possono favorire processi di degassamento anche di specie ad elevata solubilità e geochimicamente conservative in acque “normali”. In questa tesi si sono studiati i meccanismi e l’influenza di tali proprietà nel processo di degassamento attraverso la ricostruzione in laboratorio delle condizioni iperacide che caratterizzano i laghi iperacidi in natura. Particolare attenzione è posta al comportamento dello ione Cl-, diffusamente presente nelle acque crateriche e considerato fin ora tipicamente “conservativo”. In condizioni di estrema acidità questo ione modifica la sua tendenza conservativa, attivando le sue caratteristiche di base coniugata. In tali condizioni infatti esso si lega agli ioni H+ presenti formando acido cloridrico molecolare (HCl), parte del quale inevitabilmente degassa. Lo studio di soluzioni preparate in laboratorio e poste a condizioni di temperatura, densità ed acidità iniziale differenti, sono stati raccolti una serie di dati relativi al pH e alle variazioni della concentrazione dello ione Cl- imputabile a fenomeni di degassamento. I dati così ottenuti, sono stati poi confrontati con le caratteristiche chimico-fisiche di una serie di laghi craterici iperacidi esistenti in varie parti del mondo. Questo confronto ha consentito di definire più in dettaglio le cause ed i meccanismi che portano al degassamento di acidi forti (HCl) da acque iperacide e il grado di influenza delle varie proprietà sopra citate in questo fenomeno naturale.

Actor Kit: Design and Development of an Actor Framework for Swift

Nell'ambito dello sviluppo software, la concorrenza è sempre stata vista come la strada del futuro. Tuttavia, questa è stata spesso ignorata a causa del continuo sviluppo dell'hardware che ha permesso agli sviluppatori di continuare a scrivere software sequenziale senza doversi preoccupare delle performance. In un'era in cui le nuove architetture hardware presentano processori multi-core, tutto questo non è più possibile. L'obiettivo di questa tesi è stato quello di considerare il Modello ad Attori come valida alternativa allo sviluppo di applicazioni in ambito mobile e quindi di progettare, sviluppare e distribuire un nuovo framework sulla base di tale modello. Il lavoro parte quindi da una panoramica di Swift, il nuovo linguaggio di programmazione presentato da Apple al WWDC 2014, in cui vengono analizzati nel dettaglio i meccanismi che abilitano alla concorrenza. Successivamente viene descritto il modello ad attori in termini di: attori, proprietà, comunicazione e sincronizzazione. Segue poi un'analisi delle principali implementazioni di questo modello, tra cui: Scala, Erlang ed Akka; quest'ultimo rappresenta la base su cui è stato ispirato il lavoro di progettazione e sviluppo del framework Actor Kit. Il quarto capitolo descrive tutti i concetti, le idee e i principi su cui il framework Actor Kit è stato progettato e sviluppato. Infine, l'ultimo capitolo presenta l'utilizzo del framework in due casi comuni della programmazione mobile: 1) Acquisizione dati da Web API e visualizzazione sull'interfaccia utente. 2) Acquisizione dati dai sensori del dispositivo. In conclusione Actor Kit abilita la progettazione e lo sviluppo di applicazioni secondo un approccio del tutto nuovo nell'ambito mobile. Un possibile sviluppo futuro potrebbe essere l'estensione del framework con attori che mappino i framework standard di Apple; proprio per questo sarà reso pubblico con la speranza che altri sviluppatori possano evolverlo e renderlo ancora più completo e performante.

Sistema Bluetooth-based di remarketing pervasivo

Il progetto si propone di dotare la realta fisica di un estensione digitale. Sensori, attuatori e tecnologie embedded hanno cambiato il nostro modo di lavorare, allenarci e seguire i nostri interessi. Il mondo del commercio non e rimasto a guardare ed ha dovuto adattarsi alla metamorfosi high-tech del settore dei servizi. Il sistema proposto costituisce un promotore per acquisti ed un raccoglitore intelligente di abitudini sullo shopping e si compone di applicazione mobile, microcontroller e web server. Caratteristica prima e principale del progetto e sicuramente la pervasivita. All'utente ed utilizzatore dell'app dello shopping center deve essere certamente resa nota la collaborazione al fine di raccogliere dati statistici sulle sue abitudini, tuttavia sono le modalita di tale operazione a dover rimanere velate, in modo da non appesantire il cliente con tediose operazioni di invio di feedback e valutazioni ed allo stesso tempo permettere una raccolta capillare delle informazioni. Parallelamente alla raccolta di dati funzionali al producer, sono state implementate features per il consumatore, come notifiche promozionali place-triggered e pubblicita mirata. Tra tutte le tecnologie adibite allo scambio di informazioni, si e scelto l'utilizzo del Bluetooth e del piu recente Bluetooth Low Energy (BLE) per permettere ai dispositivi di comunicare tra loro.

Analisi delle prestazioni di un codice di calcolo open-source per l'elaborazione dati GNSS in modalità cinematica finalizzata al monitoraggio di strutture e applicazione di filtri sequenziali

Il presente lavoro di tesi si pone come obbiettivo l’elaborazione di dati GNSS in modalità cinematica post-processing per il monitoraggio strutturale e, in una seconda fase, lo studio delle precisioni raggiungibili delle soluzioni ottenute utilizzando algoritmi di post-elaborazione del dato. L’oggetto di studio è la torre Garisenda, situata in piazza Ravegnana, accanto alla torre Asinelli, nel centro storico di Bologna, da tempo oggetto di studi e monitoraggi per via della sua inclinazione particolarmente critica. Per lo studio è stato utilizzato un data set di quindici giorni, dal 15/12/2013 al 29/12/2013 compresi. Per l’elaborazione dei dati è stato utilizzato un software open source realizzato da ricercatori del Politecnico di Milano, goGPS. Quest'ultimo, essendo un codice nuovo, è stato necessario testarlo al fine di poter ottenere dei risultati validi. Nella prima fase della tesi si è quindi affrontato l’aspetto della calibrazione dei parametri che forniscono le soluzioni più precise per le finalità di monitoraggio considerando le possibili scelte offerte dal codice goGPS. In particolare sono stati imposti dei movimenti calibrati e si è osservata la soluzione al variare dei parametri selezionati scegliendo poi quella migliore, ossia il miglior compromesso tra la capacità di individuare i movimenti e il rumore della serie. Nella seconda fase, allo scopo di poter migliorare le precisioni delle soluzioni si sono valutati metodi di correzione delle soluzioni basati sull'uso di filtri sequenziali e sono state condotte analisi sull'incremento di precisione derivante dall'applicazione di tali correzioni.

Metodi di map-matching per l'identificazione degli itinerari dei ciclisti

Negli ultimi anni si è assistito al considerevole aumento della disponibilità di dati GPS e della loro precisione, dovuto alla diffusione e all’evoluzione tecnologica di smartphone e di applicazioni di localizzazione. Il processo di map-matching consiste nell’integrare tali dati - solitamente una lista ordinata di punti, identificati tramite coordinate geografiche ricavate mediante un sistema di localizzazione, come il GPS - con le reti disponibili; nell’ambito dell’ingegneria dei trasporti, l’obiettivo è di identificare il percorso realmente scelto dall’utente per lo spostamento. Il presente lavoro si propone l’obiettivo di studiare alcune metodologie di map-matching per l’identificazione degli itinerari degli utenti, in particolare della mobilità ciclabile. Nel primo capitolo è esposto il funzionamento dei sistemi di posizionamento e in particolare del sistema GPS: ne sono discusse le caratteristiche, la suddivisione nei vari segmenti, gli errori di misurazione e la cartografia di riferimento. Nel secondo capitolo sono presentati i vari aspetti del procedimento di map-matching, le sue principali applicazioni e alcune possibili classificazioni degli algoritmi di map-matching sviluppati in letteratura. Nel terzo capitolo è esposto lo studio eseguito su diversi algoritmi di map-matching, che sono stati testati su un database di spostamenti di ciclisti nell’area urbana di Bologna, registrati tramite i loro smartphone sotto forma di punti GPS, e sulla relativa rete. Si analizzano altresì i risultati ottenuti in un secondo ambiente di testing, predisposto nell’area urbana di Catania, dove sono state registrate in modo analogo alcune tracce di prova, e utilizzata la relativa rete. La comparazione degli algoritmi è eseguita graficamente e attraverso degli indicatori. Vengono inoltre proposti e valutati due algoritmi che forniscono un aggiornamento di quelli analizzati, al fine di migliorarne le prestazioni in termini di accuratezza dei risultati e di costo computazionale.

Sviluppo di un modello di costo per Spark Sql

La quantità di dati che vengono generati e immagazzinati sta aumentando sempre più grazie alle nuove tecnologie e al numero di utenti sempre maggiore. Questi dati, elaborati correttamente, permettono quindi di ottenere delle informazioni di valore strategico che aiutano nell’effettuare decisioni aziendali a qualsiasi livello, dalla produzione fino al marketing. Sono nati soprattutto negli ultimi anni numerosi framework proprietari e open source che permettono l'elaborazione di questi dati sfruttando un cluster. In particolare tra i più utilizzati e attivi in questo momento a livello open source troviamo Hadoop e Spark. Obiettivo di questa tesi è realizzare un modello di Spark per realizzare una funzione di costo che sia non solo implementabile all’interno dell’ottimizzatore di Spark SQL, ma anche per poter effettuare delle simulazioni di esecuzione di query su tale sistema. Si è quindi studiato nel dettaglio con ducumentazione e test il comportamento del sistema per realizzare un modello. I dati ottenuti sono infine stati confrontati con dati sperimentali ottenuti tramite l'utilizzo di un cluster. Con la presenza di tale modello non solo risulta possibile comprendere in maniera più approfondita il reale comportamento di Spark ma permette anche di programmare applicazioni più efficienti e progettare con maggiore precisione sistemi per la gestione dei dataset che sfruttino tali framework.

Progettazione del Sistema di Gestione dei Risultati Elettorali del Comune di Cesena

Nel Comune di Cesena è presente un sistema di gestione dei risultati elettorali che si avvale di una base di dati per memorizzare le informazioni sui seggi, sui partiti, sui candidati, e sui risultati da loro ottenuti, ma il software in uso manca di funzionalità avanzate che permettano di eseguire correttamente raffronti fra diverse elezioni, di tenere traccia di cambiamenti nelle parti più statiche dei dati, di identificare univocamente un soggetto anche se è presente più volte con nomi diversi. In questo contesto si inserisce la progettazione del nuovo Sistema di Gestione dei Risultati Elettorali; in primo luogo è stata necessaria una fase di analisi del sistema attuale per capirne le funzionalità e caratteristiche a livello di database, quali fossero le sue mancanze e quali dati venivano memorizzati da usare come base concettuale di partenza per il nuovo sistema. Si è poi passati alla fase di progettazione vera e propria del nuovo sistema perciò è stato prima necessario strutturare la nuova base di dati; con l’aiuto di diagrammi ER si è stabilito quali fossero le entità necessarie al funzionamento del database, siamo passati poi attraverso una normalizzazione dei diagrammi fino ad ottenere uno schema fisico che indicasse tutte le tabelle e abbiamo scelto di utilizzare la suite DBMS Oracle per la creazione del database. Si è poi scelto di utilizzare il linguaggio di scripting PHP per realizzare l’interfaccia per consentire l’accesso al sistema da parte di molteplici client, prestando particolare attenzione al procedimento di inserimento dei dati preliminari di un’elezione, cioè tutti quei dati che vengono inseriti prima del giorno della votazione che includono i seggi che verranno utilizzati, i partiti e i candidati che si contenderanno il voto degli elettori. Anche in questo caso, al termine dell’implementazione, si è eseguita un’ampia fase di test per assicurarsi che l’utente inserisca in maniera corretta solo ed esclusivamente i dati necessari.

Progettazione e sviluppo di un ecosistema per la gestione di studi dentistici

La tesi, come da titolo, progettazione e sviluppo di un ecosistema per la gestione di studi dentistici, tratta propriamente di un insieme di programmi software per gestire al meglio uno studio dentistico. Uno dei due software dell'ecosistema, consente al medico dentista di effettuare una gestione dei pazienti e dei relativi trattamenti svolti all'interno dello studio dentistico dal personale medico. I dati sono conseguentemente salvati all'interno di un database centrale. Il secondo software, più nello specifico un sito web, consente ai pazienti, mediante username e password, di accedere all'area riservata e monitorare i propri dati personali ed i trattamenti effettuati dal personale medico all'interno dello studio. Il software in uso nello studio del dentista consente quindi sia lettura che scrittura dei dati sul database. Il sito consente solamente la lettura dei dati stessi.

Analisi chimica di sedimenti di mare profondo del SE Tirreno

In questo studio sono stati analizzati 11 campioni provenienti dalla zona vulcanica dell’arco Eoliano, gentilmente concessi da ISMAR-CNR Bologna. Lo scopo del lavoro è stato quello di ricercare arricchimenti di alcuni elementi critici, di grande importanza economica e a rischio di approvvigionamento. Lo scopo principale è verificare se la zona può contenere possibili risorse minerarie. La composizione degli elementi maggiori e in traccia dei campioni è stata ottenuta tramite XRF. I campioni analizzati, sono stati aggregati ad altri campioni del Tirreno meridionale (oggetto di altre tesi), ottenendo un database di 71 campioni. Questo set esteso di dati è stato utilizzato per costruire grafici composizionali e sono state evidenziate possibili relazioni tra gli elementi maggiori e una selezione di elementi in traccia. Dai grafici, è risultato che la maggior parte degli elementi in traccia presenta una relazione positiva con Si, Ti, Al, Fe e K, ad indicare che gli apporti detritici continentali costituiscono un fattore di arricchimento di elementi critici. Tutti gli elementi hanno una correlazione negativa con il Ca, indicando che carbonati o sedimenti ricchi in Ca non costituiscono un target per la ricerca di elementi critici. Le concentrazioni sono state confrontate con un valore di cut-off per giacimenti impoveriti. Dal confronto, l’unico elemento la cui soglia di cut-off viene superata in tutti i campioni, è il manganese (Mn). Elementi come ferro (Fe), uranio (U), vanadio (V) e scandio (Sc), presentano picchi di concentrazione in alcuni campioni, la cui popolazione è limitata a poco più di due o tre elementi provenienti dalla zona del Bacino di Paola. Pertanto non sono da considerare una possibile risorsa e possiamo quindi concludere che il Mn costituisce l’unica risorsa mineraria “valida” nella zona.

HTML5, Javascript and modern browser technologies: toward a web based framework for device fingerprinting

Mentre navighiamo siamo veramente certi che i nostri dati e la nostra privacy siano al sicuro? I browser e le tecnologie di cui fanno uso possono rivelare una miriade di informazioni. Al crescere delle informazioni reperibili, si inizia a superare una massa critica che può permettere l'identificazione. Il device fingerprinting è proprio il rilevamento di questa tipologia di dati. HTML5 e le nuove API che esso mette a disposizione aumentano a dismisura le modalità per fare fingerprinting. Durante lo sviluppo della presente tesi è stato realizzato un framework molto potente che verrà mostrato nel dettaglio. Come a seguito di un disastro aereo, l'ingegneria aeronautica si mette all'opera per scovare i punti deboli allo scopo di rendere più robusti gli aerei di nuova generazione, noi con la presente tesi vogliamo dare il nostro contributo al miglioramento del web del futuro. Affinchè la nostra privacy sia veramente nelle nostre mani e possiamo essere artefici del nostro domani.