Un framework per l'analisi di big data con elevata eterogeneità all'interno di multistore

I big data sono caratterizzati dalle ben note 4v: volume, velocità, veracità e varietà. Quest'ultima risulta di importanza critica nei sistemi schema-less, dove il concetto di schema non è rigido. In questo contesto rientrano i database NoSQL, i quali offrono modelli dati diversi dal classico modello dati relazionale, ovvero: documentale, wide-column, grafo e key-value. Si parla di multistore quando ci si riferisce all'uso di database con modelli dati diversi che vengono esposti con un'unica interfaccia di interrogazione, sia per sfruttare caratteristiche di un modello dati che per le maggiori performance dei database NoSQL in contesti distribuiti. Fare analisi sui dati all'interno di un multistore risulta molto più complesso: i dati devono essere integrati e va ripristinata la consistenza. A questo scopo nasce la necessità di approcci più soft, chiamati pay-as-you-go: l'integrazione è leggera e incrementale, aggira la complessità degli approcci di integrazione tradizionali e restituisce risposte best-effort o approssimative. Seguendo tale filosofia, nasce il concetto di dataspace come rappresentazione logica e di alto livello dei dataset disponibili. Obiettivo di questo lavoro tesi è studiare, progettare e realizzare una modalità di interrogazione delle sorgenti dati eterogenee in contesto multistore con l'intento di fare analisi situazionali, considerando le problematiche di varietà e appoggiandosi all'integrazione fornita dal dataspace. Lo scopo finale è di sviluppare un prototipo che esponga un'interfaccia per interrogare il dataspace con la semantica GPSJ, ovvero la classe di query più comune nelle applicazioni OLAP. Un'interrogazione nel dataspace dovrà essere tradotta in una serie di interrogazioni nelle sorgenti e, attraverso un livello middleware, i risultati parziali dovranno essere integrati tra loro in modo che il risultato dell'interrogazione sia corretto e allo stesso tempo completo.

Confronto di performance tra applicazioni web SQL e NoSQL su grandi quantità di dati

Lo scopo di questa tesi è di mettere a confronto le performance, su grandi quantità di dati, tra applicazioni web basate su database a modello relazionale, noti come RDBMS, e applicazioni web basate su database a modello non-relazionale, meglio conosciuti con l'appellativo NoSQL. Sono stati selezionati sette casi d'uso appartenenti ad una applicazione reale per effettuare il confronto di prestazioni tra i seguenti database: MySQL, Microsoft SQL Server, OrientDB, MongoDB e BaseX.

Dbms basati sui grafi: Analisi e prototipazione di neo4j.

L’obiettivo di questa tesi è quello di mettere a confronto due mondi: quello dei DBMS relazionali e quello dei DBMS a grafo, con lo scopo di comprendere meglio quest'ultimo. Perciò, sono state scelte le due tecnologie che meglio rappresentano i loro mondi: Oracle per gli RDBMS e Neo4j per i Graph DBMS. I due DBMS sono stati sottoposti ad una serie di interrogazioni atte a testare le performance al variare di determinati fattori, come la selettività, il numero di join che Oracle effettua, etc. I test svolti si collocano nell'ambito business intelligence e in particolare in quello dell’analisi OLAP.

Progettazione di un sistema di prenotazione on line con DBMS NoSQL

Applicazione basata sul database non relazionale MongoDB. Integrata in un sistema di prenotazione turistico online.

Analisi e sperimentazione del DBMS noSQL MongoDB: il caso di studio della Social Business Intelligence

Il primo capitolo prevede un’introduzione sul modello relazionale e sulle difficoltà che possono nascere nel tentativo di conformare le esigenze attuali di applicazioni ed utenti ai vincoli da esso imposti per lasciare poi spazio ad un’ampia descrizione del movimento NoSQL e delle tecnologie che ne fanno parte; il secondo capitolo sarà invece dedicato a MongoDB, alla presentazione delle sue caratteristiche e peculiarità, cercando di fornirne un quadro apprezzabile ed approfondito seppure non completo e del tutto esaustivo; infine nel terzo ed ultimo capitolo verrà approfondito il tema della ricerca di testo in MongoDB e verranno presentati e discussi i risultati ottenuti dai nostri test.

Big data, nosql e machine learning: un'applicazione di prediction e recommendation basata sulle api di Amazon

In questa tesi sono stati introdotti e studiati i Big Data, dando particolare importanza al mondo NoSQL, approfondendo MongoDB, e al mondo del Machine Learning, approfondendo PredictionIO. Successivamente è stata sviluppata un'applicazione attraverso l'utilizzo di tecnologie web, nodejs, node-webkit e le tecnologie approfondite prima. L'applicazione utilizza l'interpolazione polinomiale per predirre il prezzo di un bene salvato nello storico presente su MongoDB. Attraverso PredictionIO, essa analizza il comportamento degli altri utenti consigliando dei prodotti per l'acquisto. Infine è stata effetuata un'analisi dei risultati dell'errore prodotto dall'interpolazione.

Progettazione ed implementazione di un database per la gestione della mappa della connettivita urbana utilizzando tecnologie nosql

Nella tesi, inizialmente, viene introdotto il concetto di Big Data, descrivendo le caratteristiche principali, il loro utilizzo, la provenienza e le opportunità che possono apportare. Successivamente, si sono spiegati i motivi che hanno portato alla nascita del movimento NoSQL, come la necessità di dover gestire i Big Data pur mantenendo una struttura flessibile nel tempo. Inoltre, dopo un confronto con i sistemi tradizionali, si è passati al classificare questi DBMS in diverse famiglie, accennando ai concetti strutturali sulle quali si basano, per poi spiegare il funzionamento. In seguito è stato descritto il database MongoDB orientato ai documenti. Sono stati approfonditi i dettagli strutturali, i concetti sui quali si basa e gli obbiettivi che si pone, per poi andare ad analizzare nello specifico importanti funzioni, come le operazioni di inserimento e cancellazione, ma anche il modo di interrogare il database. Grazie alla sue caratteristiche che lo rendono molto performante, MonogDB, è stato utilizzato come supporto di base di dati per la realizzazione di un applicazione web che permette di mostrare la mappa della connettività urbana.

La gestione dei rifiuti urbani nel comune di Pisa

L’elaborazione di questa tesi è stata svolta con l’ausilio di strumenti di Business Intelligence. In particolare, si è dapprima alimentato un data warehouse territoriale, in cui sono stati inseriti, dopo averli elaborati, i dati messi a disposizione dagli osservatori territoriali nazionali e dall’azienda Geofor spa. A partire da questi, sono stati prodotti degli indicatori statistici e dei report, utili per evidenziare andamenti e trend di crescita di alcuni particolari indici. Il principale strumento utilizzato è StatPortal, un portale Web di Business Intelligence OLAP per la realizzazione di Data warehouse territoriali. L’argomento sarà approfondito nel capitolo sette, dedicato agli strumenti utilizzati, ma in breve, questo sistema consente di raccogliere, catalogare e condividere informazione statistica e geostatistica, nonché di produrre indicatori e reportistica. Il lavoro è organizzato come segue: inizialmente c’è una prima parte di definizione e classificazione dei rifiuti che ha l’obiettivo di permettere al lettore di inquadrare il tema e prendere coscienza del problema. Successivamente, è stata sviluppata una parte più storica, con una rapida analisi temporale per comprendere il “tipping point”, cioè il momento in cui i rifiuti hanno iniziato a essere percepiti come un problema per la comunità, concludendo con un accenno agli scenari attuali e futuri. In seguito, si è indirizzata l’attenzione sul panorama italiano, europeo e mondiale citando alcuni interessanti e originali esempi di efficienza nella gestione dei rifiuti, che potrebbero servire da spunto per qualche stakeholder nazionale. Si è poi introdotta quella che è la normativa vigente, sottolineando quali sono gli obiettivi che impone ed entro quali tempi dovranno essere raggiunti, elencando quindi i principi fondamentali del D.lgs.152/2006 e del D.lgs 36/2003. Continuando su questo filo logico, si è voluto introdurre al lettore, la questione dei Rifiuti Solidi Urbani (RSU) nel Comune di Pisa. Sono stati definiti: lo stato dell’arte dell’igiene urbana pisana, i sistemi implementati nella città con i vari pregi e difetti e quali sono state le azioni pratiche messe in atto dall’Amministrazione per far fronte al tema. Il capitolo sei rappresenta uno dei due punti focali dell’intero lavoro: il Rapporto sullo Stato dell’Ambiente della città di Pisa in tema di rifiuti urbani. Qui saranno analizzati i vari indici e report prodotti ad hoc con lo strumento Statportal appena menzionato, con lo scopo di segnalare evidenze e obiettivi dell’Amministrazione. Nel settimo capitolo si analizza la fase di progettazione del Data Warehouse. Sono elencati i passi fondamentali nella costruzione di un DW dimensionale, esponendone in primo luogo la specifica dei requisiti del progetto ed elencando per ognuno di essi le dimensioni, le misure e le aggregazioni relative. In seguito saranno descritti nel dettaglio la fase di progettazione concettuale e lo schema logico. In ultimo, sarà presentato l’altro punto focale di questa tesi, nonché la parte più interattiva: un portale web creato appositamente per il Comune con l’obiettivo di coinvolgere ed aiutare i cittadini nel conferimento dei rifiuti da loro prodotti. Si tratta di una sorta di manuale interattivo per individuare come eseguire una corretta differenziazione dei rifiuti. Lo scopo primario è quello di fare chiarezza alle utenze nella differenziazione, il che, in maniera complementare, dovrebbe incrementare la qualità del rifiuto raccolto, minimizzando i conferimenti errati. L’obiettivo principale di questo lavoro resta quindi il monitoraggio e l’analisi delle tecniche e dei processi di gestione dei rifiuti nel Comune di Pisa. Analogamente si vuole coinvolgere e suscitare l’interesse del maggior numero di persone possibile al tema della sostenibilità ambientale, rendendo consapevole il lettore che il primo passo verso un mondo più sostenibile spetta in primis a Noi che quotidianamente acquistiamo, consumiamo ed infine gettiamo via i residui senza troppo preoccuparci. Il fatto che anche in Italia, si stia sviluppando un senso civico e una forte responsabilizzazione verso l’ambiente da parte dei cittadini, fa ben sperare. Questo perché si è riusciti a imprimere il concetto che le soluzioni si ottengano impegnandosi in prima persona. E’ alla nostra comunità che si affida il dovere di non compromettere l’esistenza delle generazioni future, incaricandola del compito di ristabilire un equilibrio, ormai precario, tra umanità e ambiente, se non altro perché, come recita un vecchio proverbio Navajo: “il mondo non lo abbiamo in eredità dai nostri padri ma lo abbiamo in prestito dai nostri figli”.

MongoDB: analisi e prototipazione su applicazioni di social business intelligence

L’ultimo decennio ha visto un radicale cambiamento del mercato informatico, con la nascita di un numero sempre maggiore di applicazioni rivolte all’interazione tra utenti. In particolar modo, l’avvento dei social network ha incrementato notevolmente le possibilità di creare e condividere contenuti sul web, generando volumi di dati sempre maggiori, nell’ordine di petabyte e superiori. La gestione di tali quantità di dati ha portato alla nascita di soluzioni non relazionali appositamente progettate, dette NoSQL. Lo scopo di questo documento è quello di illustrare come i sistemi NoSQL, nello specifico caso di MongoDB, cerchino di sopperire alle difficoltà d’utilizzo dei database relazionali in un contesto largamente distribuito. Effettuata l'analisi delle principali funzionalità messe a disposizione da MongoDB, si illustreranno le caratteristiche di un prototipo di applicazione appositamente progettato che sfrutti una capacità peculiare di MongoDB quale la ricerca full-text. In ultima analisi si fornirà uno studio delle prestazioni di tale soluzione in un ambiente basato su cluster, evidenziandone il guadagno prestazionale.

Progettazione e realizzazione di una piattaforma DBAAS per Jackrabbit/JCR

Lo scopo di questa tesi è presentare un progetto per la realizzazione di una piattaforma DBAAS per il database Jackrabbit. Per piattaforma DBAAS si intende un sistema in grado di offrire ai clienti un database su richiesta (DataBase As A Service), e di amministrare automaticamente i database per conto dei clienti. Il progetto viene realizzato in un primo momento tramite un prototipo della piattaforma, in cui vengono effettuati test intensivi per controllare ogni funzionalità della piattaforma. Il prototipo viene sviluppato in un singolo host, nel quale è possibile simulare tutte le operazioni base della piattaforma DBAAS, come se fosse il sistema finale. In un secondo momento, il progetto sarà realizzato nella sua versione finale, con tutto l'hardware necessario a garantire un servizio ottimale. Questa tesi contiene la base per realizzare il sistema finale, che può essere realizzato in modi diversi a seconda delle scelte che farà il progettista. Ad esempio, è possibile comprare tutto l'hardware necessario e implementare la piattaforma DBAAS in-house, oppure si può scegliere di affidare tutta la gestione hardware ad un servizio di hosting.

Progettazione di uno strumento di analisi dati per sistemi SCADA-ENERGY Management System

L’obiettivo di questa tesi è approfondire le competenze sulle funzionalità sviluppate nei sistemi SCADA/EMS presenti sul mercato, così da conoscerne le potenzialità offerte: tutte le conoscenze acquisite servono a progettare uno strumento di analisi dati flessibile e interattivo, con il quale è possibile svolgere analisi non proponibili con le altre soluzioni analizzate. La progettazione dello strumento di analisi dei dati è orientata a definire un modello multidimensionale per la rappresentazione delle informazioni: il percorso di progettazione richiede di individuare le informazioni d’interesse per l’utente, così da poterle reintrodurre in fase di progettazione della nuova base dati. L’infrastruttura finale di questa nuova funzionalità si concretizza in un data warehouse: tutte le informazioni di analisi sono memorizzare su una base dati diversa da quella di On.Energy, evitando di correlare le prestazione dei due diversi sottosistemi. L’utilizzo di un data warehouse pone le basi per realizzare analisi su lunghi periodi temporali: tutte le tipologie di interrogazione dati comprendono un enorme quantità d’informazioni, esattamente in linea con le caratteristiche delle interrogazioni OLAP

Mongodb tra i database non relazionali - focus su Map-Reduce e gestione della memoria

Panoramica delle caratteristiche dei database NoSQL, con dettaglio su MongoDB: filosofia di progettazione, modello dei dati, indicizzazione, algoritmo Map-Reduce e gestione della memoria.