Mongodb tra i database non relazionali - focus su Map-Reduce e gestione della memoria

Panoramica delle caratteristiche dei database NoSQL, con dettaglio su MongoDB: filosofia di progettazione, modello dei dati, indicizzazione, algoritmo Map-Reduce e gestione della memoria.

Mobile CSCW e sincronizzazione dati per il soccorso in emergenza: un caso di studio

L'obiettivo principale di questa tesi è quello di approfondire il tema della comunicazione e sincronizzazione dati nel contesto di uno specifico caso di studio di sistema informatico a supporto del lavoro cooperativo per il soccorso in emergenza: a partire dai requisiti del caso applicativo, secondo cui agli operatori deve essere possibile utilizzare il sistema anche a fronte di disconnessioni dei propri dispositivi mobili, emerge infatti la necessità di un middleware a cui il livello applicativo demandi le funzionalità di sincronizzare le informazioni prodotte durante le operazioni, in modo da promuovere uno scambio di informazioni che migliori e supporti l'azione del singolo e conseguentemente del team. Quindi, dopo aver introdotto la tematica ed analizzato il caso di studio da affrontare, viene descritta l'esplorazione del panorama tecnologico volta alla ricerca di strumenti o approcci che possano mitigare la complessità nella realizzazione di questa funzionalità. Nel panorama tecnologico considerato, comprendente framework per servizi web, MOM e database, uno strumento di particolare interesse è stato individuato in CouchDB, un database NoSQL, grazie alle sue funzionalità di replica e sincronizzazione e alla presenza di una libreria per lo sviluppo su dispositivi mobili: su di esso è stata effettuata una breve fase di sperimentazione volta a saggiarne in maniera più concreta le potenzialità anche in relazione alla valutazione di fattibilità per il caso applicativo considerato.

Supporto ad Applicazioni di Web Reputation basate su Piattaforma Apache Storm

Parametro indispensabile di valutazione di un qualsiasi prodotto o servizio, ai giorni nostri, è la web reputation. Sono sempre più numerose le aziende che monitorano la propria "reputazione online". Quest'ultima può esser definita come l'insieme dei messaggi, commenti e feedbacks, positivi, neutri o negativi che siano, di utenti che esprimono la loro opinione tramite il web su un determinato servizio o prodotto rivolto al pubblico. L’applicazione sviluppata, si pone l’obiettivo di analizzare in tempo reale tramite l’utilizzo di Apache Storm, dati provenienti da fonti eterogenee, classificarli tramite KNIME utilizzando tecniche di classificazione quali SVM, alberi decisionali e Naive Bayesian, renderli persistenti mediante l’utilizzo del database NoSQL HBASE e di visualizzarli in tempo reale attraverso dei grafici utilizzando delle servlet, al fine di costituire un valido strumento di supporto per i processi decisionali.

Un framework per l'analisi di big data con elevata eterogeneità all'interno di multistore

I big data sono caratterizzati dalle ben note 4v: volume, velocità, veracità e varietà. Quest'ultima risulta di importanza critica nei sistemi schema-less, dove il concetto di schema non è rigido. In questo contesto rientrano i database NoSQL, i quali offrono modelli dati diversi dal classico modello dati relazionale, ovvero: documentale, wide-column, grafo e key-value. Si parla di multistore quando ci si riferisce all'uso di database con modelli dati diversi che vengono esposti con un'unica interfaccia di interrogazione, sia per sfruttare caratteristiche di un modello dati che per le maggiori performance dei database NoSQL in contesti distribuiti. Fare analisi sui dati all'interno di un multistore risulta molto più complesso: i dati devono essere integrati e va ripristinata la consistenza. A questo scopo nasce la necessità di approcci più soft, chiamati pay-as-you-go: l'integrazione è leggera e incrementale, aggira la complessità degli approcci di integrazione tradizionali e restituisce risposte best-effort o approssimative. Seguendo tale filosofia, nasce il concetto di dataspace come rappresentazione logica e di alto livello dei dataset disponibili. Obiettivo di questo lavoro tesi è studiare, progettare e realizzare una modalità di interrogazione delle sorgenti dati eterogenee in contesto multistore con l'intento di fare analisi situazionali, considerando le problematiche di varietà e appoggiandosi all'integrazione fornita dal dataspace. Lo scopo finale è di sviluppare un prototipo che esponga un'interfaccia per interrogare il dataspace con la semantica GPSJ, ovvero la classe di query più comune nelle applicazioni OLAP. Un'interrogazione nel dataspace dovrà essere tradotta in una serie di interrogazioni nelle sorgenti e, attraverso un livello middleware, i risultati parziali dovranno essere integrati tra loro in modo che il risultato dell'interrogazione sia corretto e allo stesso tempo completo.

Progettazione di database con Mysql e MongoDB: analisi di prestazioni su un caso di studio

Analisi di prestazioni di un database costruito con MongoDB e uno con Mysql residenti su due macchine virtuali uguali configurate appositamente per i test di inserimento, interrogazione e eliminazione.

Progettazione ed implementazione di un database per la gestione della mappa della connettivita urbana utilizzando tecnologie nosql

Nella tesi, inizialmente, viene introdotto il concetto di Big Data, descrivendo le caratteristiche principali, il loro utilizzo, la provenienza e le opportunità che possono apportare. Successivamente, si sono spiegati i motivi che hanno portato alla nascita del movimento NoSQL, come la necessità di dover gestire i Big Data pur mantenendo una struttura flessibile nel tempo. Inoltre, dopo un confronto con i sistemi tradizionali, si è passati al classificare questi DBMS in diverse famiglie, accennando ai concetti strutturali sulle quali si basano, per poi spiegare il funzionamento. In seguito è stato descritto il database MongoDB orientato ai documenti. Sono stati approfonditi i dettagli strutturali, i concetti sui quali si basa e gli obbiettivi che si pone, per poi andare ad analizzare nello specifico importanti funzioni, come le operazioni di inserimento e cancellazione, ma anche il modo di interrogare il database. Grazie alla sue caratteristiche che lo rendono molto performante, MonogDB, è stato utilizzato come supporto di base di dati per la realizzazione di un applicazione web che permette di mostrare la mappa della connettività urbana.

Armazéns de dados em bases de dados NoSQL

Na atualidade, existe uma quantidade de dados criados diariamente que ultrapassam em muito as mais otimistas espectativas estabelecidas na década anterior. Estes dados têm origens bastante diversas e apresentam-se sobre várias formas. Este novo conceito que dá pelo nome de Big Data está a colocar novos e rebuscados desafios ao seu armazenamento, tratamento e manipulação. Os tradicionais sistemas de armazenamento não se apresentam como a solução indicada para este problema. Estes desafios são alguns dos mais analisados e dissertados temas informáticos do momento. Várias tecnologias têm emergido com esta nova era, das quais se salienta um novo paradigma de armazenamento, o movimento NoSQL. Esta nova filosofia de armazenamento visa responder às necessidades de armazenamento e processamento destes volumosos e heterogéneos dados. Os armazéns de dados são um dos componentes mais importantes do âmbito Business Intelligence e são, maioritariamente, utilizados como uma ferramenta de apoio aos processos de tomada decisão, levados a cabo no dia-a-dia de uma organização. A sua componente histórica implica que grandes volumes de dados sejam armazenados, tratados e analisados tendo por base os seus repositórios. Algumas organizações começam a ter problemas para gerir e armazenar estes grandes volumes de informação. Esse facto deve-se, em grande parte, à estrutura de armazenamento que lhes serve de base. Os sistemas de gestão de bases de dados relacionais são, há algumas décadas, considerados como o método primordial de armazenamento de informação num armazém de dados. De facto, estes sistemas começam a não se mostrar capazes de armazenar e gerir os dados operacionais das organizações, sendo consequentemente cada vez menos recomendada a sua utilização em armazéns de dados. É intrinsecamente interessante o pensamento de que as bases de dados relacionais começam a perder a luta contra o volume de dados, numa altura em que um novo paradigma de armazenamento surge, exatamente com o intuito de dominar o grande volume inerente aos dados Big Data. Ainda é mais interessante o pensamento de que, possivelmente, estes novos sistemas NoSQL podem trazer vantagens para o mundo dos armazéns de dados. Assim, neste trabalho de mestrado, irá ser estudada a viabilidade e as implicações da adoção de bases de dados NoSQL, no contexto de armazéns de dados, em comparação com a abordagem tradicional, implementada sobre sistemas relacionais. Para alcançar esta tarefa, vários estudos foram operados tendo por base o sistema relacional SQL Server 2014 e os sistemas NoSQL, MongoDB e Cassandra. Várias etapas do processo de desenho e implementação de um armazém de dados foram comparadas entre os três sistemas, sendo que três armazéns de dados distintos foram criados tendo por base cada um dos sistemas. Toda a investigação realizada neste trabalho culmina no confronto da performance de consultas, realizadas nos três sistemas.

Document-based databases: estudo comparativo no âmbito das bases de dados NoSql

Dissertação de mestrado integrado em Engenharia e Gestão de Sistemas de Informação

Vorbereitung der Portierung der Stoffdatenbank GSBL in eine NoSQL-Datenstruktur anhand der dokumentorientierten Datenbank: MongoDB

Das Thema dieser Arbeit orientiert sich am Bedarf des Umweltbundesamtes, die Stoffdatenbank GSBL weiter zu entwickeln, die Speichersrtuktur der GSBL zu moderniesieren und die Möglichkeit seiner Nutzung für verschiedene Anwendergruppen zu verbessern. Die heutige Datenhaltunf´g basiert auf einer relationalen Speicherung und wird transponiert gelöst.Transponierung in Bezug auf eine relationale Speicherung bedeutet, dass Spalten und Zeilen einer Tabelle getauscht werden. Die Tabelle mit GSBL-Daten ist derart gesataltet, dass die Eigenschaften der chemischen Stoffe als Zeilenbezeichnungen statt als Spaltenüberschriften aufgefasst werden, wie es üblich bei einer relationalen Speicherung ist. In dieser Arbeit wird ein Überblick über verschiedene Datenmodelle, ihre Vorteile und Nachteile im Hinblick auf die spezielle Problematik der Stoffdatenbanken gegeben. Die Eigenschaften von MongoDB werden in Bezug auf eine konkrete Problemstellung getestet und bewertet. Diese Arbeit soll in Bezug auf eine mögliche Portierung des GSBL (oder ähnlicher Stoffdatenbanken) zu NoSQL eine Hilfe zur Verfügung stellen.

MongoDB: analisi e prototipazione su applicazioni di social business intelligence

L’ultimo decennio ha visto un radicale cambiamento del mercato informatico, con la nascita di un numero sempre maggiore di applicazioni rivolte all’interazione tra utenti. In particolar modo, l’avvento dei social network ha incrementato notevolmente le possibilità di creare e condividere contenuti sul web, generando volumi di dati sempre maggiori, nell’ordine di petabyte e superiori. La gestione di tali quantità di dati ha portato alla nascita di soluzioni non relazionali appositamente progettate, dette NoSQL. Lo scopo di questo documento è quello di illustrare come i sistemi NoSQL, nello specifico caso di MongoDB, cerchino di sopperire alle difficoltà d’utilizzo dei database relazionali in un contesto largamente distribuito. Effettuata l'analisi delle principali funzionalità messe a disposizione da MongoDB, si illustreranno le caratteristiche di un prototipo di applicazione appositamente progettato che sfrutti una capacità peculiare di MongoDB quale la ricerca full-text. In ultima analisi si fornirà uno studio delle prestazioni di tale soluzione in un ambiente basato su cluster, evidenziandone il guadagno prestazionale.

Confronto di performance tra applicazioni web SQL e NoSQL su grandi quantità di dati

Lo scopo di questa tesi è di mettere a confronto le performance, su grandi quantità di dati, tra applicazioni web basate su database a modello relazionale, noti come RDBMS, e applicazioni web basate su database a modello non-relazionale, meglio conosciuti con l'appellativo NoSQL. Sono stati selezionati sette casi d'uso appartenenti ad una applicazione reale per effettuare il confronto di prestazioni tra i seguenti database: MySQL, Microsoft SQL Server, OrientDB, MongoDB e BaseX.

Progettazione di un sistema di prenotazione on line con DBMS NoSQL

Applicazione basata sul database non relazionale MongoDB. Integrata in un sistema di prenotazione turistico online.

Analisi e sperimentazione del DBMS noSQL MongoDB: il caso di studio della Social Business Intelligence

Il primo capitolo prevede un’introduzione sul modello relazionale e sulle difficoltà che possono nascere nel tentativo di conformare le esigenze attuali di applicazioni ed utenti ai vincoli da esso imposti per lasciare poi spazio ad un’ampia descrizione del movimento NoSQL e delle tecnologie che ne fanno parte; il secondo capitolo sarà invece dedicato a MongoDB, alla presentazione delle sue caratteristiche e peculiarità, cercando di fornirne un quadro apprezzabile ed approfondito seppure non completo e del tutto esaustivo; infine nel terzo ed ultimo capitolo verrà approfondito il tema della ricerca di testo in MongoDB e verranno presentati e discussi i risultati ottenuti dai nostri test.

Data modelling su database non relazionali: confronto di prestazioni su operazioni CRUD

Gli obiettivi di questi tesi sono lo studio comparativo di alcuni DBMS non relazionali e il confronto di diverse soluzioni di modellazione logica e fisica per database non relazionali. Utilizzando come sistemi di gestione due DBMS Document-based non relazionali, MongoDB e CouchDB, ed un DBMS relazionale, Oracle, sarà effettuata un’analisi di diverse soluzione di modellazione logica dei dati in database documentali e uno studio mirato alla scelta degli attributi sui quali costruire indici. In primo luogo verrà definito un semplice caso di studio su cui effettuare i confronto, basato su due entità in relazione 1:N, sulle quali sarà costruito un opportuno carico di lavoro. Idatabase non relazionali sono schema-less, senza schema fisso, ed esiste una libertà maggiore di modellazione. In questo lavoro di tesi i dati verranno modellati secondo le tecniche del Referencing ed Embedding che consistono rispettivamente nell’inserimento di una chiave (riferimento) oppure di un intero sotto-documento (embedding) all’interno di un documento per poter esprimere il concetto di relazione tra diverse entità. Per studiare l’opportunità di indicizzare un attributo, ciascuna entità sarà poi composta da due triplette uguali di attributi definiti con differenti livelli di selettività, con la differenza che su ciascun attributo della seconda sarà costruito un indice. Il carico di lavoro sarà costituito da query definite in modo da poter testare le diverse modellazioni includendo anche predicati di join che non sono solitamente contemplati in modelli documentali. Per ogni tipo di database verranno eseguite le query e registrati i tempi, in modo da poter confrontare le performance dei diversi DBMS sulla base delle operazioni CRUD.

SGBD de alta escalabilidade com suporte a dados georreferenciados

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e de Computadores