Gerenciamento de Big Data em plantas industriais

Nowadays the companies generate great amount of data from different sources, however some of them produce more data than they can analyze. Big Data is a set of data that grows very fast, collected several times during a short period of time. This work focus on the importance of the correct management of Big Data in an industrial plant. Through a case study based on a company that belongs to the pulp and paper area, the problems resolutions are going to be presented with the usage of appropriate data management. In the final chapters, the results achieved by the company are discussed, showing how the correct choice of data to be monitored and analyzed brought benefits to the company, also best practices will be recommended for the Big Data management

Inteligência cibernética e uso de recursos semânticos na detecção de perfis falsos no contexto do Big Data

Pós-graduação em Ciência da Informação - FFC

Gerenciamento de Big Data em plantas industriais

Nowadays the companies generate great amount of data from different sources, however some of them produce more data than they can analyze. Big Data is a set of data that grows very fast, collected several times during a short period of time. This work focus on the importance of the correct management of Big Data in an industrial plant. Through a case study based on a company that belongs to the pulp and paper area, the problems resolutions are going to be presented with the usage of appropriate data management. In the final chapters, the results achieved by the company are discussed, showing how the correct choice of data to be monitored and analyzed brought benefits to the company, also best practices will be recommended for the Big Data management

A Fuzzy Ontology-Driven Approach to Semantic Interoperability in e-Government Big Data

With the increasing production of information from e-government initiatives, there is also the need to transform a large volume of unstructured data into useful information for society. All this information should be easily accessible and made available in a meaningful and effective way in order to achieve semantic interoperability in electronic government services, which is a challenge to be pursued by governments round the world. Our aim is to discuss the context of e-Government Big Data and to present a framework to promote semantic interoperability through automatic generation of ontologies from unstructured information found in the Internet. We propose the use of fuzzy mechanisms to deal with natural language terms and present some related works found in this area. The results achieved in this study are based on the architectural definition and major components and requirements in order to compose the proposed framework. With this, it is possible to take advantage of the large volume of information generated from e-Government initiatives and use it to benefit society.

Analisi e realizzazione di una piattaforma basate sul Cloud Computing per il trattamento dei Big Data.

L'elaborato introduce i concetti di Big Data, Cloud Computing e le tipologie di paradigmi basati sul calcolo parallelo. Trasformando questi concetti in pratica tramite un caso di studio sui Big Data. Nell'elaborato si spiega l'architettura proposta per l'elaborazione di report in formato pdf. Analaizando in fine i risultati ottenuti.

Big data: il valore dei dati e applicazioni all'analisi strategica

Il presente lavoro di tesi tende a un duplice scopo: il primo è quello di fornire una accurata analisi tecnica, applicativa e culturale riguardante il vasto mondo dei big data e il secondo quello di trovare connessioni con l’analisi strategica verificando se e in quale modo i big data possano risultare una risorsa distintiva in campo aziendale. Nello specifico il primo capitolo presenta i big data nelle sue caratteristiche più importanti cercando di approfondire gli aspetti tecnici del fenomeno, le fonti di produzione dei dati, le metodologie principali di analisi e l’impatto sulla società. Il secondo capitolo descrive svariate applicazioni dei big data in campo aziendale concentrandosi sul rapporto tra questi e l’analisi strategica, non trascurando temi come il vantaggio competitivo e la business intelligence. Infine il terzo capitolo analizza la condizione attuale, il punto di vista italiano ed eventuali sviluppi futuri del fenomeno.

Big data, nosql e machine learning: un'applicazione di prediction e recommendation basata sulle api di Amazon

In questa tesi sono stati introdotti e studiati i Big Data, dando particolare importanza al mondo NoSQL, approfondendo MongoDB, e al mondo del Machine Learning, approfondendo PredictionIO. Successivamente è stata sviluppata un'applicazione attraverso l'utilizzo di tecnologie web, nodejs, node-webkit e le tecnologie approfondite prima. L'applicazione utilizza l'interpolazione polinomiale per predirre il prezzo di un bene salvato nello storico presente su MongoDB. Attraverso PredictionIO, essa analizza il comportamento degli altri utenti consigliando dei prodotti per l'acquisto. Infine è stata effetuata un'analisi dei risultati dell'errore prodotto dall'interpolazione.

Online Stream Processing di Big Data su Apache Storm per Applicazioni di Instant Coupon

Big data è il termine usato per descrivere una raccolta di dati così estesa in termini di volume,velocità e varietà da richiedere tecnologie e metodi analitici specifici per l'estrazione di valori significativi. Molti sistemi sono sempre più costituiti e caratterizzati da enormi moli di dati da gestire,originati da sorgenti altamente eterogenee e con formati altamente differenziati,oltre a qualità dei dati estremamente eterogenei. Un altro requisito in questi sistemi potrebbe essere il fattore temporale: sempre più sistemi hanno bisogno di ricevere dati significativi dai Big Data il prima possibile,e sempre più spesso l’input da gestire è rappresentato da uno stream di informazioni continuo. In questo campo si inseriscono delle soluzioni specifiche per questi casi chiamati Online Stream Processing. L’obiettivo di questa tesi è di proporre un prototipo funzionante che elabori dati di Instant Coupon provenienti da diverse fonti con diversi formati e protocolli di informazioni e trasmissione e che memorizzi i dati elaborati in maniera efficiente per avere delle risposte in tempo reale. Le fonti di informazione possono essere di due tipologie: XMPP e Eddystone. Il sistema una volta ricevute le informazioni in ingresso, estrapola ed elabora codeste fino ad avere dati significativi che possono essere utilizzati da terze parti. Lo storage di questi dati è fatto su Apache Cassandra. Il problema più grosso che si è dovuto risolvere riguarda il fatto che Apache Storm non prevede il ribilanciamento delle risorse in maniera automatica, in questo caso specifico però la distribuzione dei clienti durante la giornata è molto varia e ricca di picchi. Il sistema interno di ribilanciamento sfrutta tecnologie innovative come le metriche e sulla base del throughput e della latenza esecutiva decide se aumentare/diminuire il numero di risorse o semplicemente non fare niente se le statistiche sono all’interno dei valori di soglia voluti.

Modelli e Strumenti di Classifciazione Automatica per il Controllo dell'Accesso su Piattaforme Big Data

Dall'analisi dei big data si possono trarre degli enormi benefici in svariati ambiti applicativi. Uno dei fattori principali che contribuisce alla ricchezza dei big data, consiste nell'uso non previsto a priori di dati immagazzinati in precedenza, anche in congiunzione con altri dataset eterogenei: questo permette di trovare correlazioni significative e inaspettate tra i dati. Proprio per questo, il Valore, che il dato potenzialmente porta con sè, stimola le organizzazioni a raccogliere e immagazzinare sempre più dati e a ricercare approcci innovativi e originali per effettuare analisi su di essi. L’uso fortemente innovativo che viene fatto dei big data in questo senso e i requisiti tecnologici richiesti per gestirli hanno aperto importanti problematiche in materia di sicurezza e privacy, tali da rendere inadeguati o difficilmente gestibili, gli strumenti di sicurezza utilizzati finora nei sistemi tradizionali. Con questo lavoro di tesi si intende analizzare molteplici aspetti della sicurezza in ambito big data e offrire un possibile approccio alla sicurezza dei dati. In primo luogo, la tesi si occupa di comprendere quali sono le principali minacce introdotte dai big data in ambito di privacy, valutando la fattibilità delle contromisure presenti all’attuale stato dell’arte. Tra queste anche il controllo dell’accesso ha riscontrato notevoli sfide causate dalle necessità richieste dai big data: questo elaborato analizza pregi e difetti del controllo dell’accesso basato su attributi (ABAC), un modello attualmente oggetto di discussione nel dibattito inerente sicurezza e privacy nei big data. Per rendere attuabile ABAC in un contesto big data, risulta necessario l’ausilio di un supporto per assegnare gli attributi di visibilità alle informazioni da proteggere. L’obiettivo di questa tesi consiste nel valutare fattibilità, caratteristiche significative e limiti del machine learning come possibile approccio di utilizzo.

Big-data e Turismo: Analisi delle recensioni utente sulla piattaforma Expedia

Big data e turismo è il tema principale di questa tesi: esamina l'utilizzo dei social media come mezzo di interazione tra turisti e albergatori, prendendo come riferimento la piattaforma di booking Expedia.com e come campione di hotel tutti gli hotel della penisola italiana. In particolare si vogliono studiare i due tipi di utenti che utilizzano questo tipo di piatta forma, ovvero turisti e albergatori. Dei turisti si vuole capire il loro livello di attività su social media, calcolando l'andamento delle recensioni postate; poi si passa ad uno studio della singola recensione e infine si è cercato di stabilire le preferenze dei turisti in base alle valutazioni. Anche per quanto riguarda l'altra tipologia di utenti, ovvero gli albergatori, si è voluto capire quanto utilizzino Expedia, studiando le risposte alle recensioni. Infine, tramite un confronto tra la distribuzione delle recensioni suddivise per lingua tra le varie regioni italiane, e i dati ENIT del turismo, si è voluto rilevare se vi e una correlazione tra recensioni e densità di turismo.

Big Data: applicazione di una λ-Architecture alla gestione batch di dati climatici

L’avanzamento tecnologico degli ultimi anni ha portato ad un aumento sostanziale dei dati generati giornalmente. L’analisi di queste ingenti quantità di dati si è rivelata essere troppo complessa per i sistemi tradizionali ed è stato pertanto necessario sviluppare nuovi approcci basati sul calcolo distribuito. I nuovi strumenti sviluppati in seguito a queste nuove necessità sono framework di calcolo parallelo basati sul paradigma del MapReduce, un modello di programmazione sviluppato da Google, e sistemi di gestione di basi di dati fluidi, in grado di trattare rapidamente grandi quantità di dati non strutturati. Lo scopo alla base di entrambi è quello di costruire sistemi scalabili orizzontalmente e utilizzabili su hardware di largo consumo. L’utilizzo di questi nuovi strumenti può comunque portare alla creazione di sistemi poco ottimizzati e di difficile gestione. Nathan Marz propone un’architettura a livelli che utilizza i nuovi strumenti in maniera congiunta per creare sistemi semplici e robusti: questa prende il nome di Lambda-Architecture. In questa tesi viene introdotto brevemente il concetto di Big Data e delle nuove problematiche ad esso associate, si procede poi ad illustrare i principi su cui si basano i nuovi strumenti di calcolo distribuito sviluppati per affrontarle. Viene poi definita l’Architettura Lambda di Nathan Marz, ponendo particolare attenzione su uno dei livelli che la compone, chiamato Batch Layer. I principi della Lambda Architecture sono infine applicati nella costruzione di un Batch Layer, utilizzato per l’analisi e la gestione di dati climatici con fini statistici.

Elaborazione di Big Data: un’applicazione dello Speed Layer di Lambda Architecture

I Big Data hanno forgiato nuove tecnologie che migliorano la qualità della vita utilizzando la combinazione di rappresentazioni eterogenee di dati in varie discipline. Occorre, quindi, un sistema realtime in grado di computare i dati in tempo reale. Tale sistema viene denominato speed layer, come si evince dal nome si è pensato a garantire che i nuovi dati siano restituiti dalle query funcions con la rapidità in cui essi arrivano. Il lavoro di tesi verte sulla realizzazione di un’architettura che si rifaccia allo Speed Layer della Lambda Architecture e che sia in grado di ricevere dati metereologici pubblicati su una coda MQTT, elaborarli in tempo reale e memorizzarli in un database per renderli disponibili ai Data Scientist. L’ambiente di programmazione utilizzato è JAVA, il progetto è stato installato sulla piattaforma Hortonworks che si basa sul framework Hadoop e sul sistema di computazione Storm, che permette di lavorare con flussi di dati illimitati, effettuando l’elaborazione in tempo reale. A differenza dei tradizionali approcci di stream-processing con reti di code e workers, Storm è fault-tolerance e scalabile. Gli sforzi dedicati al suo sviluppo da parte della Apache Software Foundation, il crescente utilizzo in ambito di produzione di importanti aziende, il supporto da parte delle compagnie di cloud hosting sono segnali che questa tecnologia prenderà sempre più piede come soluzione per la gestione di computazioni distribuite orientate agli eventi. Per poter memorizzare e analizzare queste moli di dati, che da sempre hanno costituito una problematica non superabile con i database tradizionali, è stato utilizzato un database non relazionale: HBase.

Privacy as human flourishing: Could a shift towards virtue ethics strengthen privacy protection in the age of Big Data?

Privacy is commonly seen as an instrumental value in relation to negative freedom, human dignity and personal autonomy. Article 8 ECHR, protecting the right to privacy, was originally coined as a doctrine protecting the negative freedom of citizens in vertical relations, that is between citizen and state. Over the years, the Court has extended privacy protection to horizontal relations and has gradually accepted that individual autonomy is an equally important value underlying the right to privacy. However, in most of the recent cases regarding Article 8 ECHR, the Court goes beyond the protection of negative freedom and individual autonomy and instead focuses self-expression, personal development and human flourishing. Accepting this virtue ethical notion, in addition to the traditional Kantian focus on individual autonomy and human dignity, as a core value of Article 8 ECHR may prove vital for the protection of privacy in the age of Big Data.