Confronto di performance tra applicazioni web SQL e NoSQL su grandi quantità di dati

Lo scopo di questa tesi è di mettere a confronto le performance, su grandi quantità di dati, tra applicazioni web basate su database a modello relazionale, noti come RDBMS, e applicazioni web basate su database a modello non-relazionale, meglio conosciuti con l'appellativo NoSQL. Sono stati selezionati sette casi d'uso appartenenti ad una applicazione reale per effettuare il confronto di prestazioni tra i seguenti database: MySQL, Microsoft SQL Server, OrientDB, MongoDB e BaseX.

Sviluppo di un modello di costo per Spark Sql

La quantità di dati che vengono generati e immagazzinati sta aumentando sempre più grazie alle nuove tecnologie e al numero di utenti sempre maggiore. Questi dati, elaborati correttamente, permettono quindi di ottenere delle informazioni di valore strategico che aiutano nell’effettuare decisioni aziendali a qualsiasi livello, dalla produzione fino al marketing. Sono nati soprattutto negli ultimi anni numerosi framework proprietari e open source che permettono l'elaborazione di questi dati sfruttando un cluster. In particolare tra i più utilizzati e attivi in questo momento a livello open source troviamo Hadoop e Spark. Obiettivo di questa tesi è realizzare un modello di Spark per realizzare una funzione di costo che sia non solo implementabile all’interno dell’ottimizzatore di Spark SQL, ma anche per poter effettuare delle simulazioni di esecuzione di query su tale sistema. Si è quindi studiato nel dettaglio con ducumentazione e test il comportamento del sistema per realizzare un modello. I dati ottenuti sono infine stati confrontati con dati sperimentali ottenuti tramite l'utilizzo di un cluster. Con la presenza di tale modello non solo risulta possibile comprendere in maniera più approfondita il reale comportamento di Spark ma permette anche di programmare applicazioni più efficienti e progettare con maggiore precisione sistemi per la gestione dei dataset che sfruttino tali framework.

Sistema per la gestione di basi di dati relazionali da XML

Nello sviluppo di sistemi informatici si sono affermate numerose tecnologie, che vanno utilizzate in modo combinato e, possibilmente sinergico. Da una parte, i sistemi di gestione di basi di dati relazionali consentono una gestione efficiente ed efficace di dati persistenti, condivisi e transazionali. Dall'altra, gli strumenti e i metodi orientati agli oggetti (linguaggi di programmazione, ma anche metodologie di analisi e progettazione) consentono uno sviluppo efficace della logica applicativa delle applicazioni. E’ utile in questo contesto spiegare che cosa s'intende per sistema informativo e sistema informatico. Sistema informativo: L'insieme di persone, risorse tecnologiche, procedure aziendali il cui compito è quello di produrre e conservare le informazioni che servono per operare nell'impresa e gestirla. Sistema informatico: L'insieme degli strumenti informatici utilizzati per il trattamento automatico delle informazioni, al fine di agevolare le funzioni del sistema informativo. Ovvero, il sistema informatico raccoglie, elabora, archivia, scambia informazione mediante l'uso delle tecnologie proprie dell'Informazione e della Comunicazione (ICT): calcolatori, periferiche, mezzi di comunicazione, programmi. Il sistema informatico è quindi un componente del sistema informativo. Le informazioni ottenute dall'elaborazione dei dati devono essere salvate da qualche parte, in modo tale da durare nel tempo dopo l'elaborazione. Per realizzare questo scopo viene in aiuto l'informatica. I dati sono materiale informativo grezzo, non (ancora) elaborato da chi lo riceve, e possono essere scoperti, ricercati, raccolti e prodotti. Sono la materia prima che abbiamo a disposizione o produciamo per costruire i nostri processi comunicativi. L'insieme dei dati è il tesoro di un'azienda e ne rappresenta la storia evolutiva. All'inizio di questa introduzione è stato accennato che nello sviluppo dei sistemi informatici si sono affermate diverse tecnologie e che, in particolare, l'uso di sistemi di gestione di basi di dati relazionali comporta una gestione efficace ed efficiente di dati persistenti. Per persistenza di dati in informatica si intende la caratteristica dei dati di sopravvivere all'esecuzione del programma che li ha creati. Se non fosse cosi, i dati verrebbero salvati solo in memoria RAM e sarebbero persi allo spegnimento del computer. Nella programmazione informatica, per persistenza si intende la possibilità di far sopravvivere strutture dati all'esecuzione di un programma singolo. Occorre il salvataggio in un dispositivo di memorizzazione non volatile, come per esempio su un file system o su un database. In questa tesi si è sviluppato un sistema che è in grado di gestire una base di dati gerarchica o relazionale consentendo l'importazione di dati descritti da una grammatica DTD. Nel capitolo 1 si vedranno più in dettaglio cosa di intende per Sistema Informativo, modello client-server e sicurezza dei dati. Nel capitolo 2 parleremo del linguaggio di programmazione Java, dei database e dei file XML. Nel capitolo 3 descriveremo un linguaggio di analisi e modellazione UML con esplicito riferimento al progetto sviluppato. Nel capitolo 4 descriveremo il progetto che è stato implementato e le tecnologie e tools utilizzati.

Sicurezza di rete, analisi del traffico e monitoraggio.

Il lavoro è stato suddiviso in tre macro-aree. Una prima riguardante un'analisi teorica di come funzionano le intrusioni, di quali software vengono utilizzati per compierle, e di come proteggersi (usando i dispositivi che in termine generico si possono riconoscere come i firewall). Una seconda macro-area che analizza un'intrusione avvenuta dall'esterno verso dei server sensibili di una rete LAN. Questa analisi viene condotta sui file catturati dalle due interfacce di rete configurate in modalità promiscua su una sonda presente nella LAN. Le interfacce sono due per potersi interfacciare a due segmenti di LAN aventi due maschere di sotto-rete differenti. L'attacco viene analizzato mediante vari software. Si può infatti definire una terza parte del lavoro, la parte dove vengono analizzati i file catturati dalle due interfacce con i software che prima si occupano di analizzare i dati di contenuto completo, come Wireshark, poi dei software che si occupano di analizzare i dati di sessione che sono stati trattati con Argus, e infine i dati di tipo statistico che sono stati trattati con Ntop. Il penultimo capitolo, quello prima delle conclusioni, invece tratta l'installazione di Nagios, e la sua configurazione per il monitoraggio attraverso plugin dello spazio di disco rimanente su una macchina agent remota, e sui servizi MySql e DNS. Ovviamente Nagios può essere configurato per monitorare ogni tipo di servizio offerto sulla rete.

Progettazione di un'applicazione web-oriented per la gestione di un sistema informativo aziendale

L’azienda committente vuole ampliare la possibilità di accedere al suo database, sia dall’esterno che dall’interno, non solamente da parte di un unico utente amministratore, ma anche da tutti gli agenti distribuiti sul territorio nazionale e tutti gli impiegati degli uffici. Si vuole inoltre creare un sistema di notifiche via email che permetta a tutti gli utenti (agenti) registrati di avere in tempo reale informazioni sempre aggiornate riguardo i propri clienti. La ditta si chiama Tropical Lane S.p.A. e vuole realizzare questo progetto per rendere maggiormente accessibili le informazioni per i propri agenti, distribuiti nelle varie regioni italiane, direttamente tramite un loro dispositivo mobile, come smartphone o tablet, senza dover necessariamente telefonare continuamente in ditta dove è presente una segretaria che svolge solamente questa mansione. In questo modo si cerca di velocizzare la procedura di accesso ai dati così da liberare una risorsa utile per lo svolgimento di altre funzioni interne. Si è deciso quindi di creare un sito web, basato su tecnologia Active Server Pages e interfacciato al database aziendale, che sia fruibile dall’esterno della rete aziendale e sul quale vengono mostrati i dati, organizzati in modo da essere facilmente comprensibili e visualizzabili da tutti. La realizzazione del sito è stata effettuata utilizzando notepad++ sia per le pagine ASP che per le poche pagine di HTML statico presenti. Gli script sono stati realizzati in linguaggio Javascript, compatibile con le specifiche dei browser più diffusi. Il sito è supportato da un unico database realizzato in precedenza con Microsoft SQL ed integrato.

Progettazione e sviluppo di un'interfaccia web per la gestione di un impianto fotovoltaico di medie dimensioni

Con questa tesi ho descritto come le tecnologie web odierne possano permettere di sviluppare degli applicativi alternativi ai software da installare nei singoli pc. La gestione dei dati tramite database, la loro ricerca ed esposizione tramite il linguaggio SQL, la gestione semplificata dell'interfaccia grazie al CSS e le molteplici applicazioni rese disponibili da terze parti (come grafici o servizi meteorologici utilizzati nell'elaborato) permettono di soddisfare qualsiasi specifica richiesta. Nella tesi in oggetto tratto, a questo scopo, la creazione di un'interfaccia che consenta di gestire e monitorare un impianto fotovoltaico di medie dimensioni.

Workout Manager Android App

L’obiettivo di questa tesi è quello di progettare e sviluppare un'applicazione Android inerente alle palestre. In particolare l'utente finale dovrà essere in grado di poter scaricare i propri allenamenti da un server SQL remoto e visualizzarli con un layout grafico che ne ricordi la struttura di un allenamento cartaceo (con l’utilizzo quindi di schede, esercizi, serie, ripetizioni,...). Attraverso una procedura guidata, l’applicazione dovrà seguire l’utente durante il suo allenamento e registrarne i progressi. Questi ultimi dovranno essere memorizzati permanentemente e visualizzati attraverso dei grafici.

Fitness App per Win/Android - FitMaster

L’obiettivo di questa tesi è quello di progettare un sistema gestionale che risponda alle esigenze organizzative delle palestre. In particolar modo verrà implementato un software per piattaforma Windows dedicato ai personal trainer. Questa applicazione dovrà essere in grado di registrare e gestire i clienti del centro sportivo, e permettere la creazione degli allenamenti a loro dedicati (con l’utilizzo quindi di schede, esercizi, serie, ripetizioni, ...). Tutti i dati andranno memorizzati su un server SQL centralizzato, accessibile anche da Internet. Successivamente questi allenamenti potranno esser scaricati e visualizzati dai clienti tramite i propri Smartphone Android.

Progettazione e realizzazione di una soluzione ORM Multi Database con NHIbernate

Esplicazione documentata del processo di progettazione e sviluppo di una libreria in grado di comunicare in maniera standard con 8 diversi database, sia a livello di query SQL che a livello di ORM transazionale, con opportuni richiami di ingegneria del software

Data warehouse e cruscotto direzionale per l'analisi del personale in un'azienda di servizi

Obiettivo della tesi è la progettazione e lo sviluppo di un sistema di BI e di relativa reportistica per un'azienda di servizi. Il tutto realizzato mediante la suite Microsoft Business Intelligence.

Analisi e valutazione della piattaforma Spark

Negli ultimi anni i dati, la loro gestione e gli strumenti per la loro analisi hanno subito una trasformazione. Si è visto un notevole aumento dei dati raccolti dagli utenti, che si aggira tra il 40 e il 60 percento annuo, grazie ad applicazioni web, sensori, ecc.. Ciò ha fatto nascere il termine Big Data, con il quale ci si riferisce a dataset talmente grandi che non sono gestibili da sistemi tradizionali, come DBMS relazionali in esecuzione su una singola macchina. Infatti, quando la dimensione di un dataset supera pochi terabyte, si è obbligati ad utilizzare un sistema distribuito, in cui i dati sono partizionati su più macchine. Per gestire i Big Data sono state create tecnologie che riescono ad usare la potenza computazionale e la capacità di memorizzazione di un cluster, con un incremento prestazionale proporzionale al numero di macchine presenti sullo stesso. Il più utilizzato di questi sistemi è Hadoop, che offre un sistema per la memorizzazione e l’analisi distribuita dei dati. Grazie alla ridondanza dei dati ed a sofisticati algoritmi, Hadoop riesce a funzionare anche in caso di fallimento di uno o più macchine del cluster, in modo trasparente all’utente. Su Hadoop si possono eseguire diverse applicazioni, tra cui MapReduce, Hive e Apache Spark. É su quest’ultima applicazione, nata per il data processing, che è maggiormente incentrato il progetto di tesi. Un modulo di Spark, chiamato Spark SQL, verrà posto in confronto ad Hive nella velocità e nella flessibilità nell’eseguire interrogazioni su database memorizzati sul filesystem distribuito di Hadoop.

Smart City e Analisi di Big Data da Tracce Vodafone di Dispositivi Mobili

I dispositivi mobili, dagli smartphone ai tablet, sono entrati a far parte della nostra quotidianità. Controllando l’infrastruttura delle comunicazioni, rispetto a qualsiasi altro settore, si ha un maggiore accesso a informazioni relative alla geo-localizzazione degli utenti e alle loro interazioni. Questa grande mole di informazioni può aiutare a costruire città intelligenti e sostenibili, che significa modernizzare ed innovare le infrastrutture, migliorare la qualità della vita e soddisfare le esigenze di cittadini, imprese e istituzioni. Vodafone offre soluzioni concrete nel campo dell’info-mobilità consentendo la trasformazione delle nostre città in Smart City. Obiettivo della tesi e del progetto Proactive è cercare di sviluppare strumenti che, a partire da dati provenienti dalla rete mobile Vodafone, consentano di ricavare e di rappresentare su cartografia dati indicanti la presenza dei cittadini in determinati punti d’interesse, il profilo di traffico di determinati segmenti viari e le matrici origine/destinazione. Per fare questo verranno prima raccolti e filtrati i dati della città di Milano e della regione Lombardia provenienti dalla rete mobile Vodafone per poi, in un secondo momento, sviluppare degli algoritmi e delle procedure in PL/SQL che siano in grado di ricevere questo tipo di dato, di analizzarlo ed elaborarlo restituendo i risultati prestabiliti. Questi risultati saranno poi rappresentati su cartografia grazie a QGis e grazie ad una Dashboard aziendale interna di Vodafone. Lo sviluppo delle procedure e la rappresentazione cartografica dei risultati verranno eseguite in ambiente di Test e se i risultati soddisferanno i requisiti di progetto verrà effettuato il porting in ambiente di produzione. Grazie a questo tipo di soluzioni, che forniscono dati in modalità anonima e aggregata in ottemperanza alle normative di privacy, le aziende di trasporto pubblico, ad esempio, potranno essere in grado di gestire il traffico in modo più efficiente.

Progetto di un sistema di reportistica riconfigurabile per applicazioni di controllo industriale

Progetto di un sistema software - integrato in un apparato di supervisione industriale - dedicato alla personalizzazione e alla generazione automatica di file di definizione di report basati su database SQL.