Tecnologie per l’analisi in tempo reale di Big Data: prestazioni a confronto

Lo scopo di questo l'elaborato è l'analisi,lo studio e il confronto delle tecnologie per l'analisi in tempo reale di Big Data: Apache Spark Streaming, Apache Storm e Apache Flink. Per eseguire un adeguato confronto si è deciso di realizzare un sistema di rilevamento e riconoscimento facciale all’interno di un video, in maniera da poter parallelizzare le elaborazioni necessarie sfruttando le potenzialità di ogni architettura. Dopo aver realizzato dei prototipi realistici, uno per ogni architettura, si è passati alla fase di testing per misurarne le prestazioni. Attraverso l’impiego di cluster appositamente realizzati in ambiente locale e cloud, sono state misurare le caratteristiche che rappresentavano, meglio di altre, le differenze tra le architetture, cercando di dimostrarne quantitativamente l’efficacia degli algoritmi utilizzati e l’efficienza delle stesse. Si è scelto quindi il massimo input rate sostenibile e la latenza misurate al variare del numero di nodi. In questo modo era possibile osservare la scalabilità di architettura, per analizzarne l’andamento e verificare fino a che limite si potesse giungere per mantenere un compromesso accettabile tra il numero di nodi e l’input rate sostenibile. Gli esperimenti effettuati hanno mostrato che, all’aumentare del numero di worker le prestazioni del sistema migliorano, rendendo i sistemi studiati adatti all’utilizzo su larga scala. Inoltre sono state rilevate sostanziali differenze tra i vari framework, riportando pro e contro di ognuno, cercando di evidenziarne i più idonei al caso di studio.

Strategie di ingegnerizzazione e di sviluppo di sistemi software per big data management

Il lavoro svolto si concentra sullo studio e lo sviluppo dei sistemi software per la gestione dei big data. Inizialmente sono stati analizzati i settori nei quali i big data si stanno diffondendo maggiormente per poi studiare l'ingegnerizzazione e lo sviluppo dei sistemi in grado di gestire questo tipo di dati. Sono state studiate tutte le fasi del processo di realizzazione del software e i rischi e i problemi che si possono incontrare. Infine è stato presentato un software di analisi di big data: Google BigQuery.

Data capturing: studio di fattibilità per l’acquisizione automatizzata delle informazioni lungo la catena produttiva

Il processo di Data Entry manuale non solo è oneroso dal punto di vista temporale ed economico, lo è ancor di più poiché rappresenta una fonte di errore: per questi motivi, l’acquisizione automatizzata delle informazioni lungo la catena produttiva è un obiettivo fortemente desiderato dal Gruppo per migliorare i propri business. Le tecnologie analizzate, ormai diffuse e standardizzate in ampia scala come barcode, etichette logistiche, terminali in radiofrequenza, possono apportare grandi benefici ai processi aziendali, ancor più integrandole su misura agli ERP aziendali, permettendo una registrazione rapida e corretta delle informazioni e la diffusione immediata delle stesse all’intera organizzazione. L’analisi dei processi e dei flussi hanno evidenziato le criticità e permesso di capire dove e quando intervenire con una progettazione che risultasse quanto più la best suite possibile. Il lancio dei fabbisogni, l’entrata, la mappatura e la movimentazione merci in Magazzino, lo stato di produzione, lo scarico componenti ed il carico di produzione in Confezionamento e Semilavorazione, l’istituzione di un magazzino di interscambio Dogana, un flusso di tracciabilità preciso e rapido, sono tutti eventi che modificheranno i processi aziendali, snellendoli e svincolando risorse che potranno essere reinvestite in operatività a valore aggiunto superiore. I risultati potenzialmente ottenibili, comprovati anche dalle esperienze esterne di fornitori e consulenza, hanno generato le condizioni necessarie ad un rapido studio e start dei lavori: il Gruppo è entusiasta ed impaziente di portare a termine quanto prima il progetto e di andare a regime con la nuova modalità operativa, snellita ed ottimizzata.