Big data, nosql e machine learning: un'applicazione di prediction e recommendation basata sulle api di Amazon

In questa tesi sono stati introdotti e studiati i Big Data, dando particolare importanza al mondo NoSQL, approfondendo MongoDB, e al mondo del Machine Learning, approfondendo PredictionIO. Successivamente è stata sviluppata un'applicazione attraverso l'utilizzo di tecnologie web, nodejs, node-webkit e le tecnologie approfondite prima. L'applicazione utilizza l'interpolazione polinomiale per predirre il prezzo di un bene salvato nello storico presente su MongoDB. Attraverso PredictionIO, essa analizza il comportamento degli altri utenti consigliando dei prodotti per l'acquisto. Infine è stata effetuata un'analisi dei risultati dell'errore prodotto dall'interpolazione.

Analisi dei comportamenti degli utenti per lo sviluppo di un sistema di App Recommendation

Negli ultimi cinque anni lo sviluppo di applicazioni mobile ha visto un grandissimo incremento dovuto pricipalmente all’esplosione della diffusione di smartphone; questo fenomeno ha reso disponibile agli analisti una enorme quantità di dati sulle abitudini degli utenti. L’approccio centralizzato nella distribuzione delle applicazioni da parte dei grandi provider quali Apple, Google e Microsoft ha permesso a migliaia di sviluppatori di tutto il mondo di raggiungere con i loro prodotti gli utenti finali e diffondere l’utilizzo di applicativi installabili; le app infatti sono diventate in poco tempo fondamentali nella vita di tutti i giorni e in alcuni casi hanno sostituito funzioni primarie del telefono cellulare. Obiettivo principale di questo studio sarà inferire pattern comportamentali dall’analisi di una grossa mole di dati riguardanti l’utilizzo dello smartphone e delle app installabili da parte di un gruppo di utenti. Ipotizzando di avere a disposizione tutte le azioni che un determinato bacino di utenza effettua nella selezione delle applicazioni di loro interesse quando accedono al marketplace (luogo digitale da cui è possibile scaricare nuove applicazioni ed installarle) è possibile stimare, ovviamente con un certo margine di errore, dati sensibili dell’utente quali: Sesso, Età, Interessi e così via analizzandoli in relazione ad un modello costruito su dati di un campione di utenti ben noto. Costruiremo così un modello utilizzando dati di utenti ben noti di cui conosciamo i dettagli sensibili e poi, tramite avanzate tecniche di regressione e classificazione saremo in grado di definire se esiste o meno una correlazione tra le azioni effettuate su uno Smartphone e il profilo dell’utente. La seconda parte della tesi sarà incentrata sull'analisi di sistemi di raccomandazioni attualmente operativi e ci concentreremo sullo studio di possibili sviluppi sviluppi futuri di questi sistemi partendo dai risultati sperimentali ottenuti.

Progettazione ed implementazione di un recommendation system di articoli scientifici basato su Apache Mahout

Il focus di questo elaborato è sui sistemi di recommendations e le relative caratteristiche. L'utilizzo di questi meccanism è sempre più forte e presente nel mondo del web, con un parallelo sviluppo di soluzioni sempre più accurate ed efficienti. Tra tutti gli approcci esistenti, si è deciso di prendere in esame quello affrontato in Apache Mahout. Questa libreria open source implementa il collaborative-filtering, basando il processo di recommendation sulle preferenze espresse dagli utenti riguardo ifferenti oggetti. Grazie ad Apache Mahout e ai principi base delle varie tipologie di recommendationè stato possibile realizzare un applicativo web che permette di produrre delle recommendations nell'ambito delle pubblicazioni scientifiche, selezionando quegli articoli che hanno un maggiore similarità con quelli pubblicati dall'utente corrente. La realizzazione di questo progetto ha portato alla definizione di un sistema ibrido. Infatti l'approccio alla recommendation di Apache Mahout non è completamente adattabile a questa situazione, per questo motivo le sue componenti sono state estese e modellate per il caso di studio. Siè cercato quindi di combinare il collaborative filtering e il content-based in un unico approccio. Di Apache Mahout si è mantenuto l'algoritmo attraverso il quale esaminare i dati del data set, tralasciando completamente l'aspetto legato alle preferenze degli utenti, poichè essi non esprimono delle valutazioni sugli articoli. Del content-based si è utilizzata l'idea del confronto tra i titoli delle pubblicazioni. La valutazione di questo applicativo ha portato alla luce diversi limiti, ma anche possibili sviluppi futuri che potrebbero migliorare la qualità delle recommendations, ma soprattuto le prestazioni. Grazie per esempio ad Apache Hadoop sarebbe possibile una computazione distribuita che permetterebbe di elaborare migliaia di dati con dei risultati più che discreti.