Twitter data analysis for financial markets

Over the time, Twitter has become a fundamental source of information for news. As a one step forward, researchers have tried to analyse if the tweets contain predictive power. In the past, in financial field, a lot of research has been done to propose a function which takes as input all the tweets for a particular stock or index s, analyse them and predict the stock or index price of s. In this work, we take an alternative approach: using the stock price and tweet information, we investigate following questions. 1. Is there any relation between the amount of tweets being generated and the stocks being exchanged? 2. Is there any relation between the sentiment of the tweets and stock prices? 3. What is the structure of the graph that describes the relationships between users?

Progettazione e realizzazione di un'applicazione per l'estrazione, l'analisi e l'integrazione di social data e linked open data.

Studio ed analisi delle principali tecniche in ambito di Social Data Analysis. Progettazione e Realizzazione di una soluzione software implementata con linguaggio Java in ambiente Eclipse. Il software realizzato permette di integrare differenti servizi di API REST, per l'estrazione di dati sociali da Twitter, la loro memorizzazione in un database non-relazionale (realizzato con MongoDB), e la loro gestione. Inoltre permette di effettuare operazioni di classificazione di topic, e di analizzare dati complessivi sulle collection di dati estratti. Infine permette di visualizzare un albero delle "ricondivisioni", partendo da singoli tweet selezionati, ed una mappa geo-localizzata, contenente gli utenti coinvolti nella catena di ricondivisioni, e i relativi archi di "retweet".

Understanding the impact of Twitter on the financial market

Negli anni la funzione dei social network è cambiata molte volte. Alle origini i social network erano uno strumento di connessione tra amici, ora sono siti internet in cui le persone mettono informazioni e quando un social network ha milioni di utenti, diventa un’incredibile sorgente di dati. Twitter è uno dei siti internet più visitati, e viene descritto come “the SMS of internet”, perchè è un social network che permette ai suoi utenti di inviare e leggere messaggi corti, di 140 caratteri, chiamati “tweets”. Con il passare del tempo Twitter `e diventato una fonte fondamentale di notizie. Il suo grande numero di utenti permette alle notizie di espandersi nella rete in modo virale. Molte persone hanno cercato di analizzare il potere dei tweet, come il contenuto positivo o negativo, mentre altri hanno cercato di capire se avessero un potere predittivo. In particolare nel mondo finanziario, sono state avviate molte ricerche per verificare l’esistenza di una effettiva correlazione tra i tweets e la fluttuazione del mercato azionario. L’effettiva presenza di tale relazione unita a un modello predittivo, potrebbe portare allo sviluppo di un modello che analizzando i tweets presenti nella rete, relativi a un titolo azionario, dia informazioni sulle future variazioni del titolo stesso. La nostra attenzione si è rivolata alla ricerca e validazione statistica di tale correlazione. Sono stati effettuati test su singole azioni, sulla base dei dati disponibili, poi estesi a tutto il dataset per vedere la tendenza generale e attribuire maggior valore al risultato. Questa ricerca è caratterizzata dal suo dataset di tweet che analizza un periodo di oltre 2 anni, uno dei periodi più lunghi mai analizzati. Si è cercato di fornire maggior valore ai risultati trovati tramite l’utilizzo di validazioni statistiche, come il “permutation test”, per validare la relazione tra tweets di un titolo con i relativi valori azionari, la rimozione di una percentuale di eventi importanti, per mostrare la dipendenza o indipendenza dei dati dagli eventi più evidenti dell’anno e il “granger causality test”, per capire la direzione di una previsione tra serie. Sono stati effettuati anche test con risultati fallimentari, dai quali si sono ricavate le direzioni per i futuri sviluppi di questa ricerca.

Rilevazione di eventi geo-localizzati sulla piattaforma Twitter: Una valutazione sperimentale

I Social Network sono una fonte di informazioni di natura spontanea, non guidata, provviste di posizione spaziale e prodotte in tempo reale. Il Social Sensing si basa sull'idea che gruppi di persone possano fornire informazioni, su eventi che accadono nelle loro vicinanze, simili a quelle ottenibili da sensori. La letteratura in merito all’utilizzo dei Social Media per il rilevamento di eventi catastrofici mostra una struttura comune: acquisizione, filtraggio e classificazione dei dati. La piattaforma usata, nella maggior parte dei lavori e da noi, è Twitter. Proponiamo un sistema di rilevamento di eventi per l’Emilia Romagna, tramite l’analisi di tweet geolocalizzati. Per l’acquisizione dei dati abbiamo utilizzato le Twitter API. Abbiamo effettuato due passaggi per il filtraggio dei tweet. Primo, selezione degli account di provenienza dei tweet, se non sono personali è improbabile che siano usati per dare informazioni e non vanno tenuti in considerazione. Secondo, il contenuto dei tweet, vengono scartati se presentano termini scurrili, parole come “buon giorno” e un numero di tag, riferiti ad altri utenti, superiore a quattro. La rilevazione di un valore anomalo rispetto all'insieme delle osservazioni che stiamo considerando (outlier), è il primo indice di un evento eccezionale. Per l’analisi siamo ricorsi all’outlier detection come indice di rilevamento di un evento. Fatta questa prima analisi si controlla che ci sia un effettivo picco di tweet in una zona della regione. Durante il periodo di attività non sono accaduti eventi straordinari, abbiamo quindi simulato un avvenimento per testare l'efficacia del nostro sistema. La maggior difficoltà è che i dati geolocalizzati sono in numero molto esiguo, è quindi difficile l'identificazione dei picchi. Per migliorare il sistema si propone: il passaggio a streaming dei tweet e un aumento della velocità di filtraggio; la automatizzazione dei filtri; l'implementazione di un modulo finale che operi a livello del testo.