Query rewriting in information retrieval: automatic context extraction from local user documents to improve query results

The central objective of research in Information Retrieval (IR) is to discover new techniques to retrieve relevant information in order to satisfy an Information Need. The Information Need is satisfied when relevant information can be provided to the user. In IR, relevance is a fundamental concept which has changed over time, from popular to personal, i.e., what was considered relevant before was information for the whole population, but what is considered relevant now is specific information for each user. Hence, there is a need to connect the behavior of the system to the condition of a particular person and his social context; thereby an interdisciplinary sector called Human-Centered Computing was born. For the modern search engine, the information extracted for the individual user is crucial. According to the Personalized Search (PS), two different techniques are necessary to personalize a search: contextualization (interconnected conditions that occur in an activity), and individualization (characteristics that distinguish an individual). This movement of focus to the individual's need undermines the rigid linearity of the classical model overtaken the ``berry picking'' model which explains that the terms change thanks to the informational feedback received from the search activity introducing the concept of evolution of search terms. The development of Information Foraging theory, which observed the correlations between animal foraging and human information foraging, also contributed to this transformation through attempts to optimize the cost-benefit ratio. This thesis arose from the need to satisfy human individuality when searching for information, and it develops a synergistic collaboration between the frontiers of technological innovation and the recent advances in IR. The search method developed exploits what is relevant for the user by changing radically the way in which an Information Need is expressed, because now it is expressed through the generation of the query and its own context. As a matter of fact the method was born under the pretense to improve the quality of search by rewriting the query based on the contexts automatically generated from a local knowledge base. Furthermore, the idea of optimizing each IR system has led to develop it as a middleware of interaction between the user and the IR system. Thereby the system has just two possible actions: rewriting the query, and reordering the result. Equivalent actions to the approach was described from the PS that generally exploits information derived from analysis of user behavior, while the proposed approach exploits knowledge provided by the user. The thesis went further to generate a novel method for an assessment procedure, according to the "Cranfield paradigm", in order to evaluate this type of IR systems. The results achieved are interesting considering both the effectiveness achieved and the innovative approach undertaken together with the several applications inspired using a local knowledge base.

Twitter data analysis for financial markets

Over the time, Twitter has become a fundamental source of information for news. As a one step forward, researchers have tried to analyse if the tweets contain predictive power. In the past, in financial field, a lot of research has been done to propose a function which takes as input all the tweets for a particular stock or index s, analyse them and predict the stock or index price of s. In this work, we take an alternative approach: using the stock price and tweet information, we investigate following questions. 1. Is there any relation between the amount of tweets being generated and the stocks being exchanged? 2. Is there any relation between the sentiment of the tweets and stock prices? 3. What is the structure of the graph that describes the relationships between users?

Progettazione e realizzazione di un'applicazione per l'estrazione, l'analisi e l'integrazione di social data e linked open data.

Studio ed analisi delle principali tecniche in ambito di Social Data Analysis. Progettazione e Realizzazione di una soluzione software implementata con linguaggio Java in ambiente Eclipse. Il software realizzato permette di integrare differenti servizi di API REST, per l'estrazione di dati sociali da Twitter, la loro memorizzazione in un database non-relazionale (realizzato con MongoDB), e la loro gestione. Inoltre permette di effettuare operazioni di classificazione di topic, e di analizzare dati complessivi sulle collection di dati estratti. Infine permette di visualizzare un albero delle "ricondivisioni", partendo da singoli tweet selezionati, ed una mappa geo-localizzata, contenente gli utenti coinvolti nella catena di ricondivisioni, e i relativi archi di "retweet".

Understanding the impact of Twitter on the financial market

Negli anni la funzione dei social network è cambiata molte volte. Alle origini i social network erano uno strumento di connessione tra amici, ora sono siti internet in cui le persone mettono informazioni e quando un social network ha milioni di utenti, diventa un’incredibile sorgente di dati. Twitter è uno dei siti internet più visitati, e viene descritto come “the SMS of internet”, perchè è un social network che permette ai suoi utenti di inviare e leggere messaggi corti, di 140 caratteri, chiamati “tweets”. Con il passare del tempo Twitter `e diventato una fonte fondamentale di notizie. Il suo grande numero di utenti permette alle notizie di espandersi nella rete in modo virale. Molte persone hanno cercato di analizzare il potere dei tweet, come il contenuto positivo o negativo, mentre altri hanno cercato di capire se avessero un potere predittivo. In particolare nel mondo finanziario, sono state avviate molte ricerche per verificare l’esistenza di una effettiva correlazione tra i tweets e la fluttuazione del mercato azionario. L’effettiva presenza di tale relazione unita a un modello predittivo, potrebbe portare allo sviluppo di un modello che analizzando i tweets presenti nella rete, relativi a un titolo azionario, dia informazioni sulle future variazioni del titolo stesso. La nostra attenzione si è rivolata alla ricerca e validazione statistica di tale correlazione. Sono stati effettuati test su singole azioni, sulla base dei dati disponibili, poi estesi a tutto il dataset per vedere la tendenza generale e attribuire maggior valore al risultato. Questa ricerca è caratterizzata dal suo dataset di tweet che analizza un periodo di oltre 2 anni, uno dei periodi più lunghi mai analizzati. Si è cercato di fornire maggior valore ai risultati trovati tramite l’utilizzo di validazioni statistiche, come il “permutation test”, per validare la relazione tra tweets di un titolo con i relativi valori azionari, la rimozione di una percentuale di eventi importanti, per mostrare la dipendenza o indipendenza dei dati dagli eventi più evidenti dell’anno e il “granger causality test”, per capire la direzione di una previsione tra serie. Sono stati effettuati anche test con risultati fallimentari, dai quali si sono ricavate le direzioni per i futuri sviluppi di questa ricerca.

Rilevazione di eventi geo-localizzati sulla piattaforma Twitter: Una valutazione sperimentale

I Social Network sono una fonte di informazioni di natura spontanea, non guidata, provviste di posizione spaziale e prodotte in tempo reale. Il Social Sensing si basa sull'idea che gruppi di persone possano fornire informazioni, su eventi che accadono nelle loro vicinanze, simili a quelle ottenibili da sensori. La letteratura in merito all’utilizzo dei Social Media per il rilevamento di eventi catastrofici mostra una struttura comune: acquisizione, filtraggio e classificazione dei dati. La piattaforma usata, nella maggior parte dei lavori e da noi, è Twitter. Proponiamo un sistema di rilevamento di eventi per l’Emilia Romagna, tramite l’analisi di tweet geolocalizzati. Per l’acquisizione dei dati abbiamo utilizzato le Twitter API. Abbiamo effettuato due passaggi per il filtraggio dei tweet. Primo, selezione degli account di provenienza dei tweet, se non sono personali è improbabile che siano usati per dare informazioni e non vanno tenuti in considerazione. Secondo, il contenuto dei tweet, vengono scartati se presentano termini scurrili, parole come “buon giorno” e un numero di tag, riferiti ad altri utenti, superiore a quattro. La rilevazione di un valore anomalo rispetto all'insieme delle osservazioni che stiamo considerando (outlier), è il primo indice di un evento eccezionale. Per l’analisi siamo ricorsi all’outlier detection come indice di rilevamento di un evento. Fatta questa prima analisi si controlla che ci sia un effettivo picco di tweet in una zona della regione. Durante il periodo di attività non sono accaduti eventi straordinari, abbiamo quindi simulato un avvenimento per testare l'efficacia del nostro sistema. La maggior difficoltà è che i dati geolocalizzati sono in numero molto esiguo, è quindi difficile l'identificazione dei picchi. Per migliorare il sistema si propone: il passaggio a streaming dei tweet e un aumento della velocità di filtraggio; la automatizzazione dei filtri; l'implementazione di un modulo finale che operi a livello del testo.