New markov chain based methods for single and cross-domain sentiment classification

Nowadays communication is switching from a centralized scenario, where communication media like newspapers, radio, TV programs produce information and people are just consumers, to a completely different decentralized scenario, where everyone is potentially an information producer through the use of social networks, blogs, forums that allow a real-time worldwide information exchange. These new instruments, as a result of their widespread diffusion, have started playing an important socio-economic role. They are the most used communication media and, as a consequence, they constitute the main source of information enterprises, political parties and other organizations can rely on. Analyzing data stored in servers all over the world is feasible by means of Text Mining techniques like Sentiment Analysis, which aims to extract opinions from huge amount of unstructured texts. This could lead to determine, for instance, the user satisfaction degree about products, services, politicians and so on. In this context, this dissertation presents new Document Sentiment Classification methods based on the mathematical theory of Markov Chains. All these approaches bank on a Markov Chain based model, which is language independent and whose killing features are simplicity and generality, which make it interesting with respect to previous sophisticated techniques. Every discussed technique has been tested in both Single-Domain and Cross-Domain Sentiment Classification areas, comparing performance with those of other two previous works. The performed analysis shows that some of the examined algorithms produce results comparable with the best methods in literature, with reference to both single-domain and cross-domain tasks, in $2$-classes (i.e. positive and negative) Document Sentiment Classification. However, there is still room for improvement, because this work also shows the way to walk in order to enhance performance, that is, a good novel feature selection process would be enough to outperform the state of the art. Furthermore, since some of the proposed approaches show promising results in $2$-classes Single-Domain Sentiment Classification, another future work will regard validating these results also in tasks with more than $2$ classes.

Processi markoviani nascosti

We introduce the notation of Markov chains and their properties, and give the definition of ergodic, irreducible and aperiodic chains with correspective examples. Then, the definition of hidden Markov models is given and their characteristics are examined. We formulate three basic problems regarding the hidden Markov models and discuss the solution of two of them - the Viterbi algorithm and the forward-backward algorithm.

Stochastic models and graph theory for Zipf's law

In questo elaborato ci siamo occupati della legge di Zipf sia da un punto di vista applicativo che teorico. Tale legge empirica afferma che il rango in frequenza (RF) delle parole di un testo seguono una legge a potenza con esponente -1. Per quanto riguarda l'approccio teorico abbiamo trattato due classi di modelli in grado di ricreare leggi a potenza nella loro distribuzione di probabilità. In particolare, abbiamo considerato delle generalizzazioni delle urne di Polya e i processi SSR (Sample Space Reducing). Di questi ultimi abbiamo dato una formalizzazione in termini di catene di Markov. Infine abbiamo proposto un modello di dinamica delle popolazioni capace di unificare e riprodurre i risultati dei tre SSR presenti in letteratura. Successivamente siamo passati all'analisi quantitativa dell'andamento del RF sulle parole di un corpus di testi. Infatti in questo caso si osserva che la RF non segue una pura legge a potenza ma ha un duplice andamento che può essere rappresentato da una legge a potenza che cambia esponente. Abbiamo cercato di capire se fosse possibile legare l'analisi dell'andamento del RF con le proprietà topologiche di un grafo. In particolare, a partire da un corpus di testi abbiamo costruito una rete di adiacenza dove ogni parola era collegata tramite un link alla parola successiva. Svolgendo un'analisi topologica della struttura del grafo abbiamo trovato alcuni risultati che sembrano confermare l'ipotesi che la sua struttura sia legata al cambiamento di pendenza della RF. Questo risultato può portare ad alcuni sviluppi nell'ambito dello studio del linguaggio e della mente umana. Inoltre, siccome la struttura del grafo presenterebbe alcune componenti che raggruppano parole in base al loro significato, un approfondimento di questo studio potrebbe condurre ad alcuni sviluppi nell'ambito della comprensione automatica del testo (text mining).

A framework for risk analysis in automotive cybersecurity

We address the problem of automotive cybersecurity from the point of view of Threat Analysis and Risk Assessment (TARA). The central question that motivates the thesis is the one about the acceptability of risk, which is vital in taking a decision about the implementation of cybersecurity solutions. For this purpose, we develop a quantitative framework in which we take in input the results of risk assessment and define measures of various facets of a possible risk response; we then exploit the natural presence of trade-offs (cost versus effectiveness) to formulate the problem as a multi-objective optimization. Finally, we develop a stochastic model of the future evolution of the risk factors, by means of Markov chains; we adapt the formulations of the optimization problems to this non-deterministic context. The thesis is the result of a collaboration with the Vehicle Electrification division of Marelli, in particular with the Cybersecurity team based in Bologna; this allowed us to consider a particular instance of the problem, deriving from a real TARA, in order to test both the deterministic and the stochastic framework in a real world application. The collaboration also explains why in the work we often assume the point of view of a tier-1 supplier; however, the analyses performed can be adapted to any other level of the supply chain.

Entanglement entropy in restricted integrable spin-chains

In questa tesi abbiamo presentato il calcolo dell’Entropia di Entanglement di un sistema quantistico unidimensionale integrabile la cui rappresentazione statistica é data dal modello RSOS, il cui punto critico é una realizzazione su reticolo di tutti i modelli conformi minimali. Sfruttando l’integrabilitá di questi modelli, abbiamo svolto il calcolo utilizzando la tecnica delle Corner Transfer Matrices (CTM). Il risultato ottenuto si discosta leggermente dalla previsione di J. Cardy e P. Calabrese ricavata utilizzando la teoria dei campi conformi descriventi il punto critico. Questa differenza é stata imputata alla non-unitarietá del modello studiato, in quanto la tecnica CTM studia il ground state, mentre la previsione di Cardy e Calabrese si focalizza sul vuoto conforme del modello: nel caso dei sistemi non-unitari questi due stati non coincidono, ma possono essere visti come eccitazioni l’uno dell’altro. Dato che l’Entanglement é un fenomeno genuinamente quantistico e il modello RSOS descrive un sistema statistico classico bidimensionale, abbiamo proposto una Hamiltoniana quantistica unidimensionale integrabile la cui rappresentazione statistica é data dal modello RSOS.

Il gruppo delle trecce ed il teorema di Markov

Il lavoro concerne il gruppo delle trecce, il suo legame con i link e si concentra sui teoremi di Markov e Alexander.

Su(3) lattice gauge theories and spin chains

I modelli su reticolo con simmetrie SU(n) sono attualmente oggetto di studio sia dal punto di vista sperimentale, sia dal punto di vista teorico; particolare impulso alla ricerca in questo campo è stato dato dai recenti sviluppi in campo sperimentale per quanto riguarda la tecnica dell’intrappolamento di atomi ultrafreddi in un reticolo ottico. In questa tesi viene studiata, sia con tecniche analitiche sia con simulazioni numeriche, la generalizzazione del modello di Heisenberg su reticolo monodimensionale a simmetria SU(3). In particolare, viene proposto un mapping tra il modello di Heisenberg SU(3) e l’Hamiltoniana con simmetria SU(2) bilineare-biquadratica con spin 1. Vengono inoltre presentati nuovi risultati numerici ottenuti con l’algoritmo DMRG che confermano le previsioni teoriche in letteratura sul modello in esame. Infine è proposto un approccio per la formulazione della funzione di partizione dell’Hamiltoniana bilineare-biquadratica a spin-1 servendosi degli stati coerenti per SU(3).

Algoritmi e ricorsività: macchine di Turing e algoritmi di Markov

In questa questa tesi vengono presentate alcune delle più importanti definizioni di funzione computabile mediante un algoritmo: una prima descrizione è quella data tramite le funzioni ricorsive, un secondo approccio è dato in termini di macchine di Turing, infine, vengono considerati gli algoritmi di Markov. Si dimostra che tutte queste definizioni sono equivalenti. Completa la tesi un breve cenno al lambda-K-calcolo.

Entanglement entropy in 1-d quantum spin chains

In questa tesi abbiamo studiato il comportamento delle entropie di Entanglement e dello spettro di Entanglement nel modello XYZ attraverso delle simulazioni numeriche. Le formule per le entropie di Von Neumann e di Renyi nel caso di una catena bipartita infinita esistevano già, ma mancavano ancora dei test numerici dettagliati. Inoltre, rispetto alla formula per l'Entropia di Entanglement di J. Cardy e P. Calabrese per sistemi non critici, tali relazioni presentano delle correzioni che non hanno ancora una spiegazione analitica: i risultati delle simulazioni numeriche ne hanno confermato la presenza. Abbiamo inoltre testato l'ipotesi che lo Schmidt Gap sia proporzionale a uno dei parametri d'ordine della teoria, e infine abbiamo simulato numericamente l'andamento delle Entropie e dello spettro di Entanglement in funzione della lunghezza della catena di spin. Ciò è stato possibile solo introducendo dei campi magnetici ''ad hoc'' nella catena, con la proprietà che l'andamento delle suddette quantità varia a seconda di come vengono disposti tali campi. Abbiamo quindi discusso i vari risultati ottenuti.

Catene di Markov nascoste e giochi stocastici.

In questa trattazione si introduce il concetto di catena di Markov nascosta: una coppia di processi stocastici (X,O), dove X è una catena di Markov non osservabile direttamente e O è il processo stocastico delle osservazioni, dipendente istante per istante solo dallo stato corrente della catena X. In prima istanza si illustrano i metodi per la soluzione di tre problemi classici, dato un modello di Markov nascosto e una sequenza di segnali osservati: valutare la probabilità della osservazione nel modello, trovare la sequenza nascosta di stati più probabile e aggiornare il modello per rendere più probabile l'osservazione. In secondo luogo si applica il modello ai giochi stocastici, nel caso in cui solo uno dei giocatori non è a conoscenza del gioco in ogni turno, ma può cercare di ottenere informazioni utili osservando le mosse dell'avversario informato. In particolare si cercano strategie basate sul concetto di catena di Markov nascoste e si analizzano i risultati ottenuti per valutare l'efficienza dell'approccio.

Catene di Markov reversibili e applicazioni al metodo Montecarlo basato sulle catene di Markov

Gli argomenti trattati in questa tesi sono le catene di Markov reversibili e alcune applicazioni al metodo Montecarlo basato sulle catene di Markov. Inizialmente vengono descritte alcune delle proprietà fondamentali delle catene di Markov e in particolare delle catene di Markov reversibili. In seguito viene descritto il metodo Montecarlo basato sulle catene di Markov, il quale attraverso la simulazione di catene di Markov cerca di stimare la distribuzione di una variabile casuale o di un vettore di variabili casuali con una certa distribuzione di probabilità. La parte finale è dedicata ad un esempio in cui utilizzando Matlab sono evidenziati alcuni aspetti studiati nel corso della tesi.

Caratterizzazione di sequenze di DNA mediante catene di Markov

Questa tesi si inserisce nell’ambito di studio dei modelli stocastici applicati alle sequenze di DNA. I random walk e le catene di Markov sono tra i processi aleatori che hanno trovato maggiore diffusione in ambito applicativo grazie alla loro capacità di cogliere le caratteristiche salienti di molti sistemi complessi, pur mantenendo semplice la descrizione di questi. Nello specifico, la trattazione si concentra sull’applicazione di questi nel contesto dell’analisi statistica delle sequenze genomiche. Il DNA può essere rappresentato in prima approssimazione da una sequenza di nucleotidi che risulta ben riprodotta dal modello a catena di Markov; ciò rappresenta il punto di partenza per andare a studiare le proprietà statistiche delle catene di DNA. Si approfondisce questo discorso andando ad analizzare uno studio che si ripropone di caratterizzare le sequenze di DNA tramite le distribuzioni delle distanze inter-dinucleotidiche. Se ne commentano i risultati, al fine di mostrare le potenzialità di questi modelli nel fare emergere caratteristiche rilevanti in altri ambiti, in questo caso quello biologico.

Dispersion and energy relations in periodic chains and grids

In this study wave propagation, dispersion relations, and energy relations for linear elastic periodic systems are analyzed. In particular, the dispersion relations for monoatomic chain of infinite dimension are obtained analytically by writing the Block-type wave equation for a unit cell in order to capture the dynamic behavior for chains under prescribed vibration. By comparing the discretized model (mass-spring chain) with the solid bar system, the nonlinearity of the dispersion relation for chain indicates that the periodic lattice is dispersive in contrast to the continuous rod, which is non dispersive. Further investigations have been performed considering one-dimensional diatomic linear elastic mass-spring chain. The dispersion relations, energy velocity, and group velocity have been derived. At certain range of frequencies harmonic plane waves do not propagate in contrast with monoatomic chain. Also, since the diatomic chain considered is a linear elastic chain, both of the energy velocity and the group velocity are identical. As long as the linear elastic condition is considered the results show zero flux condition without residual energy. In addition, this paper shows that the diatomic chain dispersion relations are independent on the unit cell scheme. Finally, an extension for the study covers the dispersion and energy relations for 2D- grid system. The 2x2 grid system show a periodicity of the dispersion surface in the wavenumber domain. In addition, the symmetry of the surface can be exploited to identify an Irreducible Brillouin Zone (IBZ). Compact representations of the dispersion properties of multidimensional periodic systems are obtained by plotting frequency as the wave vector’s components vary along the boundary of the IBZ, which leads to a widely accepted and effective visualization of bandgaps and overall dispersion properties.

Anisotropic seismic tomography with the reversible jump Markov chain Monte Carlo

The established isotropic tomographic models show the features of subduction zones in terms of seismic velocity anomalies, but they are generally subjected to the generation of artifacts due to the lack of anisotropy in forward modelling. There is evidence for the significant influence of seismic anisotropy in the mid-upper mantle, especially for boundary layers like subducting slabs. As consequence, in isotropic models artifacts may be misinterpreted as compositional or thermal heterogeneities. In this thesis project the application of a trans-dimensional Metropolis-Hastings method is investigated in the context of anisotropic seismic tomography. This choice arises as a response to the important limitations introduced by traditional inversion methods which use iterative procedures of optimization of a function object of the inversion. On the basis of a first implementation of the Bayesian sampling algorithm, the code is tested with some cartesian two-dimensional models, and then extended to polar coordinates and dimensions typical of subduction zones, the main focus proposed for this method. Synthetic experiments with increasing complexity are realized to test the performance of the method and the precautions for multiple contexts, taking into account also the possibility to apply seismic ray-tracing iteratively. The code developed is tested mainly for 2D inversions, future extensions will allow the anisotropic inversion of seismological data to provide more realistic imaging of real subduction zones, less subjected to generation of artifacts.