Dynamic networks, text analysis and Gephi: the art math

In numerosi campi scientici l'analisi di network complessi ha portato molte recenti scoperte: in questa tesi abbiamo sperimentato questo approccio sul linguaggio umano, in particolare quello scritto, dove le parole non interagiscono in modo casuale. Abbiamo quindi inizialmente presentato misure capaci di estrapolare importanti strutture topologiche dai newtork linguistici(Degree, Strength, Entropia, . . .) ed esaminato il software usato per rappresentare e visualizzare i grafi (Gephi). In seguito abbiamo analizzato le differenti proprietà statistiche di uno stesso testo in varie sue forme (shuffolato, senza stopwords e senza parole con bassa frequenza): il nostro database contiene cinque libri di cinque autori vissuti nel XIX secolo. Abbiamo infine mostrato come certe misure siano importanti per distinguere un testo reale dalle sue versioni modificate e perché la distribuzione del Degree di un testo normale e di uno shuffolato abbiano lo stesso andamento. Questi risultati potranno essere utili nella sempre più attiva analisi di fenomeni linguistici come l'autorship attribution e il riconoscimento di testi shuffolati.

Analysis of robot dynamics through complexity measures: an application in automatic design

L'applicazione di misure, derivanti dalla teoria dell'informazione, fornisce un valido strumento per quantificare alcune delle proprietà dei sistemi complessi. Le stesse misure possono essere utilizzate in robotica per favorire l'analisi e la sintesi di sistemi di controllo per robot. In questa tesi si è analizzata la correlazione tra alcune misure di complessità e la capacità dei robot di portare a termine, con successo, tre differenti task. I risultati ottenuti suggeriscono che tali misure di complessità rappresentano uno strumento promettente anche nel campo della robotica, ma che il loro utilizzo può diventare difficoltoso quando applicate a task compositi.

Italian texts as networks: Topological measurements, Zipf and Heaps' laws

In questa tesi si è studiato un corpus di importanti testi della letteratura Italiana utilizzando la teoria dei network. Le misure topologiche tipiche dei network sono state calcolate sui testi letterari, poi sono state studiate le loro distribuzioni e i loro valori medi, per capire quali di esse possono distinguere un testo reale da sue modificazioni. Inoltre si è osservato come tutti i testi presentino due importanti leggi statistiche: la legge di Zipf e quella di Heaps.

A study of brain functional connectivity and cognitive processes in long COVID-19 patients

In this work, a prospective study conducted at the IRCCS Istituto delle Scienze Neurologiche di Bologna is presented. The aim was to investigate the brain functional connectivity of a cohort of patients (N=23) suffering from persistent olfactory dysfunction after SARS-CoV-2 infection (Post-COVID-19 syndrome), as compared to a matching group of healthy controls (N=26). In particular, starting from individual resting state functional-MRI data, different analytical approaches were adopted in order to find potential alterations in the connectivity patterns of patients’ brains. Analyses were conducted both at a whole-brain level and with a special focus on brain regions involved in the processing of olfactory stimuli (Olfactory Network). Statistical correlations between functional connectivity alterations and the results of olfactory and neuropsychological tests were investigated, to explore the associations with cognitive processes. The three approaches implemented for the analysis were the seed-based correlation analysis, the group-level Independent Component analysis and a graph-theoretical analysis of brain connectivity. Due to the relative novelty of such approaches, many implementation details and methodologies are not standardized yet and represent active research fields. Seed-based and group-ICA analyses’ results showed no statistically significant differences between groups, while relevant alterations emerged from those of the graph-based analysis. In particular, patients’ olfactory sub-graph appeared to have a less pronounced modular structure compared to the control group; locally, a hyper-connectivity of the right thalamus was observed in patients, with significant involvement of the right insula and hippocampus. Results of an exploratory correlation analysis showed a positive correlation between the graphs global modularity and the scores obtained in olfactory tests and negative correlations between the thalamus hyper-connectivity and memory tests scores.

Reti neurali "physics-informed" per modelli epidemiologici

La malattia COVID-19 associata alla sindrome respiratoria acuta grave da coronavirus 2 (SARS-CoV-2) ha rappresentato una grave minaccia per la salute pubblica e l’economia globale sin dalla sua scoperta in Cina, nel dicembre del 2019. Gli studiosi hanno effettuato numerosi studi ed in particolar modo l’applicazione di modelli epidemiologici costruiti a partire dai dati raccolti, ha permesso la previsione di diversi scenari sullo sviluppo della malattia, nel breve-medio termine. Gli obiettivi di questa tesi ruotano attorno a tre aspetti: i dati disponibili sulla malattia COVID-19, i modelli matematici compartimentali, con particolare riguardo al modello SEIJDHR che include le vaccinazioni, e l’utilizzo di reti neurali ”physics-informed” (PINNs), un nuovo approccio basato sul deep learning che mette insieme i primi due aspetti. I tre aspetti sono stati dapprima approfonditi singolarmente nei primi tre capitoli di questo lavoro e si sono poi applicate le PINNs al modello SEIJDHR. Infine, nel quarto capitolo vengono riportati frammenti rilevanti dei codici Python utilizzati e i risultati numerici ottenuti. In particolare vengono mostrati i grafici sulle previsioni nel breve-medio termine, ottenuti dando in input dati sul numero di positivi, ospedalizzati e deceduti giornalieri prima riguardanti la città di New York e poi l’Italia. Inoltre, nell’indagine della parte predittiva riguardante i dati italiani, si è individuato un punto critico legato alla funzione che modella la percentuale di ricoveri; sono stati quindi eseguiti numerosi esperimenti per il controllo di tali previsioni.

Edge-aware Graph Attention Networks: Joint Reasoning On Text and Knowledge Graphs for Biomedical Question Answering

Much of the real-world dataset, including textual data, can be represented using graph structures. The use of graphs to represent textual data has many advantages, mainly related to maintaining a more significant amount of information, such as the relationships between words and their types. In recent years, many neural network architectures have been proposed to deal with tasks on graphs. Many of them consider only node features, ignoring or not giving the proper relevance to relationships between them. However, in many node classification tasks, they play a fundamental role. This thesis aims to analyze the main GNNs, evaluate their advantages and disadvantages, propose an innovative solution considered as an extension of GAT, and apply them to a case study in the biomedical field. We propose the reference GNNs, implemented with methodologies later analyzed, and then applied to a question answering system in the biomedical field as a replacement for the pre-existing GNN. We attempt to obtain better results by using models that can accept as input both node and edge features. As shown later, our proposed models can beat the original solution and define the state-of-the-art for the task under analysis.

Tree regularized neural networks for key point analysis

This thesis contributes to the ArgMining 2021 shared task on Key Point Analysis. Key Point Analysis entails extracting and calculating the prevalence of a concise list of the most prominent talking points, from an input corpus. These talking points are usually referred to as key points. Key point analysis is divided into two subtasks: Key Point Matching, which involves assigning a matching score to each key point/argument pair, and Key Point Generation, which consists of the generation of key points. The task of Key Point Matching was approached using different models: a pretrained Sentence Transformers model and a tree-constrained Graph Neural Network were tested. The best model was the fine-tuned Sentence Transformers, which achieved a mean Average Precision score of 0.75, ranking 12 compared to other participating teams. The model was then used for the subtask of Key Point Generation using the extractive method in the selection of key point candidates and the model developed for the previous subtask to evaluate them.

Text watermarking e Social Network: uno studio sperimentale

La diffusione dei Social Network ha portato alla necessità di utilizzare tecniche per fare copyright e autenticazione dei file su di essi diffusi. Viene presentato un metodo di watermarking testuale basato sulla sostituzione dei caratteri omoglifi e studiato nell'ambiente dei Social Network. E' stata posta particolare attenzione sulla possibilità che questi adottino già tecniche di watermarking testuale e successivamente sono state studiate le potenzialità dell'algoritmo proposto sulle diverse piattaforme, valutandone la percentuale di successo, la robustezza e l'invisibilità.

Introducing CHIMeRA: from the development of a comprehensive biomedical database to the analysis of its sub-components.

In this thesis we discuss the expansion of an existing project, called CHIMeRA, which is a comprehensive biomedical network, and the analysis of its sub-components by using graph theory. We describe how it is structured internally, what are the existing databases from which it retrieves information and what machine learning techniques are used in order to produce new knowledge. We also introduce a new technique for graph exploration that is aimed to speed-up the network cover time under the condition that the analyzed graph is stellar; if this condition is satisfied, the improvement in the performance compared to the conventional exploration technique is extremely appealing. We show that the stellar structure is highly recurrent for sub-networks in CHIMeRA generated by queries, which made this technique even more interesting. Finally, we describe the convenience in using the CHIMeRA network for research purposes and what it could become in a very near future.

Comparison between 5G private network and Wifi6 in industrial environment

Industry 4.0 refers to the 4th industrial revolution and at its bases, we can see the digitalization and the automation of the assembly line. The whole production process has improved and evolved thanks to the advances made in networking, and AI studies, which include of course machine learning, cloud computing, IoT, and other technologies that are finally being implemented into the industrial scenario. All these technologies have in common a need for faster, more secure, robust, and reliable communication. One of the many solutions for these demands is the use of mobile communication technologies in the industrial environment, but which technology is better suited for these demands? Of course, the answer isn’t as simple as it seems. The 4th industrial revolution has a never seen incomparable potential with respect to the previous ones, every factory, enterprise, or company have different network demands, and even in each of these infrastructures, the demands may diversify by sector, or by application. For example, in the health care industry, there may be e a need for increased bandwidth for the analysis of high-definition videos or, faster speeds in order to have analytics occur in real-time, and again another application might be higher security and reliability to protect patients’ data. As seen above, choosing the right technology for the right environment and application, considers many things, and the ones just stated are but a speck of dust with respect to the overall picture. In this thesis, we will investigate a comparison between the use of two of the available technologies in use for the industrial environment: Wi-Fi 6 and 5G Private Networks in the specific case of a steel factory.

Large-scale Network Analysis on Distributed Architectures

Questa dissertazione esamina le sfide e i limiti che gli algoritmi di analisi di grafi incontrano in architetture distribuite costituite da personal computer. In particolare, analizza il comportamento dell'algoritmo del PageRank così come implementato in una popolare libreria C++ di analisi di grafi distribuiti, la Parallel Boost Graph Library (Parallel BGL). I risultati qui presentati mostrano che il modello di programmazione parallela Bulk Synchronous Parallel è inadatto all'implementazione efficiente del PageRank su cluster costituiti da personal computer. L'implementazione analizzata ha infatti evidenziato una scalabilità negativa, il tempo di esecuzione dell'algoritmo aumenta linearmente in funzione del numero di processori. Questi risultati sono stati ottenuti lanciando l'algoritmo del PageRank della Parallel BGL su un cluster di 43 PC dual-core con 2GB di RAM l'uno, usando diversi grafi scelti in modo da facilitare l'identificazione delle variabili che influenzano la scalabilità. Grafi rappresentanti modelli diversi hanno dato risultati differenti, mostrando che c'è una relazione tra il coefficiente di clustering e l'inclinazione della retta che rappresenta il tempo in funzione del numero di processori. Ad esempio, i grafi Erdős–Rényi, aventi un basso coefficiente di clustering, hanno rappresentato il caso peggiore nei test del PageRank, mentre i grafi Small-World, aventi un alto coefficiente di clustering, hanno rappresentato il caso migliore. Anche le dimensioni del grafo hanno mostrato un'influenza sul tempo di esecuzione particolarmente interessante. Infatti, si è mostrato che la relazione tra il numero di nodi e il numero di archi determina il tempo totale.

Network approaches for the analysis of resting state fMRI data

Negli ultimi anni la teoria dei network è stata applicata agli ambiti più diversi, mostrando proprietà caratterizzanti tutti i network reali. In questo lavoro abbiamo applicato gli strumenti della teoria dei network a dati cerebrali ottenuti tramite MRI funzionale “resting”, provenienti da due esperimenti. I dati di fMRI sono particolarmente adatti ad essere studiati tramite reti complesse, poiché in un esperimento si ottengono tipicamente più di centomila serie temporali per ogni individuo, da più di 100 valori ciascuna. I dati cerebrali negli umani sono molto variabili e ogni operazione di acquisizione dati, così come ogni passo della costruzione del network, richiede particolare attenzione. Per ottenere un network dai dati grezzi, ogni passo nel preprocessamento è stato effettuato tramite software appositi, e anche con nuovi metodi da noi implementati. Il primo set di dati analizzati è stato usato come riferimento per la caratterizzazione delle proprietà del network, in particolare delle misure di centralità, dal momento che pochi studi a riguardo sono stati condotti finora. Alcune delle misure usate indicano valori di centralità significativi, quando confrontati con un modello nullo. Questo comportamento `e stato investigato anche a istanti di tempo diversi, usando un approccio sliding window, applicando un test statistico basato su un modello nullo pi`u complesso. Il secondo set di dati analizzato riguarda individui in quattro diversi stati di riposo, da un livello di completa coscienza a uno di profonda incoscienza. E' stato quindi investigato il potere che queste misure di centralità hanno nel discriminare tra diversi stati, risultando essere dei potenziali bio-marcatori di stati di coscienza. E’ stato riscontrato inoltre che non tutte le misure hanno lo stesso potere discriminante. Secondo i lavori a noi noti, questo `e il primo studio che caratterizza differenze tra stati di coscienza nel cervello di individui sani per mezzo della teoria dei network.

Neural Network Based UAV Fault Tolerant Control with Aerodynamic Disturbance Estimation and Compensation

In this thesis, the problem of controlling a quadrotor UAV is considered. It is done by presenting an original control system, designed as a combination of Neural Networks and Disturbance Observer, using a composite learning approach for a system of the second order, which is a novel methodology in literature. After a brief introduction about the quadrotors, the concepts needed to understand the controller are presented, such as the main notions of advanced control, the basic structure and design of a Neural Network, the modeling of a quadrotor and its dynamics. The full simulator, developed on the MATLAB Simulink environment, used throughout the whole thesis, is also shown. For the guidance and control purposes, a Sliding Mode Controller, used as a reference, it is firstly introduced, and its theory and implementation on the simulator are illustrated. Finally the original controller is introduced, through its novel formulation, and implementation on the model. The effectiveness and robustness of the two controllers are then proven by extensive simulations in all different conditions of external disturbance and faults.

Performance Analysis of 5G based Positioning in Railway Applications

Rail transportation has significant importance in the future world. This importance is tightly bounded to accessible, sustainable, efficient and safe railway systems. Precise positioning in railway applications is essential for increasing railway traffic, train-track control, collision avoidance, train management and autonomous train driving. Hence, precise train positioning is a safety-critical application. Nowadays, positioning in railway applications highly depends on a cellular-based system called GSM-R, a railway-specific version of Global System for Mobile Communications (GSM). However, GSM-R is a relatively outdated technology and does not provide enough capacity and precision demanded by future railway networks. One option for positioning is mounting Global Navigation Satellite System (GNSS) receivers on trains as a low-cost solution. Nevertheless, GNSS can not provide continuous service due to signal interruption by harsh environments, tunnels etc. Another option is exploiting cellular-based positioning methods. The most recent cellular technology, 5G, provides high network capacity, low latency, high accuracy and high availability suitable for train positioning. In this thesis, an approach to 5G-based positioning for railway systems is discussed and simulated. Observed Time Difference of Arrival (OTDOA) method and 5G Positioning Reference Signal (PRS) are used. Simulations run using MATLAB, based on existing code developed for 5G positioning by extending it for Non Line of Sight (NLOS) link detection and base station exclusion algorithms. Performance analysis for different configurations is completed. Results show that efficient NLOS detection improves positioning accuracy and implementing a base station exclusion algorithm helps for further increase.

Investigating perceptual multisensory impairments in Autism through a neural network: a possible neural implementation for the shift from cross-modal competition to facilitation

Resolution of multisensory deficits has been observed in teenagers with Autism Spectrum Disorders (ASD) for complex, social speech stimuli; this resolution extends to more basic multisensory processing, involving low-level stimuli. In particular, a delayed transition of multisensory integration (MSI) from a default state of competition to one of facilitation has been observed in ASD children. In other terms, the complete maturation of MSI is achieved later in ASD. In the present study a neuro-computational model is used to reproduce some patterns of behavior observed experimentally, modeling a bisensory reaction time task, in which auditory and visual stimuli are presented in random sequence alone (A or V) or together (AV). The model explains how the default competitive state can be implemented via mutual inhibition between primary sensory areas, and how the shift toward the classical multisensory facilitation, observed in adults, is the result of inhibitory cross-modal connections becoming excitatory during the development. Model results are consistent with a stronger cross-modal inhibition in ASD children, compared to normotypical (NT) ones, suggesting that the transition toward a cooperative interaction between sensory modalities takes longer to occur. Interestingly, the model also predicts the difference between unisensory switch trials (in which sensory modality switches) and unisensory repeat trials (in which sensory modality repeats). This is due to an inhibitory mechanism, characterized by a slow dynamics, driven by the preceding stimulus and inhibiting the processing of the incoming one, when of the opposite sensory modality. These findings link the cognitive framework delineated by the empirical results to a plausible neural implementation.