Trainspotter: Una applicazione mobile collaborativa per il monitoraggio e l'analisi dei viaggi ferroviari.

uesto progetto di tesi ha come obiettivo la creazione di una applicazio- ne mobile collaborativa per il monitoraggio e l’analisi dei viaggi ferroviari. Collaborativa perché per poter adempiere alla sua funzione è necessario che i suoi utilizzatori partecipino attivamente all’accrescimento del database di dati, supponendo che con più dati raccolti sia maggiore l’accuratezza di que- st’ultimi. Sarà un’applicazione di monitoraggio nel senso che di ogni singolo treno verranno presi in esame una serie di aspetti considerati utili ai fini della valutazione della qualità del servizio offerto. Analisi perché, una volta raccolti, questi dati possono essere utilizzati sia da coloro che viaggiano in treno -per decidere se prendere un treno piuttosto che un altro- sia da coloro che gestiscono la rete in modo da stilare delle statistiche o per eseguire degli interventi mirati su di una specifica tratta o anche per potenziare il servizio clienti a bordo del treno.

Analisi e implementazione di applicazione mobile per il supporto agli studenti di programmazione

La tesi tratta il processo di analisi, progettazione e implementazione dell'applicazione del corso di laurea di Programmazione, in ambiente iOS. L'applicazione fornirà i servizi, ora offerti dal portale del corso di laurea, ottimizzati per dispositivi mobili.

Applicazione mobile per la somministrazione e il monitoraggio di piani alimentari

L'applicazione consente di gestire i piani alimentari forniti dal medico, visualizzare i pasti proposti e scegliere quali gruppi si mangia durante il giorno. La dispensa consente di visualizzare quali cibi sono all'interno del piano alimentare dando la possibilità di selezionarli. Grazie a degli algoritmi e a degli esami in laboratorio è possibile visualizzare la lista dei cibi più consigliati per il proprio organismo così da favorire il consumo di cibi sani.

Progettazione e sviluppo di un'applicazione mobile di supporto alle attivita sciistiche

Applicazione Multi-piattaforme allineata per spostamenti in montagna, che offre le funzionalità di tracciamento tra diversi utenti, raggiungimento fisico di bersagli con compimento di missioni premiati e un sistema d'emergenza.

Progettazione ed implementazione di un'applicazione mobile per la visualizzazione di Open Data ambientali

Gli Open Data sono un'utile strumento che sta via via assumendo sempre più importanza nella società; in questa tesi vedremo la loro utilità attraverso la realizzazione di un'applicazione mobile, che utilizza questi dati per fornire informazioni circa lo stato ambientale dell'aria e dei pollini in Emilia Romagna, sfruttando i dataset forniti da un noto ente pubblico (Arpa Emilia Romagna). Tale applicazione mobile si basa su un Web Service che gestisce i vari passaggi dei dati e li immagazzina in un database Mongodb. Tale Web Service è stato creato per essere a sua volta messo a disposizione di programmatori, enti o persone comuni per studi e sviluppi futuri in tale ambito.

Predire la borsa valori con language model neurali

Nonostante lo scetticismo di molti studiosi circa la possibilità di prevedere l'andamento della borsa valori, esistono svariate teorie ipotizzanti la possibilità di utilizzare le informazioni conosciute per predirne i movimenti futuri. L’avvento dell’intelligenza artificiale nella seconda parte dello scorso secolo ha permesso di ottenere risultati rivoluzionari in svariati ambiti, tanto che oggi tale disciplina trova ampio impiego nella nostra vita quotidiana in molteplici forme. In particolare, grazie al machine learning, è stato possibile sviluppare sistemi intelligenti che apprendono grazie ai dati, riuscendo a modellare problemi complessi. Visto il successo di questi sistemi, essi sono stati applicati anche all’arduo compito di predire la borsa valori, dapprima utilizzando i dati storici finanziari della borsa come fonte di conoscenza, e poi, con la messa a punto di tecniche di elaborazione del linguaggio naturale umano (NLP), anche utilizzando dati in linguaggio naturale, come il testo di notizie finanziarie o l’opinione degli investitori. Questo elaborato ha l’obiettivo di fornire una panoramica sull’utilizzo delle tecniche di machine learning nel campo della predizione del mercato azionario, partendo dalle tecniche più elementari per arrivare ai complessi modelli neurali che oggi rappresentano lo stato dell’arte. Vengono inoltre formalizzati il funzionamento e le tecniche che si utilizzano per addestrare e valutare i modelli di machine learning, per poi effettuare un esperimento in cui a partire da dati finanziari e soprattutto testuali si tenterà di predire correttamente la variazione del valore dell’indice di borsa S&P 500 utilizzando un language model basato su una rete neurale.

Reti Neurali Ricorrenti per la generazione di musica simbolica

Il Deep Learning ha radicalmente trasformato il mondo del Machine Learning migliorando lo stato dell'arte in diversi campi che spaziano dalla computer vision al natural language processing. Non fermandosi a problemi di classificazione, negli ultimi anni, applicazioni di tipo generativo hanno portato alla creazione di immagini realistiche e documenti letterali. Il mondo della musica non è esente da una moltitudine di esperimenti nello stesso campo, con risultati ancora acerbi ma comunque potenzialmente interessanti. In questa tesi verrà discussa l'applicazione di un di modello appartenente alla famiglia del Deep Learning per la generazione di musica simbolica.

Vocabulary Transfer and Knowledge Distillation for Language Model Compression

Natural Language Processing (NLP) has seen tremendous improvements over the last few years. Transformer architectures achieved impressive results in almost any NLP task, such as Text Classification, Machine Translation, and Language Generation. As time went by, transformers continued to improve thanks to larger corpora and bigger networks, reaching hundreds of billions of parameters. Training and deploying such large models has become prohibitively expensive, such that only big high tech companies can afford to train those models. Therefore, a lot of research has been dedicated to reducing a model’s size. In this thesis, we investigate the effects of Vocabulary Transfer and Knowledge Distillation for compressing large Language Models. The goal is to combine these two methodologies to further compress models without significant loss of performance. In particular, we designed different combination strategies and conducted a series of experiments on different vertical domains (medical, legal, news) and downstream tasks (Text Classification and Named Entity Recognition). Four different methods involving Vocabulary Transfer (VIPI) with and without a Masked Language Modelling (MLM) step and with and without Knowledge Distillation are compared against a baseline that assigns random vectors to new elements of the vocabulary. Results indicate that VIPI effectively transfers information of the original vocabulary and that MLM is beneficial. It is also noted that both vocabulary transfer and knowledge distillation are orthogonal to one another and may be applied jointly. The application of knowledge distillation first before subsequently applying vocabulary transfer is recommended. Finally, model performance due to vocabulary transfer does not always show a consistent trend as the vocabulary size is reduced. Hence, the choice of vocabulary size should be empirically selected by evaluation on the downstream task similar to hyperparameter tuning.

Intermediate linguistic task fine-tuning on Multi-lingual models

State-of-the-art NLP systems are generally based on the assumption that the underlying models are provided with vast datasets to train on. However, especially when working in multi-lingual contexts, datasets are often scarce, thus more research should be carried out in this field. This thesis investigates the benefits of introducing an additional training step when fine-tuning NLP models, named Intermediate Training, which could be exploited to augment the data used for the training phase. The Intermediate Training step is applied by training models on NLP tasks that are not strictly related to the target task, aiming to verify if the models are able to leverage the learned knowledge of such tasks. Furthermore, in order to better analyze the synergies between different categories of NLP tasks, experimentations have been extended also to Multi-Task Training, in which the model is trained on multiple tasks at the same time.

Bio-QA-GNN: Reasoning with Language Models and Knowledge Graphs for Interpretable Biomedical Question Answering

Nowadays the idea of injecting world or domain-specific structured knowledge into pre-trained language models (PLMs) is becoming an increasingly popular approach for solving problems such as biases, hallucinations, huge architectural sizes, and explainability lack—critical for real-world natural language processing applications in sensitive fields like bioinformatics. One recent work that has garnered much attention in Neuro-symbolic AI is QA-GNN, an end-to-end model for multiple-choice open-domain question answering (MCOQA) tasks via interpretable text-graph reasoning. Unlike previous publications, QA-GNN mutually informs PLMs and graph neural networks (GNNs) on top of relevant facts retrieved from knowledge graphs (KGs). However, taking a more holistic view, existing PLM+KG contributions mainly consider commonsense benchmarks and ignore or shallowly analyze performances on biomedical datasets. This thesis start from a propose of a deep investigation of QA-GNN for biomedicine, comparing existing or brand-new PLMs, KGs, edge-aware GNNs, preprocessing techniques, and initialization strategies. By combining the insights emerged in DISI's research, we introduce Bio-QA-GNN that include a KG. Working with this part has led to an improvement in state-of-the-art of MCOQA model on biomedical/clinical text, largely outperforming the original one (+3.63\% accuracy on MedQA). Our findings also contribute to a better understanding of the explanation degree allowed by joint text-graph reasoning architectures and their effectiveness on different medical subjects and reasoning types. Codes, models, datasets, and demos to reproduce the results are freely available at: \url{https://github.com/disi-unibo-nlp/bio-qagnn}.

BabelNet e il problema della Word Sense Disambiguation

La Word Sense Disambiguation è un problema informatico appartenente al campo di studi del Natural Language Processing, che consiste nel determinare il senso di una parola a seconda del contesto in cui essa viene utilizzata. Se un processo del genere può apparire banale per un essere umano, può risultare d'altra parte straordinariamente complicato se si cerca di codificarlo in una serie di istruzioni esguibili da una macchina. Il primo e principale problema necessario da affrontare per farlo è quello della conoscenza: per operare una disambiguazione sui termini di un testo, un computer deve poter attingere da un lessico che sia il più possibile coerente con quello di un essere umano. Sebbene esistano altri modi di agire in questo caso, quello di creare una fonte di conoscenza machine-readable è certamente il metodo che permette di affrontare il problema in maniera più diretta. Nel corso di questa tesi si cercherà, come prima cosa, di spiegare in cosa consiste la Word Sense Disambiguation, tramite una descrizione breve ma il più possibile dettagliata del problema. Nel capitolo 1 esso viene presentato partendo da alcuni cenni storici, per poi passare alla descrizione dei componenti fondamentali da tenere in considerazione durante il lavoro. Verranno illustrati concetti ripresi in seguito, che spaziano dalla normalizzazione del testo in input fino al riassunto dei metodi di classificazione comunemente usati in questo campo. Il capitolo 2 è invece dedicato alla descrizione di BabelNet, una risorsa lessico-semantica multilingua di recente costruzione nata all'Università La Sapienza di Roma. Verranno innanzitutto descritte le due fonti da cui BabelNet attinge la propria conoscenza, WordNet e Wikipedia. In seguito saranno illustrati i passi della sua creazione, dal mapping tra le due risorse base fino alla definizione di tutte le relazioni che legano gli insiemi di termini all'interno del lessico. Infine viene proposta una serie di esperimenti che mira a mettere BabelNet su un banco di prova, prima per verificare la consistenza del suo metodo di costruzione, poi per confrontarla, in termini di prestazioni, con altri sistemi allo stato dell'arte sottoponendola a diversi task estrapolati dai SemEval, eventi internazionali dedicati alla valutazione dei problemi WSD, che definiscono di fatto gli standard di questo campo. Nel capitolo finale vengono sviluppate alcune considerazioni sulla disambiguazione, introdotte da un elenco dei principali campi applicativi del problema. Vengono in questa sede delineati i possibili sviluppi futuri della ricerca, ma anche i problemi noti e le strade recentemente intraprese per cercare di portare le prestazioni della Word Sense Disambiguation oltre i limiti finora definiti.

IDCardOCR: Studio di tecniche di OCR per acquisire dati anagrafici mediante scanning di documenti di identità

Il progetto IDCardOCR si propone di investigare e realizzare le tecnologie per la messa in opera di un servizio avanzato di scanning di documenti di identità e acquisizione automatica dei dati anagrafici in formato strutturato tramite dispositivi mobili. In particolare si vuole realizzare una App Android in grado di: • Acquisire immagini di documenti di identità in diversi formati e rilevare tramite OCR i dati anagrafici. I dati dovranno poi essere salvati in formato strutturato. • Permettere la definizione di diversi template per l’acquisizione di documenti di tipo diverso (patenti, passaporti, IDCard straniere,… ) • Predisporre la possibilità di caricamento dei dati acquisiti su un server.

Business chat: sviluppo e implementazione

In questa tesi si vuole parlare dello sviluppo e dell'implementazione di un'applicazione per smartphone. L'applicazione in questione si chiama BusinessChat, è stata sviluppata per Android e utilizza sia lato server, sia lato Client. BusinessChat è un applicazione che mette in contatto consumatori e gestori di attività. Lo scopo dell'app è quindi quello di permettere al consumatore, di comunicare con il business in maniera più immediata, semplice e diretta. Per quanto riguarda il business può utilizzare quest'app sia per fornire un servizio al proprio cliente che per utilizzarla per pubblicizzare la propria attività, ad esempio con messaggi in broadcast a tutti i propri contatti (questa funzione non è ancora presente nella nostra applicazione, ma verrà aggiunta in un breve futuro). L'utente può ricercare, attraverso l'uso di una mappa, una particolare attività, ed eventualmente mettersi in contatto con lei, ad esempio, se ciò che cerchiamo è un ristorante, potremmo voler sapere se questa sera sono ancora disponibili dei posti liberi nel proprio locale, oppure se ad esempio volessimo ordinare delle pizze da asporto dalla nostra pizzeria di fiducia o sapere se sono attrezzati per gestire clienti allergici al glutine, o più semplicemente per conoscere l'orario di chiusura, tutto questo sarebbe possibile farlo attraverso pochissimi passi grazie a BusinessChat.

Deep learning for computer vision: a comparison between convolutional neural networks and hierarchical temporal memories on object recognition tasks

In recent years, Deep Learning techniques have shown to perform well on a large variety of problems both in Computer Vision and Natural Language Processing, reaching and often surpassing the state of the art on many tasks. The rise of deep learning is also revolutionizing the entire field of Machine Learning and Pattern Recognition pushing forward the concepts of automatic feature extraction and unsupervised learning in general. However, despite the strong success both in science and business, deep learning has its own limitations. It is often questioned if such techniques are only some kind of brute-force statistical approaches and if they can only work in the context of High Performance Computing with tons of data. Another important question is whether they are really biologically inspired, as claimed in certain cases, and if they can scale well in terms of "intelligence". The dissertation is focused on trying to answer these key questions in the context of Computer Vision and, in particular, Object Recognition, a task that has been heavily revolutionized by recent advances in the field. Practically speaking, these answers are based on an exhaustive comparison between two, very different, deep learning techniques on the aforementioned task: Convolutional Neural Network (CNN) and Hierarchical Temporal memory (HTM). They stand for two different approaches and points of view within the big hat of deep learning and are the best choices to understand and point out strengths and weaknesses of each of them. CNN is considered one of the most classic and powerful supervised methods used today in machine learning and pattern recognition, especially in object recognition. CNNs are well received and accepted by the scientific community and are already deployed in large corporation like Google and Facebook for solving face recognition and image auto-tagging problems. HTM, on the other hand, is known as a new emerging paradigm and a new meanly-unsupervised method, that is more biologically inspired. It tries to gain more insights from the computational neuroscience community in order to incorporate concepts like time, context and attention during the learning process which are typical of the human brain. In the end, the thesis is supposed to prove that in certain cases, with a lower quantity of data, HTM can outperform CNN.