Design and implementation of a Reinforcement Learning framework for iOS devices

Reinforcement Learning is an increasingly popular area of Artificial Intelligence. The applications of this learning paradigm are many, but its application in mobile computing is in its infancy. This study aims to provide an overview of current Reinforcement Learning applications on mobile devices, as well as to introduce a new framework for iOS devices: Swift-RL Lib. This new Swift package allows developers to easily support and integrate two of the most common RL algorithms, Q-Learning and Deep Q-Network, in a fully customizable environment. All processes are performed on the device, without any need for remote computation. The framework was tested in different settings and evaluated through several use cases. Through an in-depth performance analysis, we show that the platform provides effective and efficient support for Reinforcement Learning for mobile applications.

Big data analytics for proactive and predictive maintenance in electric car battery packs

The idea behind the project is to develop a methodology for analyzing and developing techniques for the diagnosis and the prediction of the state of charge and health of lithium-ion batteries for automotive applications. For lithium-ion batteries, residual functionality is measured in terms of state of health; however, this value cannot be directly associated with a measurable value, so it must be estimated. The development of the algorithms is based on the identification of the causes of battery degradation, in order to model and predict the trend. Therefore, models have been developed that are able to predict the electrical, thermal and aging behavior. In addition to the model, it was necessary to develop algorithms capable of monitoring the state of the battery, online and offline. This was possible with the use of algorithms based on Kalman filters, which allow the estimation of the system status in real time. Through machine learning algorithms, which allow offline analysis of battery deterioration using a statistical approach, it is possible to analyze information from the entire fleet of vehicles. Both systems work in synergy in order to achieve the best performance. Validation was performed with laboratory tests on different batteries and under different conditions. The development of the model allowed to reduce the time of the experimental tests. Some specific phenomena were tested in the laboratory, and the other cases were artificially generated.

Continual learning for computer vision applications

One of the most visionary goals of Artificial Intelligence is to create a system able to mimic and eventually surpass the intelligence observed in biological systems including, ambitiously, the one observed in humans. The main distinctive strength of humans is their ability to build a deep understanding of the world by learning continuously and drawing from their experiences. This ability, which is found in various degrees in all intelligent biological beings, allows them to adapt and properly react to changes by incrementally expanding and refining their knowledge. Arguably, achieving this ability is one of the main goals of Artificial Intelligence and a cornerstone towards the creation of intelligent artificial agents. Modern Deep Learning approaches allowed researchers and industries to achieve great advancements towards the resolution of many long-standing problems in areas like Computer Vision and Natural Language Processing. However, while this current age of renewed interest in AI allowed for the creation of extremely useful applications, a concerningly limited effort is being directed towards the design of systems able to learn continuously. The biggest problem that hinders an AI system from learning incrementally is the catastrophic forgetting phenomenon. This phenomenon, which was discovered in the 90s, naturally occurs in Deep Learning architectures where classic learning paradigms are applied when learning incrementally from a stream of experiences. This dissertation revolves around the Continual Learning field, a sub-field of Machine Learning research that has recently made a comeback following the renewed interest in Deep Learning approaches. This work will focus on a comprehensive view of continual learning by considering algorithmic, benchmarking, and applicative aspects of this field. This dissertation will also touch on community aspects such as the design and creation of research tools aimed at supporting Continual Learning research, and the theoretical and practical aspects concerning public competitions in this field.

Development and characterization of deep learning techniques for neuroimaging data

Deep learning methods are extremely promising machine learning tools to analyze neuroimaging data. However, their potential use in clinical settings is limited because of the existing challenges of applying these methods to neuroimaging data. In this study, first a data leakage type caused by slice-level data split that is introduced during training and validation of a 2D CNN is surveyed and a quantitative assessment of the model’s performance overestimation is presented. Second, an interpretable, leakage-fee deep learning software written in a python language with a wide range of options has been developed to conduct both classification and regression analysis. The software was applied to the study of mild cognitive impairment (MCI) in patients with small vessel disease (SVD) using multi-parametric MRI data where the cognitive performance of 58 patients measured by five neuropsychological tests is predicted using a multi-input CNN model taking brain image and demographic data. Each of the cognitive test scores was predicted using different MRI-derived features. As MCI due to SVD has been hypothesized to be the effect of white matter damage, DTI-derived features MD and FA produced the best prediction outcome of the TMT-A score which is consistent with the existing literature. In a second study, an interpretable deep learning system aimed at 1) classifying Alzheimer disease and healthy subjects 2) examining the neural correlates of the disease that causes a cognitive decline in AD patients using CNN visualization tools and 3) highlighting the potential of interpretability techniques to capture a biased deep learning model is developed. Structural magnetic resonance imaging (MRI) data of 200 subjects was used by the proposed CNN model which was trained using a transfer learning-based approach producing a balanced accuracy of 71.6%. Brain regions in the frontal and parietal lobe showing the cerebral cortex atrophy were highlighted by the visualization tools.

Concepts and methods for efficient decentralized learning in federated settings

Deep Neural Networks (DNNs) have revolutionized a wide range of applications beyond traditional machine learning and artificial intelligence fields, e.g., computer vision, healthcare, natural language processing and others. At the same time, edge devices have become central in our society, generating an unprecedented amount of data which could be used to train data-hungry models such as DNNs. However, the potentially sensitive or confidential nature of gathered data poses privacy concerns when storing and processing them in centralized locations. To this purpose, decentralized learning decouples model training from the need of directly accessing raw data, by alternating on-device training and periodic communications. The ability of distilling knowledge from decentralized data, however, comes at the cost of facing more challenging learning settings, such as coping with heterogeneous hardware and network connectivity, statistical diversity of data, and ensuring verifiable privacy guarantees. This Thesis proposes an extensive overview of decentralized learning literature, including a novel taxonomy and a detailed description of the most relevant system-level contributions in the related literature for privacy, communication efficiency, data and system heterogeneity, and poisoning defense. Next, this Thesis presents the design of an original solution to tackle communication efficiency and system heterogeneity, and empirically evaluates it on federated settings. For communication efficiency, an original method, specifically designed for Convolutional Neural Networks, is also described and evaluated against the state-of-the-art. Furthermore, this Thesis provides an in-depth review of recently proposed methods to tackle the performance degradation introduced by data heterogeneity, followed by empirical evaluations on challenging data distributions, highlighting strengths and possible weaknesses of the considered solutions. Finally, this Thesis presents a novel perspective on the usage of Knowledge Distillation as a mean for optimizing decentralized learning systems in settings characterized by data heterogeneity or system heterogeneity. Our vision on relevant future research directions close the manuscript.

Development of unsupervised learning methods with applications to life sciences data

Machine Learning makes computers capable of performing tasks typically requiring human intelligence. A domain where it is having a considerable impact is the life sciences, allowing to devise new biological analysis protocols, develop patients’ treatments efficiently and faster, and reduce healthcare costs. This Thesis work presents new Machine Learning methods and pipelines for the life sciences focusing on the unsupervised field. At a methodological level, two methods are presented. The first is an “Ab Initio Local Principal Path” and it is a revised and improved version of a pre-existing algorithm in the manifold learning realm. The second contribution is an improvement over the Import Vector Domain Description (one-class learning) through the Kullback-Leibler divergence. It hybridizes kernel methods to Deep Learning obtaining a scalable solution, an improved probabilistic model, and state-of-the-art performances. Both methods are tested through several experiments, with a central focus on their relevance in life sciences. Results show that they improve the performances achieved by their previous versions. At the applicative level, two pipelines are presented. The first one is for the analysis of RNA-Seq datasets, both transcriptomic and single-cell data, and is aimed at identifying genes that may be involved in biological processes (e.g., the transition of tissues from normal to cancer). In this project, an R package is released on CRAN to make the pipeline accessible to the bioinformatic Community through high-level APIs. The second pipeline is in the drug discovery domain and is useful for identifying druggable pockets, namely regions of a protein with a high probability of accepting a small molecule (a drug). Both these pipelines achieve remarkable results. Lastly, a detour application is developed to identify the strengths/limitations of the “Principal Path” algorithm by analyzing Convolutional Neural Networks induced vector spaces. This application is conducted in the music and visual arts domains.

Development and testing of methodologies for the control and diagnosis of innovative combustion systems

In pursuit of aligning with the European Union's ambitious target of achieving a carbon-neutral economy by 2050, researchers, vehicle manufacturers, and original equipment manufacturers have been at the forefront of exploring cutting-edge technologies for internal combustion engines. The introduction of these technologies has significantly increased the effort required to calibrate the models implemented in the engine control units. Consequently the development of tools that reduce costs and the time required during the experimental phases, has become imperative. Additionally, to comply with ever-stricter limits on 〖"CO" 〗_"2" emissions, it is crucial to develop advanced control systems that enhance traditional engine management systems in order to reduce fuel consumption. Furthermore, the introduction of new homologation cycles, such as the real driving emissions cycle, compels manufacturers to bridge the gap between engine operation in laboratory tests and real-world conditions. Within this context, this thesis showcases the performance and cost benefits achievable through the implementation of an auto-adaptive closed-loop control system, leveraging in-cylinder pressure sensors in a heavy-duty diesel engine designed for mining applications. Additionally, the thesis explores the promising prospect of real-time self-adaptive machine learning models, particularly neural networks, to develop an automatic system, using in-cylinder pressure sensors for the precise calibration of the target combustion phase and optimal spark advance in a spark-ignition engines. To facilitate the application of these combustion process feedback-based algorithms in production applications, the thesis discusses the results obtained from the development of a cost-effective sensor for indirect cylinder pressure measurement. Finally, to ensure the quality control of the proposed affordable sensor, the thesis provides a comprehensive account of the design and validation process for a piezoelectric washer test system.

Il Sistema IBE di Boneh e Franklin

Un sistema di cifratura IBE (Identity-Based Encription Scheme) si basa su un sistema crittografico a chiave pubblica, costituita però in questo caso da una stringa arbitraria. Invece di generare una coppia casuale di chiavi pubbliche e private e pubblicare la prima, l'utente utilizza come chiave pubblica la sua "identità", ovvero una combinazione di informazioni opportune (nome, indirizzo...) che lo identifichino in maniera univoca. In questo modo ad ogni coppia di utenti risulta possibile comunicare in sicurezza e verificare le reciproche firme digitali senza lo scambio di chiavi private o pubbliche, senza la necessità di mantenere una key directory e senza dover ricorrere ogni volta ai servizi di un ente esterno. Nel 2001 Boneh e Franklin proposero uno schema completamente funzionante con sicurezza IND-ID-CCA, basato su un analogo del problema computazionale di Diffie-Hellman e che da un punto di vista tecnico-matematico utilizza la crittografia su curve ellittiche e la mappa bilineare Weil Pairing.

Correlazioni tra assetto geologico-strutturale del distretto cinabrifero del M.te Amiata e sue risorse geotermiche-epitermali

I giacimenti di cinabro (±stibina) del M.te Amiata costituiscono un distretto minerario di importanza mondiale, con una produzione storica totale che supera le 117 kt di Hg, prodotte tra il 1850 e il 1982. Nell’area del distretto minerario si trova l’omonimo sistema geotermico, con 6 impianti per la produzione di energia elettrica che producono 121MW equivalenti di energia. Lo scopo di questa tesi è di individuare e di verificare correlazioni esistenti tra la peculiare distribuzione N-S delle mineralizzazioni a cinabro, le manifestazioni geotermiche e l’assetto strutturale che caratterizza il distretto cinabrifero e il sistema geotermico. Le correlazioni sono state individuate attraverso l’applicazione di algoritmi Machine Learning (ML), utilizzando Scikit-learn, ad un dataset bidimensionale, costruito con applicazioni GIS per contenere tutti i dati geologici-giacimentologici reperiti in letteratura riguardo al distretto amiatino. È stato costruito un modello tridimensionale dell’area di studio basato sulla produzione di quattro solidi che raggruppano le formazioni geologiche presenti nell’area sulla base delle loro caratteristiche geoidrologiche. Sulla base dei risultati ottenuti si può affermare che le tecniche di ML si sono dimostrate utili nell’identificare correlazioni tra i diversi fattori geologico-strutturali che caratterizzano il sistema geotermico del M.te Amiata; la peculiare distribuzione spaziale N-S dei giacimenti del distretto dipende dalla combinazione di un sistema di faglie e di pieghe; i modelli di regressione basati su alberi decisionali (CatBoost e Random Forest) sono complessivamente più performanti e geologicamente significativi. Questo lavoro suggerisce che il ML rappresenta uno strumento in grado di suggerire nuove e poco sperimentate relazioni tra elementi geologici-giacimentologici di un’area complessa come un sistema geotermico ed è in grado di guidare eventuali fasi successive di studi geologici complessi.

Modellazione numerica del sistema fognario di parte della città di Ravenna

La presente tesi di laurea vuole affrontare il tema degli allagamenti in ambito urbano e si inserisce all’interno di un progetto già in essere riguardante la realizzazione di un modello numerico del sistema di drenaggio della città di Ravenna. L'obbiettivo è la modellazione in 2D delle aree della città del comparto nord caratterizzate da eventi di Pluvial flooding con particolare riguardo ai siti di interesse archeologico facenti parte del patrimonio UNESCO. Il caso di studio, inoltre, è ripreso dal programma SHELTER (Sustainable Historic Environments hoListic reconstruction through Technological Enhancement and community based Resilience) finanziato nell’ambito del programma per la ricerca europea Horizon 2020. Nel presente elaborato verranno dunque simulati i vari scenari idraulici caratterizzati da eventi di precipitazione riferiti a tempi di ritorno differenti al fine di analizzare la risposta del comparto nord della rete di Ravenna, per valutarne le critica tramite l’utilizzo del software EPA SWMM. I risultati ottenuti saranno dunque rielaborati per essere utilizzati nella realizzazione di carte tematiche grazie all’utilizzo del software GIS. Tali carte permetteranno quindi di valutare le aree maggiormente soggette a fenomeni di allagamento. I risultati verranno infine analizzati attraverso il software di modellazione bidimensionale HEC-RAS riuscendo così a comprendere meglio il fenomeno dell’allagamento urbano. Verrà posta una particolare attenzione nelle zone dove sono presenti i siti facenti parte del patrimonio UNESCO: Basilica di San Vitale e Battistero Ariani. I risultati ottenuti dalla modellazione, permetteranno infine, di valutare le metodologie e gli approcci per ridurre i deflussi superficiali durante la precipitazione e, quindi le portate in fognatura, andando così a garantire una protezione idraulica e ambientale del territorio aumentando la resilienza del comparto urbano.

Effetto della deplezione della lisina e della contemporanea somministrazione di integratori alimentari sulla qualità della carne di petto di pollo

Il presente lavoro di tesi ha avuto lo scopo di valutare l’effetto della deplezione dietetica della lisina, in concomitanza o meno della supplementazione di due diverse tipologie di integratori alimentari, sui principali tratti qualitativi e sulle proprietà tecnologiche della carne di petto di pollo. Pertanto, 1620 polli maschi sono stati allevati e suddivisi in 4 gruppi sperimentali in funzione dei trattamenti dietetici che prevedevano la deplezione del contenuto di lisina nella dieta con l’aggiunta o meno di 2 diversi tipi di integratori nella fase starter. Al termine della prova (50gg), 12 muscoli pettorali/gruppo sono stati destinati all’analisi del pH, colore, drip e cooking loss e sforzo di taglio. I risultati ottenuti hanno evidenziato che la deplezione della lisina insieme all’aggiunta dell’integratore 2 (contenente un precursore della creatina) ha determinato una significativa modificazione del colore della carne in termini di luminosità e indice di rosso (a*) e un aumento del cooking loss rispetto al gruppo di controllo. Tuttavia, le modificazioni ottenute sono di lieve entità e non determinano un eventuale peggioramento qualitativo della carne. Infatti, la deplezione della lisina non ha fatto rilevare alcuna modificazione significativa nei confronti dei parametri qualitativi e tecnologici presi in esame. Considerata la limitata disponibilità di studi presenti in letteratura riguardo la restrizione dietetica della quota di lisina, questo studio suggerisce come la sua deplezione nel primo periodo di vita dell’animale possa rappresentare una strategia efficace per ridurre i costi di alimentazione e migliorare la sostenibilità del sistema di produzione senza influenzare negativamente la qualità della carne. Infatti, è noto che la riduzione della concentrazione di alcuni componenti della dieta possa determinare una minore escrezione di azoto e fosforo, migliorando così la sostenibilità ambientale del sistema produttivo.

Dynamic Human Robot Interaction Framework Using Deep Learning and Robot Operating System (ROS): a practical approach

Trying to explain to a robot what to do is a difficult undertaking, and only specific types of people have been able to do so far, such as programmers or operators who have learned how to use controllers to communicate with a robot. My internship's goal was to create and develop a framework that would make that easier. The system uses deep learning techniques to recognize a set of hand gestures, both static and dynamic. Then, based on the gesture, it sends a command to a robot. To be as generic as feasible, the communication is implemented using Robot Operating System (ROS). Furthermore, users can add new recognizable gestures and link them to new robot actions; a finite state automaton enforces the users' input verification and correct action sequence. Finally, the users can create and utilize a macro to describe a sequence of actions performable by a robot.

Reti Neurali Ricorrenti per la generazione di musica simbolica

Il Deep Learning ha radicalmente trasformato il mondo del Machine Learning migliorando lo stato dell'arte in diversi campi che spaziano dalla computer vision al natural language processing. Non fermandosi a problemi di classificazione, negli ultimi anni, applicazioni di tipo generativo hanno portato alla creazione di immagini realistiche e documenti letterali. Il mondo della musica non è esente da una moltitudine di esperimenti nello stesso campo, con risultati ancora acerbi ma comunque potenzialmente interessanti. In questa tesi verrà discussa l'applicazione di un di modello appartenente alla famiglia del Deep Learning per la generazione di musica simbolica.

Studio di progettazione di un sistema vite-madrevite per cilindri di sollevamento elettrici per applicazioni navali.

L’attività di tirocinio è iniziata con lo studio dei sottomarini e dei loro apparati. Una volta individuate le criticità del caso di studio è stata avviata una fase di ricerca bibliografica sui materiali e sui relativi processi tribologici coinvolti nello strisciamento tra vite e madrevite. La ricerca si è poi concentrata sui fenomeni di corrosione e sui materiali adatti a contrastarla; in base ai dati raccolti ne è stata selezionata una coppia per vite e madrevite. A questo punto è stata effettuata la modellazione CAD 3D del sistema di sollevamento, modellando i principali elementi del meccanismo, cioè la vite, la madrevite e i componenti che ospitano cuscinetti e guarnizioni. Contemporaneamente alla fase di disegno è stato effettuato il dimensionamento del sistema vite-madrevite e dei dispositivi necessari al suo funzionamento. Durante questa fase è stata progettata una legge di moto della vite tale da consentire prestazioni equivalenti o migliori del sistema idraulico da sostituire. Per la vite, oltre alle verifiche statiche e a fatica, è stato necessario effettuare le verifiche a carico di punta e di velocità critica. Durante i calcoli riguardanti la fatica, sono stati valutati gli effetti dovuti alla presenza della filettatura, calcolando i coefficienti di concentrazione delle tensioni grazie ad apposite simulazioni FEM. Inoltre, è stato dimensionato il collegamento tramite linguetta al motoriduttore. Dopo aver effettuato il dimensionamento statico della madrevite ed eseguito una verifica dei parametri che ne determinano l’usura, sono stati scelti i componenti commerciali come cuscinetti, guarnizioni e tenute. Terminata la fase di dimensionamento dei componenti è stato effettuato un approfondimento relativo al gruppo motoriduttore e al meccanismo frenante. Nei capitoli conclusivi sono stati valutati aspetti come la gestione dei carichi radiali, i test necessari ad ultimare la progettazione e i possibili sviluppi futuri.

Progettazione innovativa di un dispositivo di ausilio al sonno

Il rapido sviluppo dell'economia e della tecnologia ha portato rapidi cambiamenti nella vita delle persone. Solo avendo un sonno di alta qualità possiamo dare il meglio ed essere veramente produttivi e produttivi.Invertire giorno e notte, procrastinare il sonno e stare alzati fino a tardi sono diventate abitudini comuni delle persone moderne. Queste cattive abitudini del sonno hanno un impatto sulla salute fisica, sull'efficienza del lavoro e dello studio e sulla vita delle persone. Miatal Tracker è un software di monitoraggio del sonno per i mercati europeo e americano e fornisce anche molti audio per dormire, corsi di meditazione e conoscenze relative al sonno. Durante il mio tirocinio, il team ha scoperto che i nostri prodotti sono meno differenziati da prodotti simili sul mercato. Per aiutare meglio gli utenti a risolvere i problemi di insonnia e migliorare la qualità del sonno, estraiamo metodi di terapia comportamentale dalla CBT-I migliorando così l'insonnia. Basato sulla progettazione della persuasione e della guida, migliora l'esecuzione dei comportamenti target e aiuta gli utenti a formare buone abitudini di sonno. Dal punto di vista del design, vengono studiate le ragioni di questi fenomeni e, combinate con le pertinenti conoscenze di psicologia e scienze comportamentali, viene esplorato come aiutare le abitudini di lavoro e di riposo delle persone. Prendendo questo come un'idea di design, la progettazione di prodotti e software applicativo si basa sulla progettazione del prodotto, integrata da applicazioni software, che combinano abitudini del sonno, prodotti e monitoraggio del sonno per formare un sistema di prodotti di promemoria, simboli e feedback, aiutando gli utenti a formare un buon sistema di prodotti Le abitudini del sonno, attraverso una guida non coercitiva, cambiano gli atteggiamenti e i comportamenti degli utenti verso l'obiettivo di ottenere un sonno di qualità.