Reinforcement learning over encrypted data

Reinforcement learning is a particular paradigm of machine learning that, recently, has proved times and times again to be a very effective and powerful approach. On the other hand, cryptography usually takes the opposite direction. While machine learning aims at analyzing data, cryptography aims at maintaining its privacy by hiding such data. However, the two techniques can be jointly used to create privacy preserving models, able to make inferences on the data without leaking sensitive information. Despite the numerous amount of studies performed on machine learning and cryptography, reinforcement learning in particular has never been applied to such cases before. Being able to successfully make use of reinforcement learning in an encrypted scenario would allow us to create an agent that efficiently controls a system without providing it with full knowledge of the environment it is operating in, leading the way to many possible use cases. Therefore, we have decided to apply the reinforcement learning paradigm to encrypted data. In this project we have applied one of the most well-known reinforcement learning algorithms, called Deep Q-Learning, to simple simulated environments and studied how the encryption affects the training performance of the agent, in order to see if it is still able to learn how to behave even when the input data is no longer readable by humans. The results of this work highlight that the agent is still able to learn with no issues whatsoever in small state spaces with non-secure encryptions, like AES in ECB mode. For fixed environments, it is also able to reach a suboptimal solution even in the presence of secure modes, like AES in CBC mode, showing a significant improvement with respect to a random agent; however, its ability to generalize in stochastic environments or big state spaces suffers greatly.

Design and implementation of a Reinforcement Learning framework for iOS devices

Reinforcement Learning is an increasingly popular area of Artificial Intelligence. The applications of this learning paradigm are many, but its application in mobile computing is in its infancy. This study aims to provide an overview of current Reinforcement Learning applications on mobile devices, as well as to introduce a new framework for iOS devices: Swift-RL Lib. This new Swift package allows developers to easily support and integrate two of the most common RL algorithms, Q-Learning and Deep Q-Network, in a fully customizable environment. All processes are performed on the device, without any need for remote computation. The framework was tested in different settings and evaluated through several use cases. Through an in-depth performance analysis, we show that the platform provides effective and efficient support for Reinforcement Learning for mobile applications.

Autonomous Pricing using Policy-Gradient Reinforcement Learning

Nella letteratura economica e di teoria dei giochi vi è un dibattito aperto sulla possibilità di emergenza di comportamenti anticompetitivi da parte di algoritmi di determinazione automatica dei prezzi di mercato. L'obiettivo di questa tesi è sviluppare un modello di reinforcement learning di tipo actor-critic con entropy regularization per impostare i prezzi in un gioco dinamico di competizione oligopolistica con prezzi continui. Il modello che propongo esibisce in modo coerente comportamenti cooperativi supportati da meccanismi di punizione che scoraggiano la deviazione dall'equilibrio raggiunto a convergenza. Il comportamento di questo modello durante l'apprendimento e a convergenza avvenuta aiuta inoltre a interpretare le azioni compiute da Q-learning tabellare e altri algoritmi di prezzo in condizioni simili. I risultati sono robusti alla variazione del numero di agenti in competizione e al tipo di deviazione dall'equilibrio ottenuto a convergenza, punendo anche deviazioni a prezzi più alti.

Realizzazione di un sistema per l’incremento della leggibilità dei contenuti Web Testuali

Nel primo capitolo parleremo dell'accessibilità ai siti web siccome con la crescita dei contenuti multimediali e dei contenuti dinamici, non vengono sempre presi in causa le disabilità che una persona può avere nel visualizzare determinati contenuti. Si tratterà di crescita del web 2.0 e nascita del web 3.0. La transcodifica dei contenuti e i problemi che ogni persona in base alla sua disabilità può riscontrare usando apparecchi differenti per l'accesso ai dati. Parleremo dell'evoluzione dell'uso dei siti in versione mobile cosi da fare un paragono con l'usabilità tra desktop e mobile. Nel secondo capitolo andremo ad analizzare tutte le specifiche che siamo andati a prendere in considerazione per lo sviluppo di questa estensione. Guarderemo quali sono le motivazioni che ci hanno portato allo sviluppo di un'estensione di questo tipo. Verranno anche descritte tutte le scelte progettuali prese in via di sviluppo per migliorare l'usabilità e l'utilizzo dei dati raccolti, per fornire un servizio più efficiente all'utente. Nel terzo capitolo andremo a spiegare tutta l'implementazione effettuata per ExTraS con tutte le funzionalità considerate e scelte in base ai problemi più importanti di accessibilità attualmente riscontrati nel mondo del web da persone con diversi gradi di disabilità. Le principali disabilità che vengono prese in considerazione per l'utilizzo di questo addon sono persone che soffrono di ipovisione, daltonismo. L'ultimo paragrafo di questo capitolo descriverà test effettuati con utenti reali e con utenti simulati. Il test con utenti simulati è stato effettuato grazie al lavoro di tesi effettuato da Alberto Fariselli il quale ha integrato ExTraS creando un simulatore basato sul Q-learning.