Neural Radiance Fields for Relighting and View Synthesis

Neural scene representation and neural rendering are new computer vision techniques that enable the reconstruction and implicit representation of real 3D scenes from a set of 2D captured images, by fitting a deep neural network. The trained network can then be used to render novel views of the scene. A recent work in this field, Neural Radiance Fields (NeRF), presented a state-of-the-art approach, which uses a simple Multilayer Perceptron (MLP) to generate photo-realistic RGB images of a scene from arbitrary viewpoints. However, NeRF does not model any light interaction with the fitted scene; therefore, despite producing compelling results for the view synthesis task, it does not provide a solution for relighting. In this work, we propose a new architecture to enable relighting capabilities in NeRF-based representations and we introduce a new real-world dataset to train and evaluate such a model. Our method demonstrates the ability to perform realistic rendering of novel views under arbitrary lighting conditions.

Generative Neural Networks for image iper-resolution and improvement of Optical Character Recognition's performances

The usage of Optical Character Recognition’s (OCR, systems is a widely spread technology into the world of Computer Vision and Machine Learning. It is a topic that interest many field, for example the automotive, where becomes a specialized task known as License Plate Recognition, useful for many application from the automation of toll road to intelligent payments. However, OCR systems need to be very accurate and generalizable in order to be able to extract the text of license plates under high variable conditions, from the type of camera used for acquisition to light changes. Such variables compromise the quality of digitalized real scenes causing the presence of noise and degradation of various type, which can be minimized with the application of modern approaches for image iper resolution and noise reduction. Oneclass of them is known as Generative Neural Networks, which are very strong ally for the solution of this popular problem.

Antibody-Antigen Interface Characterization with Contextualized Pre-trained Embeddings

Artificial Intelligence (AI) has substantially influenced numerous disciplines in recent years. Biology, chemistry, and bioinformatics are among them, with significant advances in protein structure prediction, paratope prediction, protein-protein interactions (PPIs), and antibody-antigen interactions. Understanding PPIs is critical since they are responsible for practically everything living and have several uses in vaccines, cancer, immunology, and inflammatory illnesses. Machine Learning (ML) offers enormous potential for effectively simulating antibody-antigen interactions and improving in-silico optimization of therapeutic antibodies for desired features, including binding activity, stability, and low immunogenicity. This research looks at the use of AI algorithms to better understand antibody-antigen interactions, and it further expands and explains several difficulties encountered in the field. Furthermore, we contribute by presenting a method that outperforms existing state-of-the-art strategies in paratope prediction from sequence data.

Continual learning on nano drones

Miniaturized flying robotic platforms, called nano-drones, have the potential to revolutionize the autonomous robots industry sector thanks to their very small form factor. The nano-drones’ limited payload only allows for a sub-100mW microcontroller unit for the on-board computations. Therefore, traditional computer vision and control algorithms are too computationally expensive to be executed on board these palm-sized robots, and we are forced to rely on artificial intelligence to trade off accuracy in favor of lightweight pipelines for autonomous tasks. However, relying on deep learning exposes us to the problem of generalization since the deployment scenario of a convolutional neural network (CNN) is often composed by different visual cues and different features from those learned during training, leading to poor inference performances. Our objective is to develop and deploy and adaptation algorithm, based on the concept of latent replays, that would allow us to fine-tune a CNN to work in new and diverse deployment scenarios. To do so we start from an existing model for visual human pose estimation, called PULPFrontnet, which is used to identify the pose of a human subject in space through its 4 output variables, and we present the design of our novel adaptation algorithm, which features automatic data gathering and labeling and on-device deployment. We therefore showcase the ability of our algorithm to adapt PULP-Frontnet to new deployment scenarios, improving the R2 scores of the four network outputs, with respect to an unknown environment, from approximately [−0.2, 0.4, 0.0,−0.7] to [0.25, 0.45, 0.2, 0.1]. Finally we demonstrate how it is possible to fine-tune our neural network in real time (i.e., under 76 seconds), using the target parallel ultra-low power GAP 8 System-on-Chip on board the nano-drone, and we show how all adaptation operations can take place using less than 2mWh of energy, a small fraction of the available battery power.

Framework for anomaly detection on photovoltaic plants

Technological advancement has undergone exponential growth in recent years, and this has brought significant improvements in the computational capabilities of computers, which can now perform an enormous amount of calculations per second. Taking advantage of these improvements has made it possible to devise algorithms that are very demanding in terms of the computational resources needed to develop architectures capable of solving the most complex problems: currently the most powerful of these are neural networks and in this thesis I will combine these tecniques with classical computer vision algorithms to improve the speed and accuracy of maintenance in photovoltaic facilities.

Progettazione e implementazione di una applicazione per dispositivi mobili basata su piattaforma android (linguaggio java) a supporto di soggetti affetti da disturbi dello spettro autistico

Nella maggior parte dei casi, i soggetti affetti da Disturbo dello Spettro Autistico hanno un deficit di comunicazione, sia esso verbale o non verbale. Nonostante, ad oggi, non esista una cura per questo disturbo, una diagnosi precoce entro il terzo anno di vita del soggetto e un programma educativo coerente con le necessità del paziente, permettono al bambino con autismo di raggiungere quantomeno le abilità comunicative di base. Recenti studi hanno dimostrato che l’utilizzo di Information and Communication Technology (ICT) nel trattamento di soggetti affetti da Disturbo dello Spettro Autistico può portare molti benefici, dato che, da un lato, computer, tablet e smartphone sono strumenti strutturati e prevedibili e, dall’altro, i sintetizzatori vocali, se presenti, sono privi di inflessioni verbali. A questo proposito, durante il mio tirocinio di tesi magistrale presso l’azienda “CSP – Innovazioni nelle ICT” di Torino, ho sviluppato un’applicazione per tablet Android che permette a psicologi, educatori, logopedisti, insegnanti e genitori di creare tabelle comunicative circostanziate alle esigenze del soggetto e che consente a quest’ultimo di utilizzare questo strumento come efficace mediatore sociale. Questo software si va a inserire in un progetto più ampio, denominato “tools4Autism”, nato dalla collaborazione tra il centro di ricerca di cui sopra, la “Fondazione ASPHI Onlus – ICT per migliorare la qualità di vita delle persone con disabilità” e il “Centro Autismo e Sindrome di Asperger” di Mondovì (CN). L’applicazione prevede principalmente due metodi di utilizzo: il primo, definito “modalità operatore”, è un editor che permette di creare tabelle composte da un numero variabile di immagini che possono essere pittogrammi, fotografie personali, disegni del bambino e possono essere accompagnate o meno da un testo. Una volta create le tabelle, l’operatore ha la possibilità di modificarle, eliminarle, variarne l’ordine, esportarle su altri dispositivi o importare tabelle precedentemente create. Il secondo metodo di utilizzo, definito “modalità utente”, permette al soggetto affetto da Disturbo Autistico di comunicare con altre persone sfruttando le tabelle create dall’operatore coerentemente con le sue necessità. Al tocco dell’immagine da parte del bambino, essa viene evidenziata tramite un contorno rosso e, se abilitato, il sintetizzatore vocale riproduce il testo associato a tale immagine. I principali fattori di innovazione dell’applicazione sono la gratuità, la semplicità di utilizzo, la rapidità nella creazione e nell’aggiornamento delle tabelle comunicative, la portabilità dello strumento e l’utilizzo della sintesi vocale. Il software sarà sperimentato presso il “Centro Autismo e Sindrome di Asperger”, centro di neuropsichiatria infantile specializzato nello studio del Disturbo Autistico. Tale sperimentazione si pone come obiettivo quello di verificare gli effettivi miglioramenti nella velocità e nella qualità di apprendimento delle fondamentali abilità comunicative.

Design and Implementation of a Cloud-based Middleware for Persuasive Android Applications

Negli ultimi decenni, le tecnologie e i prodotti informatici sono diventati pervasivi e sono ora una parte essenziale delle nostre vite. Ogni giorno ci influenzano in maniera più o meno esplicita, cambiando il nostro modo di vivere e i nostri comportamenti più o meno intenzionalmente. Tuttavia, i computer non nacquero inizialmente per persuadere: essi furono costruiti per gestire, calcolare, immagazzinare e recuperare dati. Non appena i computer si sono spostati dai laboratori di ricerca alla vita di tutti i giorni, sono però diventati sempre più persuasivi. Questa area di ricerca è chiamata pesuasive technology o captology, anche definita come lo studio dei sistemi informatici interattivi progettati per cambiare le attitudini e le abitudini delle persone. Nonostante il successo crescente delle tecnologie persuasive, sembra esserci una mancanza di framework sia teorici che pratici, che possano aiutare gli sviluppatori di applicazioni mobili a costruire applicazioni in grado di persuadere effettivamente gli utenti finali. Tuttavia, il lavoro condotto dal Professor Helal e dal Professor Lee al Persuasive Laboratory all’interno dell’University of Florida tenta di colmare questa lacuna. Infatti, hanno proposto un modello di persuasione semplice ma efficace, il quale può essere usato in maniera intuitiva da ingegneri o specialisti informatici. Inoltre, il Professor Helal e il Professor Lee hanno anche sviluppato Cicero, un middleware per dispositivi Android basato sul loro precedente modello, il quale può essere usato in modo molto semplice e veloce dagli sviluppatori per creare applicazioni persuasive. Il mio lavoro al centro di questa tesi progettuale si concentra sull’analisi del middleware appena descritto e, successivamente, sui miglioramenti e ampliamenti portati ad esso. I più importanti sono una nuova architettura di sensing, una nuova struttura basata sul cloud e un nuovo protocollo che permette di creare applicazioni specifiche per smartwatch.