Estimativa da radiação solar ultravioleta em Botucatu/SP Brasil utilizando técnicas de aprendizado de máquina

Pós-graduação em Agronomia (Energia na Agricultura) - FCA

Active Learning to Maximize Area Under the ROC Curve

In active learning, a machine learning algorithmis given an unlabeled set of examples U, and is allowed to request labels for a relatively small subset of U to use for training. The goal is then to judiciously choose which examples in U to have labeled in order to optimize some performance criterion, e.g. classification accuracy. We study how active learning affects AUC. We examine two existing algorithms from the literature and present our own active learning algorithms designed to maximize the AUC of the hypothesis. One of our algorithms was consistently the top performer, and Closest Sampling from the literature often came in second behind it. When good posterior probability estimates were available, our heuristics were by far the best.

Studio e validazione di una nuova metodica per la valutazione dello stato di forma

We observed 82 healthy subjects, from both sexes, aged between 19 and 77 years. All subjects performed two different tests: for being scientifically acknowledged, the first one was used as a reference and it was a stress test (CPX). During the entire test, heart rate and gas exchange were recorded continuously; the second, the actual object of this study, was a submaximal test (TOP). Only heart rate was recorded continuously. The main purpose was to determinate an index of physical fitness as result of TOP. CPX test allowed us to individuate anaerobic threshold. We used an incremental protocol of 10/20 Watt/min, different by age. For our TOP test we used an RHC400 UPRIGHT BIKE, by Air Machine. Each subject was monitored for heart frequency. After 2 minutes of resting period there was a first step: 3 minutes of pedalling at a constant rate of 60 RPM, (40 watts for elder subjects and 60 watts for the younger ones). Then, the subject was allowed to rest for a recovery phase of 5 minutes. Third and last step consisted of 3 minutes of pedalling again at 60 RPM but now set to 60 watts for elder subjects and 80 watts for the young subjects. Finally another five minutes of recovery. A good correlation was found between TOP and CPX results especially between punctua l heart rate reserve (HRR’) and anaerobic threshold parameters such as Watt, VO2, VCO2 . HRR’ was obtained by subtracting maximal heart rate during TOP from maximal theoretic heart rate (206,9-(0,67*age)). Data were analyzed through cluster analysis in order to obtain 3 homogeneous groups. The first group contains the least fit subjects (inactive, women, elderly). The other groups contain the “average fit” and the fittest subjects (active, men, younger). Concordance between test resulted in 83,23%. Afterwards, a linear combinations of the most relevant variables gave us a formula to classify people in the correct group. The most relevant result is that this submaximal test is able to discriminate subjects with different physical condition and to provide information (index) about physical fitness through HRR’. Compared to a traditional incremental stress test, the very low load of TOP, short duration and extended resting period, make this new method suitable to very different people. To better define the TOP index, it is necessary to enlarge our subject sample especially by diversifying the age range.

Automatic induction of lexical features

This thesis concerns artificially intelligent natural language processing systems that are capable of learning the properties of lexical items (properties like verbal valency or inflectional class membership) autonomously while they are fulfilling their tasks for which they have been deployed in the first place. Many of these tasks require a deep analysis of language input, which can be characterized as a mapping of utterances in a given input C to a set S of linguistically motivated structures with the help of linguistic information encoded in a grammar G and a lexicon L: G + L + C → S (1) The idea that underlies intelligent lexical acquisition systems is to modify this schematic formula in such a way that the system is able to exploit the information encoded in S to create a new, improved version of the lexicon: G + L + S → L' (2) Moreover, the thesis claims that a system can only be considered intelligent if it does not just make maximum usage of the learning opportunities in C, but if it is also able to revise falsely acquired lexical knowledge. So, one of the central elements in this work is the formulation of a couple of criteria for intelligent lexical acquisition systems subsumed under one paradigm: the Learn-Alpha design rule. The thesis describes the design and quality of a prototype for such a system, whose acquisition components have been developed from scratch and built on top of one of the state-of-the-art Head-driven Phrase Structure Grammar (HPSG) processing systems. The quality of this prototype is investigated in a series of experiments, in which the system is fed with extracts of a large English corpus. While the idea of using machine-readable language input to automatically acquire lexical knowledge is not new, we are not aware of a system that fulfills Learn-Alpha and is able to deal with large corpora. To instance four major challenges of constructing such a system, it should be mentioned that a) the high number of possible structural descriptions caused by highly underspeci ed lexical entries demands for a parser with a very effective ambiguity management system, b) the automatic construction of concise lexical entries out of a bulk of observed lexical facts requires a special technique of data alignment, c) the reliability of these entries depends on the system's decision on whether it has seen 'enough' input and d) general properties of language might render some lexical features indeterminable if the system tries to acquire them with a too high precision. The cornerstone of this dissertation is the motivation and development of a general theory of automatic lexical acquisition that is applicable to every language and independent of any particular theory of grammar or lexicon. This work is divided into five chapters. The introductory chapter first contrasts three different and mutually incompatible approaches to (artificial) lexical acquisition: cue-based queries, head-lexicalized probabilistic context free grammars and learning by unification. Then the postulation of the Learn-Alpha design rule is presented. The second chapter outlines the theory that underlies Learn-Alpha and exposes all the related notions and concepts required for a proper understanding of artificial lexical acquisition. Chapter 3 develops the prototyped acquisition method, called ANALYZE-LEARN-REDUCE, a framework which implements Learn-Alpha. The fourth chapter presents the design and results of a bootstrapping experiment conducted on this prototype: lexeme detection, learning of verbal valency, categorization into nominal count/mass classes, selection of prepositions and sentential complements, among others. The thesis concludes with a review of the conclusions and motivation for further improvements as well as proposals for future research on the automatic induction of lexical features.

Segmentazione di immagini mammografiche con convolutional neural networks

Il tumore al seno si colloca al primo posto per livello di mortalità tra le patologie tumorali che colpiscono la popolazione femminile mondiale. Diversi studi clinici hanno dimostrato come la diagnosi da parte del radiologo possa essere aiutata e migliorata dai sistemi di Computer Aided Detection (CAD). A causa della grande variabilità di forma e dimensioni delle masse tumorali e della somiglianza di queste con i tessuti che le ospitano, la loro ricerca automatizzata è un problema estremamente complicato. Un sistema di CAD è generalmente composto da due livelli di classificazione: la detection, responsabile dell’individuazione delle regioni sospette presenti sul mammogramma (ROI) e quindi dell’eliminazione preventiva delle zone non a rischio; la classificazione vera e propria (classification) delle ROI in masse e tessuto sano. Lo scopo principale di questa tesi è lo studio di nuove metodologie di detection che possano migliorare le prestazioni ottenute con le tecniche tradizionali. Si considera la detection come un problema di apprendimento supervisionato e lo si affronta mediante le Convolutional Neural Networks (CNN), un algoritmo appartenente al deep learning, nuova branca del machine learning. Le CNN si ispirano alle scoperte di Hubel e Wiesel riguardanti due tipi base di cellule identificate nella corteccia visiva dei gatti: le cellule semplici (S), che rispondono a stimoli simili ai bordi, e le cellule complesse (C) che sono localmente invarianti all’esatta posizione dello stimolo. In analogia con la corteccia visiva, le CNN utilizzano un’architettura profonda caratterizzata da strati che eseguono sulle immagini, alternativamente, operazioni di convoluzione e subsampling. Le CNN, che hanno un input bidimensionale, vengono solitamente usate per problemi di classificazione e riconoscimento automatico di immagini quali oggetti, facce e loghi o per l’analisi di documenti.

Modularità: Dai sistemi biologici ai sistemi artificiali

I sistemi di intelligenza artificiale vengono spesso messi a confronto con gli aspetti biologici riguardanti il cervello umano. L’interesse per la modularità è in continua crescita, che sta portando a risultati davvero interessanti attraverso l’utilizzo di sistemi artificiali intelligenti, come le reti neuronali. Molte reti, sia biologiche sia artificiali sono organizzate in moduli, i quali rappresentano cluster densi di parti interconnesse fra loro all’interno di una rete complessa. Nel campo dell’ingegneria, si usano design modulari per spiegare come una macchina è costituita da parti separate. Lo studio della struttura e delle funzioni di organismi/processi complessi si basa implicitamente su un principio di organizzazione modulare, vale a dire si dà per acquisito il fatto che siano modulari, cioè composti da parti con forma e/o funzioni diverse. Questo elaborato si propone di esporre gli aspetti fondamentali riguardanti la modularità di reti neuronali, le sue origini evolutive, le condizioni necessarie o sufficienti che favoriscono l’emergere dei moduli e relativi vantaggi. Il primo capitolo fornisce alcune conoscenze di base che permettono di leggere gli esperimenti delle parti successive con consapevolezza teorica più profonda. Si descrivono reti neuronali artificiali come sistemi intelligenti ispirati alla struttura di reti neurali biologiche, soffermandosi in particolare sulla rete feed-forward, sull’algoritmo di backpropagation e su modelli di reti neurali modulari. Il secondo capitolo offre una visione delle origini evolutive della modularità e dei meccanismi evolutivi riguardanti sistemi biologici, una classificazione dei vati tipi di modularità, esplorando il concetto di modularità nell’ambito della psicologia cognitiva. Si analizzano i campi disciplinari a cui questa ricerca di modularità può portare vantaggi. Dal terzo capitolo che inizia a costituire il corpo centrale dell’elaborato, si dà importanza alla modularità nei sistemi computazionali, illustrando alcuni casi di studio e relativi metodi presenti in letteratura e fornendo anche una misura quantitativa della modularità. Si esaminano le varie possibilità di evoluzione della modularità: spontanea, da specializzazione, duplicazione, task-dependent, ecc. passando a emulare l’evoluzione di sistemi neurali modulari con applicazione al noto modello “What-Where” e a vari modelli con caratteristiche diverse. Si elencano i vantaggi che la modularità produce, soffermandosi sull’algoritmo di apprendimento, sugli ambienti che favoriscono l’evoluzione della modularità con una serie di confronti fra i vari tipi, statici e dinamici. In ultimo, come il vantaggio di avere connessioni corte possa portare a sviluppare modularità. L’obiettivo comune è l’emergere della modularità in sistemi neuronali artificiali, che sono usati per applicazioni in numerosi ambiti tecnologici.

Neural network modelling of the wave-structure interaction processes

This thesis presents a new Artificial Neural Network (ANN) able to predict at once the main parameters representative of the wave-structure interaction processes, i.e. the wave overtopping discharge, the wave transmission coefficient and the wave reflection coefficient. The new ANN has been specifically developed in order to provide managers and scientists with a tool that can be efficiently used for design purposes. The development of this ANN started with the preparation of a new extended and homogeneous database that collects all the available tests reporting at least one of the three parameters, for a total amount of 16’165 data. The variety of structure types and wave attack conditions in the database includes smooth, rock and armour unit slopes, berm breakwaters, vertical walls, low crested structures, oblique wave attacks. Some of the existing ANNs were compared and improved, leading to the selection of a final ANN, whose architecture was optimized through an in-depth sensitivity analysis to the training parameters of the ANN. Each of the selected 15 input parameters represents a physical aspect of the wave-structure interaction process, describing the wave attack (wave steepness and obliquity, breaking and shoaling factors), the structure geometry (submergence, straight or non-straight slope, with or without berm or toe, presence or not of a crown wall), or the structure type (smooth or covered by an armour layer, with permeable or impermeable core). The advanced ANN here proposed provides accurate predictions for all the three parameters, and demonstrates to overcome the limits imposed by the traditional formulae and approach adopted so far by some of the existing ANNs. The possibility to adopt just one model to obtain a handy and accurate evaluation of the overall performance of a coastal or harbor structure represents the most important and exportable result of the work.

Introduction to Reservoir Computing Methods

Il documento tratta la famiglia di metodologie di allenamento e sfruttamento delle reti neurali ricorrenti nota sotto il nome di Reservoir Computing. Viene affrontata un'introduzione sul Machine Learning in generale per fornire tutti gli strumenti necessari a comprendere l'argomento. Successivamente, vengono dati dettagli implementativi ed analisi dei vantaggi e punti deboli dei vari approcci, il tutto con supporto di codice ed immagini esplicative. Nel finale vengono tratte conclusioni sugli approcci, su quanto migliorabile e sulle applicazioni pratiche.

Modello bayesiano per la regressione di dati troncati con applicazione a dati biologici

In questa tesi vengono valutati gli effetti sui modelli di regressione lineare da parte di troncature deterministiche dei dati analizzati, e viene proposto un metodo alternativo per effettuare queste regressioni, che rimuova queste distorsioni. In particolare vengono discussi questi effetti nel campo della ricerca biologica, come nel progetto Mark-Age. Il progetto Mark-Age ha come obiettivo quello di ottenere un set di biomarcatori per l'invecchiamento, attraverso l'uso di metodi di data learning in analisi di tipo trasversale; elaborando cioè diverse variabili misurate sulle popolazioni esaminate riguardanti più sistemi fisiologici contemporaneamente e senza escludere interazioni locali fra queste. E' necessario tenere conto in queste analisi che questi dati sono deterministicamente troncati per via dei criteri di selezione sull’età dei partecipanti, e che questo ha un effetto rilevante sui metodi di analisi standard, i quali invece ipotizzano che non vi sarebbe alcuna relazione fra l’assenza di un dato ed il suo valore, se questo fosse misurato. In questa tesi vengono studiati gli effetti di questa troncatura sia per quanto riguarda la selezione di modelli ottimali, che della stima dei parametri per questi modelli. Vengono studiati e caratterizzati questi effetti nell'ambito di un toy model, che permette di quantificare la distorsione e la perdita di potenza dovuta alla troncatura. Viene inoltre introdotto un appropriato metodo di regressione, chiamato Tobit, che tenga conto di questi effetti. Questo metodo viene infine applicato ad un sottoinsieme dati del progetto Mark-Age, dimostrando una notevole riduzione del bias di predizione, ottenendo anche una stima della precisione di queste predizioni.

Deep learning for computer vision: a comparison between convolutional neural networks and hierarchical temporal memories on object recognition tasks

In recent years, Deep Learning techniques have shown to perform well on a large variety of problems both in Computer Vision and Natural Language Processing, reaching and often surpassing the state of the art on many tasks. The rise of deep learning is also revolutionizing the entire field of Machine Learning and Pattern Recognition pushing forward the concepts of automatic feature extraction and unsupervised learning in general. However, despite the strong success both in science and business, deep learning has its own limitations. It is often questioned if such techniques are only some kind of brute-force statistical approaches and if they can only work in the context of High Performance Computing with tons of data. Another important question is whether they are really biologically inspired, as claimed in certain cases, and if they can scale well in terms of "intelligence". The dissertation is focused on trying to answer these key questions in the context of Computer Vision and, in particular, Object Recognition, a task that has been heavily revolutionized by recent advances in the field. Practically speaking, these answers are based on an exhaustive comparison between two, very different, deep learning techniques on the aforementioned task: Convolutional Neural Network (CNN) and Hierarchical Temporal memory (HTM). They stand for two different approaches and points of view within the big hat of deep learning and are the best choices to understand and point out strengths and weaknesses of each of them. CNN is considered one of the most classic and powerful supervised methods used today in machine learning and pattern recognition, especially in object recognition. CNNs are well received and accepted by the scientific community and are already deployed in large corporation like Google and Facebook for solving face recognition and image auto-tagging problems. HTM, on the other hand, is known as a new emerging paradigm and a new meanly-unsupervised method, that is more biologically inspired. It tries to gain more insights from the computational neuroscience community in order to incorporate concepts like time, context and attention during the learning process which are typical of the human brain. In the end, the thesis is supposed to prove that in certain cases, with a lower quantity of data, HTM can outperform CNN.

Big data, nosql e machine learning: un'applicazione di prediction e recommendation basata sulle api di Amazon

In questa tesi sono stati introdotti e studiati i Big Data, dando particolare importanza al mondo NoSQL, approfondendo MongoDB, e al mondo del Machine Learning, approfondendo PredictionIO. Successivamente è stata sviluppata un'applicazione attraverso l'utilizzo di tecnologie web, nodejs, node-webkit e le tecnologie approfondite prima. L'applicazione utilizza l'interpolazione polinomiale per predirre il prezzo di un bene salvato nello storico presente su MongoDB. Attraverso PredictionIO, essa analizza il comportamento degli altri utenti consigliando dei prodotti per l'acquisto. Infine è stata effetuata un'analisi dei risultati dell'errore prodotto dall'interpolazione.

Sviluppo di un sistema di misura ottico per la valutazione accurata del volume ematico durante il trattamento emodialitico.

L’insufficienza renale cronica è una malattia di grande impatto sulla sanità pubblica. Il punto di approdo per la maggior parte dei pazienti, alternativo al trapianto renale, è il trattamento dialitico che rappresenta una cura ad alto costo sia sociale che economico. Il rene artificiale è il dispositivo attraverso il quale si effettua la terapia, ed è frutto di un costante sviluppo che mira a sostituire la funzione renale in quanto sottosistema dell’organismo umano. Per questo è sempre più importante dotarlo di un adeguato set di sensori che permettano di monitorare l’efficacia del trattamento. L’emodialisi prevede la rimozione dei liquidi in eccesso accumulati nel periodo che intercorre tra due trattamenti successivi, per questo un parametro molto importante da monitorare è la variazione relativa del volume ematico (RBV, Relative Blood Volume Variation). A questo scopo gli attuali dispositivi per dialisi in commercio utilizzano tecnologie ad ultrasuoni o ottiche: è stata però recentemente evidenziata la sensibilità indesiderata di questa seconda tecnica ai cambiamenti di osmolarità del sangue sotto analisi. Lo studio presentato in questa tesi è volto a migliorare l’accuratezza con la quale effettuare la stima del RBV nel corso del trattamento dialitico, attraverso un sistema di misura ottico sperimentale. Il prototipo realizzato prevede di aumentare le informazioni raccolte sia aumentando la distribuzione spaziale dei sensori ottici che allargando la banda di lunghezze d’onda alla quale i dati vengono acquisiti. La stima del RBV è gestita attraverso algoritmi basati sulle combinazioni lineari, sulle reti neurali e su modelli autoregressivi.

Modelli e Strumenti di Classifciazione Automatica per il Controllo dell'Accesso su Piattaforme Big Data

Dall'analisi dei big data si possono trarre degli enormi benefici in svariati ambiti applicativi. Uno dei fattori principali che contribuisce alla ricchezza dei big data, consiste nell'uso non previsto a priori di dati immagazzinati in precedenza, anche in congiunzione con altri dataset eterogenei: questo permette di trovare correlazioni significative e inaspettate tra i dati. Proprio per questo, il Valore, che il dato potenzialmente porta con sè, stimola le organizzazioni a raccogliere e immagazzinare sempre più dati e a ricercare approcci innovativi e originali per effettuare analisi su di essi. L’uso fortemente innovativo che viene fatto dei big data in questo senso e i requisiti tecnologici richiesti per gestirli hanno aperto importanti problematiche in materia di sicurezza e privacy, tali da rendere inadeguati o difficilmente gestibili, gli strumenti di sicurezza utilizzati finora nei sistemi tradizionali. Con questo lavoro di tesi si intende analizzare molteplici aspetti della sicurezza in ambito big data e offrire un possibile approccio alla sicurezza dei dati. In primo luogo, la tesi si occupa di comprendere quali sono le principali minacce introdotte dai big data in ambito di privacy, valutando la fattibilità delle contromisure presenti all’attuale stato dell’arte. Tra queste anche il controllo dell’accesso ha riscontrato notevoli sfide causate dalle necessità richieste dai big data: questo elaborato analizza pregi e difetti del controllo dell’accesso basato su attributi (ABAC), un modello attualmente oggetto di discussione nel dibattito inerente sicurezza e privacy nei big data. Per rendere attuabile ABAC in un contesto big data, risulta necessario l’ausilio di un supporto per assegnare gli attributi di visibilità alle informazioni da proteggere. L’obiettivo di questa tesi consiste nel valutare fattibilità, caratteristiche significative e limiti del machine learning come possibile approccio di utilizzo.

A Personalized Privacy Management Framework for Android Applications

Ogni giorno, l'utente di smartphon e tablet, spesso senza rendersene conto, condivide, tramite varie applicazioni, un'enorme quantità di informazioni. Negli attuali sistemi operativi, l'assenza di meccanismi utili a garantire adeguatamente l'utente, ha spinto questo lavoro di ricerca verso lo sviluppo di un inedito framework.È stato necessario uno studio approfondito dello stato dell'arte di soluzioni con gli stessi obiettivi. Sono stati esaminati sia modelli teorici che pratici, con l'analisi accurata del relativo codice. Il lavoro, in stretto contatto con i colleghi dell'Università Centrale della Florida e la condivisione delle conoscenze con gli stessi, ha portato ad importanti risultati. Questo lavoro ha prodotto un framework personalizzato per gestire la privacy nelle applicazioni mobili che, nello specifico, è stato sviluppato per Android OS e necessita dei permessi di root per poter realizzare il suo funzionamento. Il framework in questione sfrutta le funzionalità offerte dal Xposed Framework, con il risultato di implementare modifiche al sistema operativo, senza dover cambiare il codice di Android o delle applicazioni che eseguono su quest’ultimo. Il framework sviluppato controlla l’accesso da parte delle varie applicazioni in esecuzione verso le informazioni sensibili dell’utente e stima l’importanza che queste informazioni hanno per l’utente medesimo. Le informazioni raccolte dal framework sulle preferenze e sulle valutazioni dell’utente vengono usate per costruire un modello decisionale che viene sfruttato da un algoritmo di machine-learning per migliorare l’interazione del sistema con l’utente e prevedere quelle che possono essere le decisioni dell'utente stesso, circa la propria privacy. Questo lavoro di tesi realizza gli obbiettivi sopra citati e pone un'attenzione particolare nel limitare la pervasività del sistema per la gestione della privacy, nella quotidiana esperienza dell'utente con i dispositivi mobili.

IDENTIFICATION OF GENES CONTROLLING BIOLOGICAL PROCESSES AND PATHWAYS THROUGH STATISTICAL ANALYSIS AND NETWORK RECONSTRUCTION

The developmental processes and functions of an organism are controlled by the genes and the proteins that are derived from these genes. The identification of key genes and the reconstruction of gene networks can provide a model to help us understand the regulatory mechanisms for the initiation and progression of biological processes or functional abnormalities (e.g. diseases) in living organisms. In this dissertation, I have developed statistical methods to identify the genes and transcription factors (TFs) involved in biological processes, constructed their regulatory networks, and also evaluated some existing association methods to find robust methods for coexpression analyses. Two kinds of data sets were used for this work: genotype data and gene expression microarray data. On the basis of these data sets, this dissertation has two major parts, together forming six chapters. The first part deals with developing association methods for rare variants using genotype data (chapter 4 and 5). The second part deals with developing and/or evaluating statistical methods to identify genes and TFs involved in biological processes, and construction of their regulatory networks using gene expression data (chapter 2, 3, and 6). For the first part, I have developed two methods to find the groupwise association of rare variants with given diseases or traits. The first method is based on kernel machine learning and can be applied to both quantitative as well as qualitative traits. Simulation results showed that the proposed method has improved power over the existing weighted sum method (WS) in most settings. The second method uses multiple phenotypes to select a few top significant genes. It then finds the association of each gene with each phenotype while controlling the population stratification by adjusting the data for ancestry using principal components. This method was applied to GAW 17 data and was able to find several disease risk genes. For the second part, I have worked on three problems. First problem involved evaluation of eight gene association methods. A very comprehensive comparison of these methods with further analysis clearly demonstrates the distinct and common performance of these eight gene association methods. For the second problem, an algorithm named the bottom-up graphical Gaussian model was developed to identify the TFs that regulate pathway genes and reconstruct their hierarchical regulatory networks. This algorithm has produced very significant results and it is the first report to produce such hierarchical networks for these pathways. The third problem dealt with developing another algorithm called the top-down graphical Gaussian model that identifies the network governed by a specific TF. The network produced by the algorithm is proven to be of very high accuracy.