Estudo comparativo entre técnicas de aprendizado de máquina para estimação de risco de crédito

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Economia, Administração e Contabilidade, Programa de Pós-Graduação em Administração, 2016.

The sensitivity of mapping methods to reference data quality:training supervised image classifications with imperfect reference data

The accuracy of a map is dependent on the reference dataset used in its construction. Classification analyses used in thematic mapping can, for example, be sensitive to a range of sampling and data quality concerns. With particular focus on the latter, the effects of reference data quality on land cover classifications from airborne thematic mapper data are explored. Variations in sampling intensity and effort are highlighted in a dataset that is widely used in mapping and modelling studies; these may need accounting for in analyses. The quality of the labelling in the reference dataset was also a key variable influencing mapping accuracy. Accuracy varied with the amount and nature of mislabelled training cases with the nature of the effects varying between classifiers. The largest impacts on accuracy occurred when mislabelling involved confusion between similar classes. Accuracy was also typically negatively related to the magnitude of mislabelled cases and the support vector machine (SVM), which has been claimed to be relatively insensitive to training data error, was the most sensitive of the set of classifiers investigated, with overall classification accuracy declining by 8% (significant at 95% level of confidence) with the use of a training set containing 20% mislabelled cases.

Rilevamento della qualità del manto stradale: un approccio sperimentale tramite Machine Learning

Il riconoscimento delle condizioni del manto stradale partendo esclusivamente dai dati raccolti dallo smartphone di un ciclista a bordo del suo mezzo è un ambito di ricerca finora poco esplorato. Per lo sviluppo di questa tesi è stata sviluppata un'apposita applicazione, che combinata a script Python permette di riconoscere differenti tipologie di asfalto. L’applicazione raccoglie i dati rilevati dai sensori di movimento integrati nello smartphone, che registra i movimenti mentre il ciclista è alla guida del suo mezzo. Lo smartphone è fissato in un apposito holder fissato sul manubrio della bicicletta e registra i dati provenienti da giroscopio, accelerometro e magnetometro. I dati sono memorizzati su file CSV, che sono elaborati fino ad ottenere un unico DataSet contenente tutti i dati raccolti con le features estratte mediante appositi script Python. A ogni record sarà assegnato un cluster deciso in base ai risultati prodotti da K-means, risultati utilizzati in seguito per allenare algoritmi Supervised. Lo scopo degli algoritmi è riconoscere la tipologia di manto stradale partendo da questi dati. Per l’allenamento, il DataSet è stato diviso in due parti: il training set dal quale gli algoritmi imparano a classificare i dati e il test set sul quale gli algoritmi applicano ciò che hanno imparato per dare in output la classificazione che ritengono idonea. Confrontando le previsioni degli algoritmi con quello che i dati effettivamente rappresentano si ottiene la misura dell’accuratezza dell’algoritmo.

Machine Learning in Applicazione alla Prevenzione del Morbo di Alzheimer

Il morbo di Alzheimer è ancora una malattia incurabile. Negli ultimi anni l'aumento progressivo dell'aspettativa di vita ha contribuito a un'insorgenza maggiore di questa patologia, specialmente negli stati con l'età media più alta, tra cui l'Italia. La prevenzione risulta una delle poche vie con cui è possibile arginarne lo sviluppo, ed in questo testo vengono analizzate le potenzialità di alcune tecniche di Machine Learning atte alla creazione di modelli di supporto diagnostico per Alzheimer. Dopo un'opportuna introduzione al morbo di Alzheimer ed al funzionamento generale del Machine Learning, vengono presentate e approfondite due delle tecniche più promettenti per la diagnosi di patologie neurologiche, ovvero la Support Vector Machine (macchina a supporto vettoriale, SVM) e la Convolutional Neural Network (rete neurale convoluzionale, CNN), con annessi risultati, punti di forza e principali debolezze. La conclusione verterà sul possibile futuro delle intelligenze artificiali, con particolare attenzione all'ambito sanitario, e verranno discusse le principali difficoltà nelle quali queste incombono prima di essere commercializzate, insieme a plausibili soluzioni.

Kernel machines for epilepsy diagnosis via EEG signal classification: A comparative study

Objective: We carry out a systematic assessment on a suite of kernel-based learning machines while coping with the task of epilepsy diagnosis through automatic electroencephalogram (EEG) signal classification. Methods and materials: The kernel machines investigated include the standard support vector machine (SVM), the least squares SVM, the Lagrangian SVM, the smooth SVM, the proximal SVM, and the relevance vector machine. An extensive series of experiments was conducted on publicly available data, whose clinical EEG recordings were obtained from five normal subjects and five epileptic patients. The performance levels delivered by the different kernel machines are contrasted in terms of the criteria of predictive accuracy, sensitivity to the kernel function/parameter value, and sensitivity to the type of features extracted from the signal. For this purpose, 26 values for the kernel parameter (radius) of two well-known kernel functions (namely. Gaussian and exponential radial basis functions) were considered as well as 21 types of features extracted from the EEG signal, including statistical values derived from the discrete wavelet transform, Lyapunov exponents, and combinations thereof. Results: We first quantitatively assess the impact of the choice of the wavelet basis on the quality of the features extracted. Four wavelet basis functions were considered in this study. Then, we provide the average accuracy (i.e., cross-validation error) values delivered by 252 kernel machine configurations; in particular, 40%/35% of the best-calibrated models of the standard and least squares SVMs reached 100% accuracy rate for the two kernel functions considered. Moreover, we show the sensitivity profiles exhibited by a large sample of the configurations whereby one can visually inspect their levels of sensitiveness to the type of feature and to the kernel function/parameter value. Conclusions: Overall, the results evidence that all kernel machines are competitive in terms of accuracy, with the standard and least squares SVMs prevailing more consistently. Moreover, the choice of the kernel function and parameter value as well as the choice of the feature extractor are critical decisions to be taken, albeit the choice of the wavelet family seems not to be so relevant. Also, the statistical values calculated over the Lyapunov exponents were good sources of signal representation, but not as informative as their wavelet counterparts. Finally, a typical sensitivity profile has emerged among all types of machines, involving some regions of stability separated by zones of sharp variation, with some kernel parameter values clearly associated with better accuracy rates (zones of optimality). (C) 2011 Elsevier B.V. All rights reserved.

A framework for electricity price spike analysis with advanced data mining methods

There are many techniques for electricity market price forecasting. However, most of them are designed for expected price analysis rather than price spike forecasting. An effective method of predicting the occurrence of spikes has not yet been observed in the literature so far. In this paper, a data mining based approach is presented to give a reliable forecast of the occurrence of price spikes. Combined with the spike value prediction techniques developed by the same authors, the proposed approach aims at providing a comprehensive tool for price spike forecasting. In this paper, feature selection techniques are firstly described to identify the attributes relevant to the occurrence of spikes. A simple introduction to the classification techniques is given for completeness. Two algorithms: support vector machine and probability classifier are chosen to be the spike occurrence predictors and are discussed in details. Realistic market data are used to test the proposed model with promising results.

Use of SVM Methods with Surface-Based Cortical and Volumetric Subcortical Measurements to Detect Alzheimer`s Disease

Here, we examine morphological changes in cortical thickness of patients with Alzheimer`s disease (AD) using image analysis algorithms for brain structure segmentation and study automatic classification of AD patients using cortical and volumetric data. Cortical thickness of AD patients (n = 14) was measured using MRI cortical surface-based analysis and compared with healthy subjects (n = 20). Data was analyzed using an automated algorithm for tissue segmentation and classification. A Support Vector Machine (SVM) was applied over the volumetric measurements of subcortical and cortical structures to separate AD patients from controls. The group analysis showed cortical thickness reduction in the superior temporal lobe, parahippocampal gyrus, and enthorhinal cortex in both hemispheres. We also found cortical thinning in the isthmus of cingulate gyrus and middle temporal gyrus at the right hemisphere, as well as a reduction of the cortical mantle in areas previously shown to be associated with AD. We also confirmed that automatic classification algorithms (SVM) could be helpful to distinguish AD patients from healthy controls. Moreover, the same areas implicated in the pathogenesis of AD were the main parameters driving the classification algorithm. While the patient sample used in this study was relatively small, we expect that using a database of regional volumes derived from MRI scans of a large number of subjects will increase the SVM power of AD patient identification.

Evaluating SVM and MLDA in the extraction of discriminant regions for mental state prediction

Pattern recognition methods have been successfully applied in several functional neuroimaging studies. These methods can be used to infer cognitive states, so-called brain decoding. Using such approaches, it is possible to predict the mental state of a subject or a stimulus class by analyzing the spatial distribution of neural responses. In addition it is possible to identify the regions of the brain containing the information that underlies the classification. The Support Vector Machine (SVM) is one of the most popular methods used to carry out this type of analysis. The aim of the current study is the evaluation of SVM and Maximum uncertainty Linear Discrimination Analysis (MLDA) in extracting the voxels containing discriminative information for the prediction of mental states. The comparison has been carried out using fMRI data from 41 healthy control subjects who participated in two experiments, one involving visual-auditory stimulation and the other based on bimanual fingertapping sequences. The results suggest that MLDA uses significantly more voxels containing discriminative information (related to different experimental conditions) to classify the data. On the other hand, SVM is more parsimonious and uses less voxels to achieve similar classification accuracies. In conclusion, MLDA is mostly focused on extracting all discriminative information available, while SVM extracts the information which is sufficient for classification. (C) 2009 Elsevier Inc. All rights reserved.

Análise do nível de estresse baseada em sinais de eletroencefalografia e de condutância da pele

O estresse pode afetar qualquer pessoa, independente de idade, sexo ou etnia. O organismo humano o utiliza como uma resposta adaptativa frente a situações diversas, as quais requeiram alguma adaptação do organismo para que possa enfrentar tal situação. Dependendo do estímulo estressor, pode ser gerado no indivíduo desgastes físico, mental ou emocional, no entanto, o estresse não representa necessariamente algo ruim ou patológico; este é um mecanismo de adaptação vital para a sobrevivência da espécie humana. Porém, o número de pessoas que são afetadas de forma negativa pelo estresse tem crescido imensamente nas últimas décadas. Pesquisas destacam que nos Estados Unidos cerca de 60% a 90% dos atendimentos médicos estão relacionados de alguma maneira com o estresse, enquanto que no Brasil aproximadamente 80% da população sofre de estresse, sendo que desses, 30% encontram-se na fase mais crítica, a chamada fase de exaustão. Tendo em vista que a principal forma de identificação de estresse ainda é realizada através do uso de questionário de autorrelato. O presente estudo apresenta como contribuição uma metodologia de análise do nível de estresse baseada na variação da condutância galvânica da pele e de sinais de eletroencefalografia, sendo utilizados como parâmetros a assimetria do ritmo alfa, assim como a razão entre os ritmos beta e alfa no córtex frontal e pré-frontal. Para a gravação dos sinais de EEG foi utilizado um dispositivo portátil, com eletrodos especificamente situados nas posições aF3, F3, F4 e aF4, de acordo com o Sistema Internacional 10/20 de posicionamento de eletrodos. Os participantes deste estudo são Bombeiros Militares da 1ª Cia de Vitória-ES. Foram utilizadas três classes de estímulos emocionais positivos, calmos e negativos, através da utilização de imagens pertencentes ao banco de dados IAPS (International Affective Picture System). Os resultados de acurácia obtidos através de um classificador SVM (Support Vector Machine) chegam a 88,24% para classe de estímulos positivos, 84,09% para classe calma e de 92,86% para os estímulos negativos. Deste modo, esta pesquisa apresenta uma combinação de parâmetros que podem ser aferidos com equipamentos de baixo custo, e fornecem condições de diferenciar estímulos estressantes, podendo assim, ser utilizada para auxiliar no treinamento de profissionais da área de urgência e emergência.

DESENVOLVIMENTO DE UM CLASSIFICADOR PARA ANÁLISE BIOMÉTRICA DE UM COLETE INSTRUMENTADO PARA REEDUCAÇÃO POSTURAL

Ao longo dos tempos tem existido um avanço, nas empresas, dirigido à preocupação com o bemestar dos trabalhadores, adotando por isso medidas preventivas. A formação especializada em Medicina do Trabalho é indispensável para o exercício de atividades de prevenção dos riscos profissionais e de promoção da saúde. A postura corporal pode ser definida como a posição e a orientação global do corpo e membros relativamente uns aos outros. Qualquer desvio na forma da coluna vertebral pode gerar solicitações funcionais prejudiciais que ocasionam um aumento de fadiga no trabalhador e leva ao longo do tempo a lesões graves. Cada vez mais surgem doenças profissionais provocadas pela adoção de más posturas, na realização de tarefas diárias dos trabalhadores. A boa postura corporal é uma tarefa específica que representa uma interação complexa entre a função biomecânica e neuromuscular. No presente plano de dissertação foram estudados diferentes classificadores tendo como objetivo classificar boas e más posturas corporais de trabalhadores em contexto de trabalho. Assim foram estudados diferentes classificadores de machine learnig, redes neuronais artificiais, support vector machine, árvores de decisão, análise discriminante, regressão logística, treebagger e naíve bayes. Para treino de classificadores foi realizada a aquisição tridimensional da postura da espinha a 100 pessoas, passando por uma parametrização e treino de diferentes classificadores para a determinação automática do tipo de postura corporal. O classificador que obteve melhor desempenho foi o Treebagger com uma classificação para True Positive de 93,3% e True Negative de 96,2%.

Agrupamento multi-orador

Actualmente tem-se observado um aumento do volume de sinais de fala em diversas aplicações, que reforçam a necessidade de um processamento automático dos ficheiros. No campo do processamento automático destacam-se as aplicações de “diarização de orador”, que permitem catalogar os ficheiros de fala com a identidade de oradores e limites temporais de fala de cada um, através de um processo de segmentação e agrupamento. No contexto de agrupamento, este trabalho visa dar continuidade ao trabalho intitulado “Detecção do Orador”, com o desenvolvimento de um algoritmo de “agrupamento multi-orador” capaz de identificar e agrupar correctamente os oradores, sem conhecimento prévio do número ou da identidade dos oradores presentes no ficheiro de fala. O sistema utiliza os coeficientes “Mel Line Spectrum Frequencies” (MLSF) como característica acústica de fala, uma segmentação de fala baseada na energia e uma estrutura do tipo “Universal Background Model - Gaussian Mixture Model” (UBM-GMM) adaptado com o classificador “Support Vector Machine” (SVM). No trabalho foram analisadas três métricas de discriminação dos modelos SVM e a avaliação dos resultados foi feita através da taxa de erro “Speaker Error Rate” (SER), que quantifica percentualmente o número de segmentos “fala” mal classificados. O algoritmo implementado foi ajustado às características da língua portuguesa através de um corpus com 14 ficheiros de treino e 30 ficheiros de teste. Os ficheiros de treino dos modelos e classificação final, enquanto os ficheiros de foram utilizados para avaliar o desempenho do algoritmo. A interacção com o algoritmo foi dinamizada com a criação de uma interface gráfica que permite receber o ficheiro de teste, processá-lo, listar os resultados ou gerar um vídeo para o utilizador confrontar o sinal de fala com os resultados de classificação.

Diffuse liver disease classification from ultrasound surface characterization, clinical and laboratorial data

In this work liver contour is semi-automatically segmented and quantified in order to help the identification and diagnosis of diffuse liver disease. The features extracted from the liver contour are jointly used with clinical and laboratorial data in the staging process. The classification results of a support vector machine, a Bayesian and a k-nearest neighbor classifier are compared. A population of 88 patients at five different stages of diffuse liver disease and a leave-one-out cross-validation strategy are used in the classification process. The best results are obtained using the k-nearest neighbor classifier, with an overall accuracy of 80.68%. The good performance of the proposed method shows a reliable indicator that can improve the information in the staging of diffuse liver disease.

Classificação e agregação automática de notícias desportivas

Mestrado em Engenharia Informática - Área de Especialização em Arquiteturas, Sistemas e Redes

Algorithm for the Parkinson’s disease behavioural models characterization using a biosensor

Dissertação para obtenção do Grau de Mestre em Engenharia Biomédica