Algoritmos genéticos aplicados a um comitê de LS-SVM em problemas de classificação

The pattern classification is one of the machine learning subareas that has the most outstanding. Among the various approaches to solve pattern classification problems, the Support Vector Machines (SVM) receive great emphasis, due to its ease of use and good generalization performance. The Least Squares formulation of SVM (LS-SVM) finds the solution by solving a set of linear equations instead of quadratic programming implemented in SVM. The LS-SVMs provide some free parameters that have to be correctly chosen to achieve satisfactory results in a given task. Despite the LS-SVMs having high performance, lots of tools have been developed to improve them, mainly the development of new classifying methods and the employment of ensembles, in other words, a combination of several classifiers. In this work, our proposal is to use an ensemble and a Genetic Algorithm (GA), search algorithm based on the evolution of species, to enhance the LSSVM classification. In the construction of this ensemble, we use a random selection of attributes of the original problem, which it splits the original problem into smaller ones where each classifier will act. So, we apply a genetic algorithm to find effective values of the LS-SVM parameters and also to find a weight vector, measuring the importance of each machine in the final classification. Finally, the final classification is obtained by a linear combination of the decision values of the LS-SVMs with the weight vector. We used several classification problems, taken as benchmarks to evaluate the performance of the algorithm and compared the results with other classifiers

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior

A classificação de padrões é uma das subáreas do aprendizado de máquina que possui maior destaque. Entre as várias técnicas para resolver problemas de classificação de padrões, as Máquinas de Vetor de Suporte (do inglês, Support Vector Machines ou SVM) recebem grande ênfase, devido a sua facilidade de uso e boa capacidade de generalização. A formulação por Mínimos Quadrados da SVM (do inglês, Least Squares Support Vector Machines ou LS-SVM) encontra um hiperplano de separação ótima através da solução de um sistema de equações lineares, evitando assim o uso da programação quadrática implementada na SVM. As LS-SVMs fornecem alguns parâmetros livres que precisam ser corretamente selecionados para alcançar resultados satisfatórios em uma determinada tarefa. Apesar das LS-SVMs possuir elevado desempenho, várias ferramentas tem sido desenvolvidas para aprimorá-la, principalmente o desenvolvimento de novos métodos de classificação e a utilização de comitês de máquinas, ou seja, a combinação de vários classificadores. Neste trabalho, nós propomos tanto o uso de um comitê de máquinas quanto o uso de um Algoritmo Genético (AG), algoritmo de busca baseada na evolução das espécies, para aprimorar o poder de classificação da LS-SVM. Na construção desse comitê, utilizamos uma seleção aleatória de atributos do problema original, que divide o problema original em outros menores onde cada classificador do comitê vai atuar. Então, aplicamos o AG para encontrar valores efetivos para os parâmetros de cada LS-SVM e também encontrando um vetor de pesos, medindo a importância de cada máquina na classificação final. Por fim, a classificação final é dada por uma combinação linear das respostas de cada máquina ponderadas pelos pesos. Foram utilizados vários problemas de classificação, tidos como benchmarks, para avaliar o desempenho do algoritmo e comparamos os resultados obtidos com outros classificadores