Algoritmos construtivos para treino de redes neuronais b-spline

Dissertação de mest. em Engenharia de Sistemas e Computação - Área de Sistemas de Controlo, Faculdade de Ciências e Tecnologia, Univ.do Algarve, 2001

Esta tese de dissertação do mestrado em Engenharia de Sistemas e Computação trata da descrição do funcionamento de dois algoritmos construtivos para definição automatica da estrutura e parâmetros de uma arquitectura de rede neuronal B-spline. o algoritmo ASMOD e Programação Genética para redes B-spline. Em primeiro lugar, descreve-se o Hincionamento e explora-se o desempenho obtido pelo algoritmo ASMOD, em função da utilização de diversos critérios de optimização não linear Apresentam-se igualmente, algumas alterações protagonizadas sobre o algoritmo original com o objectivo de aumentar a velocidade de execução. Seguidamente, expioram-se os princípios relacionados com as técnicas de Programação Genelica que embora tenham tido aplicação em diversas áreas cientificas, não tém sido frequentemente implementados em redes B-spline. Faz-se também uma abordagem multi-objectivo com o propósito de comparar o respectivo desempenho com o do algoritmo ASMOD. Adicionalmente, é apresentado um novo critério de optimização baseado no conhecimento prévio da complexidade de uma rede neuronal A separação dos parâmetros lineares dos não lineares permitem reformular o critério standard de optimização e obter um novo critério, que utilizado em conjunto com o algoritmo de Levenherg-Marqnardt exibe maior taxa de convergência. E também mostrado que o algoritmo Error-Back propagation, frequentemente usado com este propósito, obtém um desempenho pobre Todas as experiências realizadas utilizaram dados sobre exemplos académicos, a curva de titração de Ph numa concentração química e o problema de transformação inversa de coordenadas cartesianas para o ângulo de uma junta de um robô e dados recolhidos para auto-sintonia de um controlador P1D Todos os problemas são de natureza não linear.

This thesis of Masters Dissertation in Engineering of Systems and Computation, presents the working principies used by tvvo meta-heuristics in automatically designing the structure of a B-splim neural network. These are the ASMOD algorithm and Genetic Programming applied to B-spline networks. First, the performance of ASMOD algorithm is tested in respect to the use of several non-linear optimization criteria Due to its complexity and time consuming, some modifications performed on the ASMOD algorithm will also be presented, mainly for obtaining better speedup. Next, the principies of genetic programming will be applied specifically to the B-spline neural network architecture. Aditionally, a multi-objective approach is taken to compare its performance with the ASMOD algorithm. Also, the standard training criterion is reformulated, by separating the linear and nonlinear parameters. By employing this reformulated criterion with the Levenberg- Marquardt algorithm, a new training method, offering a fast rate of convergence is obtained. It is also shown that the standard Error-Back Propagation algorithm, the most common training method for this class of systems, exhibits a very poor performance. AH experiments taken used data from academic problems. The first, a pH problem, aims to approximate the inverse of a titration-like curve, This type of non-linearity relates the pH (a measure of the activity of the hydrogen ions in a solution) with the concentration (x) of chemical substances. The second problem illustrates an inverse kinematic transformation between Cartesian coordinates and one of the angles of a twolinks manipulator. The last problem, relates to data observed for a P1D controller selftuning