An alternative approach to solve convergence problems in the backpropagation algorithm

The multilayer perceptron network has become one of the most used in the solution of a wide variety of problems. The training process is based on the supervised method where the inputs are presented to the neural network and the output is compared with a desired value. However, the algorithm presents convergence problems when the desired output of the network has small slope in the discrete time samples or the output is a quasi-constant value. The proposal of this paper is presenting an alternative approach to solve this convergence problem with a pre-conditioning method of the desired output data set before the training process and a post-conditioning when the generalization results are obtained. Simulations results are presented in order to validate the proposed approach.

Comparative study between powers of sigmoid functions, MLP-backpropagation and polynomials in function approximation problems

Function approximation is a very important task in environments where the computation has to be based on extracting information from data samples in real world processes. So, the development of new mathematical model is a very important activity to guarantee the evolution of the function approximation area. In this sense, we will present the Polynomials Powers of Sigmoid (PPS) as a linear neural network. In this paper, we will introduce one series of practical results for the Polynomials Powers of Sigmoid, where we will show some advantages of the use of the powers of sigmiod functions in relationship the traditional MLP-Backpropagation and Polynomials in functions approximation problems.

Implementation of a computerized assessment system by using backpropagation neural networks with R and shiny

Las dificultades a las que los estudiantes se enfrentan y su lucha por dominar los temas, podría aumentar como consecuencia de la inadecuada utilización de materiales de evaluación. Generalmente se encuentran en el aula alumnos que hacen buen uso del material de los cursos y de una manera rápida, mientras que otros presentan dificultades con el aprendizaje del material. Esta situación es fácilmente visto en los resultados de los exámenes, un grupo de estudiantes podrían obtener buenas calificaciones animándoles, mientras que otros obtendrían la mala percepción de que los temas son difíciles, y en algunos casos, obligándolos a abandonar el curso o en otros casos a cambiar de carrera. Creemos que mediante el uso de técnicas de aprendizaje automático, y en nuestro caso la utilización de redes neuronales, sería factible crear un entorno de evaluación que podrían ajustarse a las necesidades de cada estudiante. Esto último disminuiría la sensación de insatisfacción de los alumnos y el abandono de los cursos.

Active Dendrites Enhance Neuronal Dynamic Range

Since the first experimental evidences of active conductances in dendrites, most neurons have been shown to exhibit dendritic excitability through the expression of a variety of voltage-gated ion channels. However, despite experimental and theoretical efforts undertaken in the past decades, the role of this excitability for some kind of dendritic computation has remained elusive. Here we show that, owing to very general properties of excitable media, the average output of a model of an active dendritic tree is a highly non-linear function of its afferent rate, attaining extremely large dynamic ranges (above 50 dB). Moreover, the model yields double-sigmoid response functions as experimentally observed in retinal ganglion cells. We claim that enhancement of dynamic range is the primary functional role of active dendritic conductances. We predict that neurons with larger dendritic trees should have larger dynamic range and that blocking of active conductances should lead to a decrease in dynamic range.

Optimization of the AZO dyes decoloration process through neural networks: Determination of the H2O2 addition critical point

The concentration of hydrogen peroxide is an important parameter in the azo dyes decoloration process through the utilization of advanced oxidizing processes, particularly by oxidizing via UV/H2O2. It is pointed out that, from a specific concentration, the hydrogen peroxide works as a hydroxyl radical self-consumer and thus a decrease of the system`s oxidizing power happens. The determination of the process critical point (maximum amount of hydrogen peroxide to be added) was performed through a ""thorough mapping"" or discretization of the target region, founded on the maximization of an objective function objective (constant of reaction kinetics of pseudo-first order). The discretization of the operational region occurred through a feedforward backpropagation neural model. The neural model obtained presented remarkable coefficient of correlation between real and predicted values for the absorbance variable, above 0.98. In the present work, the neural model had, as phenomenological basis the Acid Brown 75 dye decoloration process. The hydrogen peroxide addition critical point, represented by a value of mass relation (F) between the hydrogen peroxide mass and the dye mass, was established in the interval 50 < F < 60. (C) 2007 Elsevier B.V. All rights reserved.

Context-free and context-sensitive dynamics in recurrent neural networks

Continuous-valued recurrent neural networks can learn mechanisms for processing context-free languages. The dynamics of such networks is usually based on damped oscillation around fixed points in state space and requires that the dynamical components are arranged in certain ways. It is shown that qualitatively similar dynamics with similar constraints hold for a(n)b(n)c(n), a context-sensitive language. The additional difficulty with a(n)b(n)c(n), compared with the context-free language a(n)b(n), consists of 'counting up' and 'counting down' letters simultaneously. The network solution is to oscillate in two principal dimensions, one for counting up and one for counting down. This study focuses on the dynamics employed by the sequential cascaded network, in contrast to the simple recurrent network, and the use of backpropagation through time. Found solutions generalize well beyond training data, however, learning is not reliable. The contribution of this study lies in demonstrating how the dynamics in recurrent neural networks that process context-free languages can also be employed in processing some context-sensitive languages (traditionally thought of as requiring additional computation resources). This continuity of mechanism between language classes contributes to our understanding of neural networks in modelling language learning and processing.

Rede neural artificial para detecção de sobremortalidade atribuível à cólera no Ceará

OBJETIVO: Avaliar as redes neurais recorrentes enquanto técnica preditiva para séries temporais em saúde. MÉTODOS: O estudo foi realizado durante uma epidemia de cólera ocorrida no Estado do Ceará, em 1993 e 1994, a partir da sobremortalidade tendo como causa básica as infecções intestinais mal definidas (CID-9). O número mensal de óbitos por essa causa, referente ao período de 1979 a 1995 no Estado do Ceará, foram obtidos do Sistema de Informação de Mortalidade (SIM) do Ministério da Saúde. Estruturou-se uma rede com dois neurônios na camada de entrada, 12 na camada oculta, um neurônio na camada de saída e um na camada de memória. Todas as funções de ativação eram a função logística. O treinamento foi realizado pelo método de backpropagation, com taxa de aprendizado de 0,01 e momentum de 0,9, com dados de janeiro de 1979 a junho de 1991. O critério para fim do treinamento foi atingir 22.000 epochs. Compararam-se os resultados com os de um modelo de regressão binomial negativa. RESULTADOS: A predição da rede neural a médio prazo foi adequada, em dezembro de 1993 e novembro e dezembro de 1994. O número de óbitos registrados foi superior ao limite do intervalo de confiança. Já o modelo regressivo detectou sobremortalidade a partir de março de 1992. CONCLUSÕES: A rede neural se mostrou capaz de predição, principalmente no início do período, como também ao detectar uma alteração concomitante e posterior à ocorrência da epidemia de cólera. No entanto, foi menos precisa do que o modelo de regressão binomial, que se mostrou mais sensível para detectar aberrações concomitantes à circulação da cólera.

Controlo de um robô autónomo através de redes neuronais

Neste trabalho pretende-se introduzir os conceitos associados às redes neuronais e a sua aplicação no controlo de sistemas, neste caso na área da robótica autónoma. Foi utilizado um AGV de modo a testar experimentalmente um controlo através de uma rede neuronal artificial. A grande vantagem das redes neuronais artificiais é estas poderem ser ensinadas a funcionarem como se pretende. A partir desta caraterística foram efetuadas duas abordagens na implementação do AGV disponibilizado. A primeira abordagem ensinava a rede neuronal a funcionar como o controlo por lógica difusa que foi implementado no AGV aquando do seu desenvolvimento. A segunda abordagem foi ensinar a rede neuronal artificial a funcionar a partir de dados retirados de um controlo remoto simples implementado no AGV. Ambas as abordagens foram inicialmente implementadas e simuladas no MATLAB, antes de se efetuar a sua implementação no AGV. O MATLAB é utilizado para efetuar o treino das redes neuronais multicamada proactivas através do algoritmo de treino por retropropagação de Levenberg-Marquardt. A implementação de uma rede neuronal artificial na primeira abordagem foi implementada em três fases, MATLAB, posteriormente linguagem de programação C no computador e por fim, microcontrolador PIC no AGV, permitindo assim diferenciar o desenvolvimento destas técnicas em várias plataformas. Durante o desenvolvimento da segunda abordagem foi desenvolvido uma aplicação Android que permite monitorizar e controlar o AGV remotamente. Os resultados obtidos pela implementação da rede neuronal a partir do controlo difuso e do controlo remoto foram satisfatórios, pois o AGV percorria os percursos testados corretamente, em ambos os casos. Por fim concluiu-se que é viável a aplicação das redes neuronais no controlo de um AGV. Mais ainda, é possível utilizar o sistema desenvolvido para implementar e testar novas RNA.

SYPEC: desenvolvimento de classificadores para identificação automática da postura de sentado

Dissertação para obtenção do Grau de Mestre em Engenharia Biomédica

A utilização de uma rede neural artificial para previsão da incidência da malária no município de Cantá, estado de Roraima

INTRODUÇÃO: A malária é uma doença endêmica na Amazônia Legal Brasileira, apresentando riscos diferentes para cada região. O Município de Cantá, no Estado de Roraima, apresentou para todo o período estudado, um dos maiores índices parasitários anuais do Brasil, com valor sempre maior que 50. O presente estudo visa à utilização de uma rede neural artificial para previsão da incidência da malária nesse município, a fim de auxiliar os coordenadores de saúde no planejamento e gestão dos recursos. MÉTODOS: Os dados foram coletados no site do Ministério da Saúde, SIVEP - Malária entre 2003 e 2009. Estruturou-se uma rede neural artificial com três neurônios na camada de entrada, duas camadas intermediárias e uma camada de saída com um neurônio. A função de ativação foi à sigmoide. No treinamento, utilizou-se o método backpropagation, com taxa de aprendizado de 0,05 e momentum 0,01. O critério de parada foi atingir 20.000 ciclos ou uma meta de 0,001. Os dados de 2003 a 2008 foram utilizados para treinamento e validação. Comparam-se os resultados com os de um modelo de regressão logística. RESULTADOS: Os resultados para todos os períodos previstos mostraram-se que as redes neurais artificiais obtiveram um menor erro quadrático médio e erro absoluto quando comparado com o modelo de regressão para o ano de 2009. CONCLUSÕES: A rede neural artificial se mostrou adequada para um sistema de previsão de malária no município estudado, determinando com pequenos erros absolutos os valores preditivos, quando comparados ao modelo de regressão logística e aos valores reais.

Contributo para a modelação do estudo do comportamento de barragens de aterro com o auxílio de redes neuronais artificiais

O conhecimento do comportamento das barragens de aterro é essencial para garantir o seu funcionamento adequado e para que os objetivos de utilização delineados inicialmente para o respetivo aproveitamento hidráulico possam ser cumpridos. Os fatores de maior relevância num estudo deste tipo de barragens, considerando que apenas estão sob solicitações estáticas, são as pressões de água, registadas em piezómetros, os caudais percolados e os deslocamentos superficiais, geralmente medidos em marcas de nivelamento ou em alvos colocados em peças de centragem forçada. Na presente dissertação pretende-se, com base no conhecimento dos registos dessas medições feitas anteriormente e recorrendo a modelos de inteligência artificial, predizer o valor que se obteria em próximas medições, ajudando assim a decidir qual o melhor procedimento para remediar ou tratar um problema de comportamento relacionado com as variáveis em estudo. Esta dissertação divide-se essencialmente em três partes. Primeiramente, introduzem-se os conceitos relativos à segurança de barragens de aterro, de acordo com o regulamento de segurança adotado em Portugal, dando relevo ao tipo de observação a que são submetidas. Seguidamente, introduz-se o conceito de redes neuronais artificiais e apresenta-se a base de dados, criada com o intuito de uniformizar e melhorar a organização dos valores em estudo das barragens de aterro, que têm sido acompanhadas pelo Laboratório Nacional de Engenharia Civil. Com esta pretende-se facilitar a utilização destes elementos por programas de inteligência artificial. Por último, é feito o enquadramento de um caso de estudo, uma barragem de aterro no Norte de Portugal – barragem de Valtorno-Mourão. Utilizando o Neuroph Studio, os dados relativos à observação desta barragem são aplicados numa rede neuronal artificial, Multi Layer Perceptron Backpropagation Neural Network, permitindo antever comportamentos futuros. Os resultados obtidos são discutidos e perspetivam-se trabalhos para continuar a desenvolver a investigação efetuada.

Predicting market movement with Artificial Neural Networks

This paper presents an application of an Artificial Neural Network (ANN) to the prediction of stock market direction in the US. Using a multilayer perceptron neural network and a backpropagation algorithm for the training process, the model aims at learning the hidden patterns in the daily movement of the S&P500 to correctly identify if the market will be in a Trend Following or Mean Reversion behavior. The ANN is able to produce a successful investment strategy which outperforms the buy and hold strategy, but presents instability in its overall results which compromises its practical application in real life investment decisions.

Volatility smile extrapolation with an artificial neural network

I use a multi-layer feedforward perceptron, with backpropagation learning implemented via stochastic gradient descent, to extrapolate the volatility smile of Euribor derivatives over low-strikes by training the network on parametric prices.

Integração de dados do quickbird e atributos do terreno no mapeamento digital de solos por redes neurais artificiais

No presente estudo, foi realizada uma avaliação de diferentes variáveis ambientais no mapeamento digital de solos em uma região no norte do Estado de Minas Gerais, utilizando redes neurais artificiais (RNA). Os atributos do terreno declividade e índice topográfico combinado (CTI), derivados de um modelo digital de elevação, três bandas do sensor Quickbird e um mapa de litologia foram combinados, e a importância de cada variável para discriminação das unidades de mapeamento foi avaliada. O simulador de redes neurais utilizado foi o "Java Neural Network Simulator", e o algoritmo de aprendizado, o "backpropagation". Para cada conjunto testado, foi selecionada uma RNA para a predição das unidades de mapeamento; os mapas gerados por esses conjuntos foram comparados com um mapa de solos produzido com o método convencional, para determinação da concordância entre as classificações. Essa comparação mostrou que o mapa produzido com o uso de todas as variáveis ambientais (declividade, índice CTI, bandas 1, 2 e 3 do Quickbird e litologia) obteve desempenho superior (67,4 % de concordância) ao dos mapas produzidos pelos demais conjuntos de variáveis. Das variáveis utilizadas, a declividade foi a que contribuiu com maior peso, pois, quando suprimida da análise, os resultados da concordância foram os mais baixos (33,7 %). Os resultados demonstraram que a abordagem utilizada pode contribuir para superar alguns dos problemas do mapeamento de solos no Brasil, especialmente em escalas maiores que 1:25.000, tornando sua execução mais rápida e mais barata, sobretudo se houver disponibilidade de dados de sensores remotos de alta resolução espacial a custos mais baixos e facilidade de obtenção dos atributos do terreno nos sistemas de informação geográfica (SIG).