Context-free and context-sensitive dynamics in recurrent neural networks

Continuous-valued recurrent neural networks can learn mechanisms for processing context-free languages. The dynamics of such networks is usually based on damped oscillation around fixed points in state space and requires that the dynamical components are arranged in certain ways. It is shown that qualitatively similar dynamics with similar constraints hold for a(n)b(n)c(n), a context-sensitive language. The additional difficulty with a(n)b(n)c(n), compared with the context-free language a(n)b(n), consists of 'counting up' and 'counting down' letters simultaneously. The network solution is to oscillate in two principal dimensions, one for counting up and one for counting down. This study focuses on the dynamics employed by the sequential cascaded network, in contrast to the simple recurrent network, and the use of backpropagation through time. Found solutions generalize well beyond training data, however, learning is not reliable. The contribution of this study lies in demonstrating how the dynamics in recurrent neural networks that process context-free languages can also be employed in processing some context-sensitive languages (traditionally thought of as requiring additional computation resources). This continuity of mechanism between language classes contributes to our understanding of neural networks in modelling language learning and processing.

Probabilistic modelling of CO2 corrosion laboratory data using neural networks

The present paper addresses two major concerns that were identified when developing neural network based prediction models and which can limit their wider applicability in the industry. The first problem is that it appears neural network models are not readily available to a corrosion engineer. Therefore the first part of this paper describes a neural network model of CO2 corrosion which was created using a standard commercial software package and simple modelling strategies. It was found that such a model was able to capture practically all of the trends noticed in the experimental data with acceptable accuracy. This exercise has proven that a corrosion engineer could readily develop a neural network model such as the one described below for any problem at hand, given that sufficient experimental data exist. This applies even in the cases when the understanding of the underlying processes is poor. The second problem arises from cases when all the required inputs for a model are not known or can be estimated with a limited degree of accuracy. It seems advantageous to have models that can take as input a range rather than a single value. One such model, based on the so-called Monte Carlo approach, is presented. A number of comparisons are shown which have illustrated how a corrosion engineer might use this approach to rapidly test the sensitivity of a model to the uncertainities associated with the input parameters. (C) 2001 Elsevier Science Ltd. All rights reserved.

Automatic modeling of pectus excavatum corrective prosthesis using artificial neural networks

Pectus excavatum is the most common deformity of the thorax. Pre-operative diagnosis usually includes Computed Tomography (CT) to successfully employ a thoracic prosthesis for anterior chest wall remodeling. Aiming at the elimination of radiation exposure, this paper presents a novel methodology for the replacement of CT by a 3D laser scanner (radiation-free) for prosthesis modeling. The complete elimination of CT is based on an accurate determination of ribs position and prosthesis placement region through skin surface points. The developed solution resorts to a normalized and combined outcome of an artificial neural network (ANN) set. Each ANN model was trained with data vectors from 165 male patients and using soft tissue thicknesses (STT) comprising information from the skin and rib cage (automatically determined by image processing algorithms). Tests revealed that ribs position for prosthesis placement and modeling can be estimated with an average error of 5.0 ± 3.6 mm. One also showed that the ANN performance can be improved by introducing a manually determined initial STT value in the ANN normalization procedure (average error of 2.82 ± 0.76 mm). Such error range is well below current prosthesis manual modeling (approximately 11 mm), which can provide a valuable and radiation-free procedure for prosthesis personalization.

Automatic modeling of pectus excavatum corrective prosthesis using artificial neural networks

Pectus excavatum is the most common deformity of the thorax. Pre-operative diagnosis usually includes Computed Tomography (CT) to successfully employ a thoracic prosthesis for anterior chest wall remodeling. Aiming at the elimination of radiation exposure, this paper presents a novel methodology for the replacement of CT by a 3D laser scanner (radiation-free) for prosthesis modeling. The complete elimination of CT is based on an accurate determination of ribs position and prosthesis placement region through skin surface points. The developed solution resorts to a normalized and combined outcome of an artificial neural network (ANN) set. Each ANN model was trained with data vectors from 165 male patients and using soft tissue thicknesses (STT) comprising information from the skin and rib cage (automatically determined by image processing algorithms). Tests revealed that ribs position for prosthesis placement and modeling can be estimated with an average error of 5.0 ± 3.6 mm. One also showed that the ANN performance can be improved by introducing a manually determined initial STT value in the ANN normalization procedure (average error of 2.82 ± 0.76 mm). Such error range is well below current prosthesis manual modeling (approximately 11 mm), which can provide a valuable and radiation-free procedure for prosthesis personalization.

Artificial neural networks for automatic modelling of the pectus excavatum corrective prosthesis

Pectus excavatum is the most common deformity of the thorax and usually comprises Computed Tomography (CT) examination for pre-operative diagnosis. Aiming at the elimination of the high amounts of CT radiation exposure, this work presents a new methodology for the replacement of CT by a laser scanner (radiation-free) in the treatment of pectus excavatum using personally modeled prosthesis. The complete elimination of CT involves the determination of ribs external outline, at the maximum sternum depression point for prosthesis placement, based on chest wall skin surface information, acquired by a laser scanner. The developed solution resorts to artificial neural networks trained with data vectors from 165 patients. Scaled Conjugate Gradient, Levenberg-Marquardt, Resilient Back propagation and One Step Secant gradient learning algorithms were used. The training procedure was performed using the soft tissue thicknesses, determined using image processing techniques that automatically segment the skin and rib cage. The developed solution was then used to determine the ribs outline in data from 20 patient scanners. Tests revealed that ribs position can be estimated with an average error of about 6.82±5.7 mm for the left and right side of the patient. Such an error range is well below current prosthesis manual modeling (11.7±4.01 mm) even without CT imagiology, indicating a considerable step forward towards CT replacement by a 3D scanner for prosthesis personalization.

Application of neural networks for pavement evaluation

As vias de comunicação são indispensáveis para o desenvolvimento de uma nação, económica e socialmente. Num mundo globalizado, onde tudo deve chegar ao seu destino no menor espaço de tempo, as vias de comunicação assumem um papel vital. Assim, torna-se essencial construir e manter uma rede de transportes eficiente. Apesar de não ser o método mais eficiente, o transporte rodoviário é muitas vezes o mais económico e possibilita o transporte porta-a-porta, sendo em muitos casos o único meio de transporte possível. Por estas razões, o modo rodoviário tem uma quota significativa no mercado dos transportes, seja de passageiros ou mercadorias, tornando-o extremamente importante na rede de transportes de um país. Os países europeus fizeram um grande investimento na criação de extensas redes de estradas, cobrindo quase todo o seu território. Neste momento, começa-se a atingir o ponto onde a principal preocu+ação das entidades gestoras de estradas deixa de ser a construção de novas vias, passando a focar-se na necessidade de manutenção e conservação das vias existentes. Os pavimentos rodoviários, como todas as outras construções, requerem manutenção de forma a garantir bons níveis de serviço com qualidade, conforto e segurança. Devido aos custos inerentes às operações de manutenção de pavimentos, estas devem rigorosamente e com base em critérios científicos bem definidos. Assim, pretende-se evitar intervenções desnecessárias, mas também impedir que os danos se tornem irreparáveis e economicamente prejudiciais, com repercussões na segurança dos utilizadores. Para se estimar a vida útil de um pavimento é essencial realizar primeiro a caracterização estrutural do mesmo. Para isso, torna-se necessário conhecer o tipo de estrutura de um pavimento, nomeadamente a espessura e o módulo de elasticidade constituintes. A utilização de métodos de ensaio não destrutivos é cada vez mais reconhecida como uma forma eficaz para obter informações sobre o comportamento estrutural de pavimentos. Para efectuar estes ensaios, existem vários equipamentos. No entanto, dois deles, o Deflectómetro de Impacto e o Radar de Prospecção, têm demonstrado ser particularmente eficientes para avaliação da capacidade de carga de um pavimento, sendo estes equipamentos utilizados no âmbito deste estudo. Assim, para realização de ensaios de carga em pavimentos, o equipamento Deflectómetro de Impacto tem sido utilizado com sucesso para medir as deflexões à superfície de um pavimento em pontos pré-determinados quando sujeito a uma carga normalizada de forma a simular o efeito da passagem da roda de um camião. Complementarmente, para a obtenção de informações contínuas sobre a estrutura de um pavimento, o equipamento Radar de Prospecção permite conhecer o número de camadas e as suas espessuras através da utilização de ondas electromagnéticas. Os dados proporcionam, quando usados em conjunto com a realização de sondagens à rotação e poços em alguns locais, permitem uma caracterização mais precisa da condição estrutural de um pavimento e o estabelecimento de modelos de resposta, no caso de pavimentos existentes. Por outro lado, o processamento dos dados obtidos durante os ensaios “in situ” revela-se uma tarefa morosa e complexa. Actualmente, utilizando as espessuras das camadas do pavimento, os módulos de elasticidade das camadas são calculados através da “retro-análise” da bacia de deflexões medida nos ensaios de carga. Este método é iterativo, sendo que um engenheiro experiente testa várias estruturas diferentes de pavimento, até se obter uma estrutura cuja resposta seja o mais próximo possível da obtida durante os ensaios “in Situ”. Esta tarefa revela-se muito dependente da experiência do engenheiro, uma vez que as estruturas de pavimento a serem testadas maioritariamente do seu raciocínio. Outra desvantagem deste método é o facto de apresentar soluções múltiplas, dado que diferentes estruturas podem apresentar modelos de resposta iguais. A solução aceite é, muitas vezes, a que se julga mais provável, baseando-se novamente no raciocínio e experiência do engenheiro. A solução para o problema da enorme quantidade de dados a processar e das múltiplas soluções possíveis poderá ser a utilização de Redes Neuronais Artificiais (RNA) para auxiliar esta tarefa. As redes neuronais são elementos computacionais virtuais, cujo funcionamento é inspirado na forma como os sistemas nervosos biológicos, como o cérebro, processam a informação. Estes elementos são compostos por uma série de camadas, que por sua vez são compostas por neurónios. Durante a transmissão da informação entre neurónios, esta é modificada pela aplicação de um coeficiente, denominado “peso”. As redes neuronais apresentam uma habilidade muito útil, uma vez que são capazes de mapear uma função sem conhecer a sua fórmula matemática. Esta habilidade é utilizada em vários campos científicos como o reconhecimento de padrões, classificação ou compactação de dados. De forma a possibilitar o uso desta característica, a rede deverá ser devidamente “treinada” antes, processo realizado através da introdução de dois conjuntos de dados: os valores de entrada e os valores de saída pretendidos. Através de um processo cíclico de propagação da informação através das ligações entre neurónios, as redes ajustam-se gradualmente, apresentando melhores resultados. Apesar de existirem vários tipos de redes, as que aparentam ser as mais aptas para esta tarefa são as redes de retro-propagação. Estas possuem uma característica importante, nomeadamente o treino denominado “treino supervisionado”. Devido a este método de treino, as redes funcionam dentro da gama de variação dos dados fornecidos para o “treino” e, consequentemente, os resultados calculados também se encontram dentro da mesma gama, impedindo o aparecimento de soluções matemáticas com impossibilidade prática. De forma a tornar esta tarefa ainda mais simples, foi desenvolvido um programa de computador, NNPav, utilizando as RNA como parte integrante do seu processo de cálculo. O objectivo é tornar o processo de “retro-análise” totalmente automático e prevenir erros induzidos pela falta de experiência do utilizador. De forma a expandir ainda mais as funcionalidades do programa, foi implementado um processo de cálculo que realiza uma estimativa da capacidade de carga e da vida útil restante do pavimento, recorrendo a dois critérios de ruína. Estes critérios são normalmente utilizados no dimensionamento de pavimentos, de forma a prevenir o fendilhamento por fadiga e as deformações permanentes. Desta forma, o programa criado permite a estimativa da vida útil restante de um pavimento de forma eficiente, directamente a partir das deflexões e espessuras das camadas, medidas nos ensaios “in situ”. Todos os passos da caracterização estrutural do pavimento são efectuados pelo NNPav, seja recorrendo à utilização de redes neuronais ou a processos de cálculo matemático, incluindo a correcção do módulo de elasticidade da camada de misturas betuminosas para a temperatura de projecto e considerando as características de tráfego e taxas de crescimento do mesmo. Os testes efectuados às redes neuronais revelaram que foram alcançados resultados satisfatórios. Os níveis de erros na utilização de redes neuronais são semelhantes aos obtidos usando modelos de camadas linear-elásticas, excepto para o cálculo da vida útil com base num dos critérios, onde os erros obtidos foram mais altos. No entanto, este processo revela-se bastante mais rápido e possibilita o processamento dos dados por pessoal com menos experiência. Ao mesmo tempo, foi assegurado que nos ficheiros de resultados é possível analisar todos os dados calculados pelo programa, em várias fases de processamento de forma a permitir a análise detalhada dos mesmos. A possibilidade de estimar a capacidade de carga e a vida útil restante de um pavimento, contempladas no programa desenvolvido, representam também ferramentas importantes. Basicamente, o NNPav permite uma análise estrutural completa de um pavimento, estimando a sua vida útil com base nos ensaios de campo realizados pelo Deflectómetro de Impacto e pelo Radar de Prospecção, num único passo. Complementarmente, foi ainda desenvolvido e implementado no NNPav um módulo destinado ao dimensionamento de pavimentos novos. Este módulo permite que, dado um conjunto de estruturas de pavimento possíveis, seja estimada a capacidade de carga e a vida útil daquele pavimento. Este facto permite a análise de uma grande quantidade de estruturas de pavimento, e a fácil comparação dos resultados no ficheiro exportado. Apesar dos resultados obtidos neste trabalho serem bastante satisfatórios, os desenvolvimentos futuros na aplicação de Redes Neuronais na avaliação de pavimentos são ainda mais promissores. Uma vez que este trabalho foi limitado a uma moldura temporal inerente a um trabalho académico, a possibilidade de melhorar ainda mais a resposta das RNA fica em aberto. Apesar dos vários testes realizados às redes, de forma a obter as arquitecturas que apresentassem melhores resultados, as arquitecturas possíveis são virtualmente ilimitadas e pode ser uma área a aprofundar. As funcionalidades implementadas no programa foram as possíveis, dentro da moldura temporal referida, mas existem muitas funcionalidades a serem adicinadas ou expandidas, aumentando a funcionalidade do programa e a sua produtividade. Uma vez que esta é uma ferramenta que pode ser aplicada ao nível de gestão de redes rodoviárias, seria necessário estudar e desenvolver redes similares de forma a avaliar outros tipos de estruturas de pavimentos. Como conclusão final, apesar dos vários aspectos que podem, e devem ser melhorados, o programa desenvolvido provou ser uma ferramenta bastante útil e eficiente na avaliação estrutural de pavimentos com base em métodos de ensaio não destrutivos.

Short-term wind power forecasting in Portugal by neural networks and wavelet transform

This paper proposes artificial neural networks in combination with wavelet transform for short-term wind power forecasting in Portugal. The increased integration of wind power into the electric grid, as nowadays occurs in Portugal, poses new challenges due to its intermittency and volatility. Hence, good forecasting tools play a key role in tackling these challenges. Results from a real-world case study are presented. A comparison is carried out, taking into account the results obtained with other approaches. Finally, conclusions are duly drawn. (C) 2010 Elsevier Ltd. All rights reserved.

Symbolic Knowledge Extraction from Trained Neural Networks Governed by Lukasiewicz Logics

This work describes a methodology to extract symbolic rules from trained neural networks. In our approach, patterns on the network are codified using formulas on a Lukasiewicz logic. For this we take advantage of the fact that every connective in this multi-valued logic can be evaluated by a neuron in an artificial network having, by activation function the identity truncated to zero and one. This fact simplifies symbolic rule extraction and allows the easy injection of formulas into a network architecture. We trained this type of neural network using a back-propagation algorithm based on Levenderg-Marquardt algorithm, where in each learning iteration, we restricted the knowledge dissemination in the network structure. This makes the descriptive power of produced neural networks similar to the descriptive power of Lukasiewicz logic language, minimizing the information loss on the translation between connectionist and symbolic structures. To avoid redundance on the generated network, the method simplifies them in a pruning phase, using the "Optimal Brain Surgeon" algorithm. We tested this method on the task of finding the formula used on the generation of a given truth table. For real data tests, we selected the Mushrooms data set, available on the UCI Machine Learning Repository.

FMRI 3D registration based on Fourier space subsets using neural networks

In this work, we present a neural network (NN) based method designed for 3D rigid-body registration of FMRI time series, which relies on a limited number of Fourier coefficients of the images to be aligned. These coefficients, which are comprised in a small cubic neighborhood located at the first octant of a 3D Fourier space (including the DC component), are then fed into six NN during the learning stage. Each NN yields the estimates of a registration parameter. The proposed method was assessed for 3D rigid-body transformations, using DC neighborhoods of different sizes. The mean absolute registration errors are of approximately 0.030 mm in translations and 0.030 deg in rotations, for the typical motion amplitudes encountered in FMRI studies. The construction of the training set and the learning stage are fast requiring, respectively, 90 s and 1 to 12 s, depending on the number of input and hidden units of the NN. We believe that NN-based approaches to the problem of FMRI registration can be of great interest in the future. For instance, NN relying on limited K-space data (possibly in navigation echoes) can be a valid solution to the problem of prospective (in frame) FMRI registration.

Neural networks for condition monitoring of wind turbines gearbox

Wind energy is considered a hope in future as a clean and sustainable energy, as can be seen by the growing number of wind farms installed all over the world. With the huge proliferation of wind farms, as an alternative to the traditional fossil power generation, the economic issues dictate the necessity of monitoring systems to optimize the availability and profits. The relatively high cost of operation and maintenance associated to wind power is a major issue. Wind turbines are most of the time located in remote areas or offshore and these factors increase the referred operation and maintenance costs. Good maintenance strategies are needed to increase the health management of wind turbines. The objective of this paper is to show the application of neural networks to analyze all the wind turbine information to identify possible future failures, based on previous information of the turbine.

Multiple Linear Regression and Artificial Neural Networks to Predict Time and Efficiency of Soil Vapor Extraction

The prediction of the time and the efficiency of the remediation of contaminated soils using soil vapor extraction remain a difficult challenge to the scientific community and consultants. This work reports the development of multiple linear regression and artificial neural network models to predict the remediation time and efficiency of soil vapor extractions performed in soils contaminated separately with benzene, toluene, ethylbenzene, xylene, trichloroethylene, and perchloroethylene. The results demonstrated that the artificial neural network approach presents better performances when compared with multiple linear regression models. The artificial neural network model allowed an accurate prediction of remediation time and efficiency based on only soil and pollutants characteristics, and consequently allowing a simple and quick previous evaluation of the process viability.

Multilayer Perceptron Neural Networks Training Through Charged System Search and its Application for Non-Technical Losses Detection

The non-technical loss is not a problem with trivial solution or regional character and its minimization represents the guarantee of investments in product quality and maintenance of power systems, introduced by a competitive environment after the period of privatization in the national scene. In this paper, we show how to improve the training phase of a neural network-based classifier using a recently proposed meta-heuristic technique called Charged System Search, which is based on the interactions between electrically charged particles. The experiments were carried out in the context of non-technical loss in power distribution systems in a dataset obtained from a Brazilian electrical power company, and have demonstrated the robustness of the proposed technique against with several others natureinspired optimization techniques for training neural networks. Thus, it is possible to improve some applications on Smart Grids.