Automatic modeling of pectus excavatum corrective prosthesis using artificial neural networks

Pectus excavatum is the most common deformity of the thorax. Pre-operative diagnosis usually includes Computed Tomography (CT) to successfully employ a thoracic prosthesis for anterior chest wall remodeling. Aiming at the elimination of radiation exposure, this paper presents a novel methodology for the replacement of CT by a 3D laser scanner (radiation-free) for prosthesis modeling. The complete elimination of CT is based on an accurate determination of ribs position and prosthesis placement region through skin surface points. The developed solution resorts to a normalized and combined outcome of an artificial neural network (ANN) set. Each ANN model was trained with data vectors from 165 male patients and using soft tissue thicknesses (STT) comprising information from the skin and rib cage (automatically determined by image processing algorithms). Tests revealed that ribs position for prosthesis placement and modeling can be estimated with an average error of 5.0 ± 3.6 mm. One also showed that the ANN performance can be improved by introducing a manually determined initial STT value in the ANN normalization procedure (average error of 2.82 ± 0.76 mm). Such error range is well below current prosthesis manual modeling (approximately 11 mm), which can provide a valuable and radiation-free procedure for prosthesis personalization.

Artificial neural networks for automatic modelling of the pectus excavatum corrective prosthesis

Pectus excavatum is the most common deformity of the thorax and usually comprises Computed Tomography (CT) examination for pre-operative diagnosis. Aiming at the elimination of the high amounts of CT radiation exposure, this work presents a new methodology for the replacement of CT by a laser scanner (radiation-free) in the treatment of pectus excavatum using personally modeled prosthesis. The complete elimination of CT involves the determination of ribs external outline, at the maximum sternum depression point for prosthesis placement, based on chest wall skin surface information, acquired by a laser scanner. The developed solution resorts to artificial neural networks trained with data vectors from 165 patients. Scaled Conjugate Gradient, Levenberg-Marquardt, Resilient Back propagation and One Step Secant gradient learning algorithms were used. The training procedure was performed using the soft tissue thicknesses, determined using image processing techniques that automatically segment the skin and rib cage. The developed solution was then used to determine the ribs outline in data from 20 patient scanners. Tests revealed that ribs position can be estimated with an average error of about 6.82±5.7 mm for the left and right side of the patient. Such an error range is well below current prosthesis manual modeling (11.7±4.01 mm) even without CT imagiology, indicating a considerable step forward towards CT replacement by a 3D scanner for prosthesis personalization.

Application of neural networks for pavement evaluation

As vias de comunicação são indispensáveis para o desenvolvimento de uma nação, económica e socialmente. Num mundo globalizado, onde tudo deve chegar ao seu destino no menor espaço de tempo, as vias de comunicação assumem um papel vital. Assim, torna-se essencial construir e manter uma rede de transportes eficiente. Apesar de não ser o método mais eficiente, o transporte rodoviário é muitas vezes o mais económico e possibilita o transporte porta-a-porta, sendo em muitos casos o único meio de transporte possível. Por estas razões, o modo rodoviário tem uma quota significativa no mercado dos transportes, seja de passageiros ou mercadorias, tornando-o extremamente importante na rede de transportes de um país. Os países europeus fizeram um grande investimento na criação de extensas redes de estradas, cobrindo quase todo o seu território. Neste momento, começa-se a atingir o ponto onde a principal preocu+ação das entidades gestoras de estradas deixa de ser a construção de novas vias, passando a focar-se na necessidade de manutenção e conservação das vias existentes. Os pavimentos rodoviários, como todas as outras construções, requerem manutenção de forma a garantir bons níveis de serviço com qualidade, conforto e segurança. Devido aos custos inerentes às operações de manutenção de pavimentos, estas devem rigorosamente e com base em critérios científicos bem definidos. Assim, pretende-se evitar intervenções desnecessárias, mas também impedir que os danos se tornem irreparáveis e economicamente prejudiciais, com repercussões na segurança dos utilizadores. Para se estimar a vida útil de um pavimento é essencial realizar primeiro a caracterização estrutural do mesmo. Para isso, torna-se necessário conhecer o tipo de estrutura de um pavimento, nomeadamente a espessura e o módulo de elasticidade constituintes. A utilização de métodos de ensaio não destrutivos é cada vez mais reconhecida como uma forma eficaz para obter informações sobre o comportamento estrutural de pavimentos. Para efectuar estes ensaios, existem vários equipamentos. No entanto, dois deles, o Deflectómetro de Impacto e o Radar de Prospecção, têm demonstrado ser particularmente eficientes para avaliação da capacidade de carga de um pavimento, sendo estes equipamentos utilizados no âmbito deste estudo. Assim, para realização de ensaios de carga em pavimentos, o equipamento Deflectómetro de Impacto tem sido utilizado com sucesso para medir as deflexões à superfície de um pavimento em pontos pré-determinados quando sujeito a uma carga normalizada de forma a simular o efeito da passagem da roda de um camião. Complementarmente, para a obtenção de informações contínuas sobre a estrutura de um pavimento, o equipamento Radar de Prospecção permite conhecer o número de camadas e as suas espessuras através da utilização de ondas electromagnéticas. Os dados proporcionam, quando usados em conjunto com a realização de sondagens à rotação e poços em alguns locais, permitem uma caracterização mais precisa da condição estrutural de um pavimento e o estabelecimento de modelos de resposta, no caso de pavimentos existentes. Por outro lado, o processamento dos dados obtidos durante os ensaios “in situ” revela-se uma tarefa morosa e complexa. Actualmente, utilizando as espessuras das camadas do pavimento, os módulos de elasticidade das camadas são calculados através da “retro-análise” da bacia de deflexões medida nos ensaios de carga. Este método é iterativo, sendo que um engenheiro experiente testa várias estruturas diferentes de pavimento, até se obter uma estrutura cuja resposta seja o mais próximo possível da obtida durante os ensaios “in Situ”. Esta tarefa revela-se muito dependente da experiência do engenheiro, uma vez que as estruturas de pavimento a serem testadas maioritariamente do seu raciocínio. Outra desvantagem deste método é o facto de apresentar soluções múltiplas, dado que diferentes estruturas podem apresentar modelos de resposta iguais. A solução aceite é, muitas vezes, a que se julga mais provável, baseando-se novamente no raciocínio e experiência do engenheiro. A solução para o problema da enorme quantidade de dados a processar e das múltiplas soluções possíveis poderá ser a utilização de Redes Neuronais Artificiais (RNA) para auxiliar esta tarefa. As redes neuronais são elementos computacionais virtuais, cujo funcionamento é inspirado na forma como os sistemas nervosos biológicos, como o cérebro, processam a informação. Estes elementos são compostos por uma série de camadas, que por sua vez são compostas por neurónios. Durante a transmissão da informação entre neurónios, esta é modificada pela aplicação de um coeficiente, denominado “peso”. As redes neuronais apresentam uma habilidade muito útil, uma vez que são capazes de mapear uma função sem conhecer a sua fórmula matemática. Esta habilidade é utilizada em vários campos científicos como o reconhecimento de padrões, classificação ou compactação de dados. De forma a possibilitar o uso desta característica, a rede deverá ser devidamente “treinada” antes, processo realizado através da introdução de dois conjuntos de dados: os valores de entrada e os valores de saída pretendidos. Através de um processo cíclico de propagação da informação através das ligações entre neurónios, as redes ajustam-se gradualmente, apresentando melhores resultados. Apesar de existirem vários tipos de redes, as que aparentam ser as mais aptas para esta tarefa são as redes de retro-propagação. Estas possuem uma característica importante, nomeadamente o treino denominado “treino supervisionado”. Devido a este método de treino, as redes funcionam dentro da gama de variação dos dados fornecidos para o “treino” e, consequentemente, os resultados calculados também se encontram dentro da mesma gama, impedindo o aparecimento de soluções matemáticas com impossibilidade prática. De forma a tornar esta tarefa ainda mais simples, foi desenvolvido um programa de computador, NNPav, utilizando as RNA como parte integrante do seu processo de cálculo. O objectivo é tornar o processo de “retro-análise” totalmente automático e prevenir erros induzidos pela falta de experiência do utilizador. De forma a expandir ainda mais as funcionalidades do programa, foi implementado um processo de cálculo que realiza uma estimativa da capacidade de carga e da vida útil restante do pavimento, recorrendo a dois critérios de ruína. Estes critérios são normalmente utilizados no dimensionamento de pavimentos, de forma a prevenir o fendilhamento por fadiga e as deformações permanentes. Desta forma, o programa criado permite a estimativa da vida útil restante de um pavimento de forma eficiente, directamente a partir das deflexões e espessuras das camadas, medidas nos ensaios “in situ”. Todos os passos da caracterização estrutural do pavimento são efectuados pelo NNPav, seja recorrendo à utilização de redes neuronais ou a processos de cálculo matemático, incluindo a correcção do módulo de elasticidade da camada de misturas betuminosas para a temperatura de projecto e considerando as características de tráfego e taxas de crescimento do mesmo. Os testes efectuados às redes neuronais revelaram que foram alcançados resultados satisfatórios. Os níveis de erros na utilização de redes neuronais são semelhantes aos obtidos usando modelos de camadas linear-elásticas, excepto para o cálculo da vida útil com base num dos critérios, onde os erros obtidos foram mais altos. No entanto, este processo revela-se bastante mais rápido e possibilita o processamento dos dados por pessoal com menos experiência. Ao mesmo tempo, foi assegurado que nos ficheiros de resultados é possível analisar todos os dados calculados pelo programa, em várias fases de processamento de forma a permitir a análise detalhada dos mesmos. A possibilidade de estimar a capacidade de carga e a vida útil restante de um pavimento, contempladas no programa desenvolvido, representam também ferramentas importantes. Basicamente, o NNPav permite uma análise estrutural completa de um pavimento, estimando a sua vida útil com base nos ensaios de campo realizados pelo Deflectómetro de Impacto e pelo Radar de Prospecção, num único passo. Complementarmente, foi ainda desenvolvido e implementado no NNPav um módulo destinado ao dimensionamento de pavimentos novos. Este módulo permite que, dado um conjunto de estruturas de pavimento possíveis, seja estimada a capacidade de carga e a vida útil daquele pavimento. Este facto permite a análise de uma grande quantidade de estruturas de pavimento, e a fácil comparação dos resultados no ficheiro exportado. Apesar dos resultados obtidos neste trabalho serem bastante satisfatórios, os desenvolvimentos futuros na aplicação de Redes Neuronais na avaliação de pavimentos são ainda mais promissores. Uma vez que este trabalho foi limitado a uma moldura temporal inerente a um trabalho académico, a possibilidade de melhorar ainda mais a resposta das RNA fica em aberto. Apesar dos vários testes realizados às redes, de forma a obter as arquitecturas que apresentassem melhores resultados, as arquitecturas possíveis são virtualmente ilimitadas e pode ser uma área a aprofundar. As funcionalidades implementadas no programa foram as possíveis, dentro da moldura temporal referida, mas existem muitas funcionalidades a serem adicinadas ou expandidas, aumentando a funcionalidade do programa e a sua produtividade. Uma vez que esta é uma ferramenta que pode ser aplicada ao nível de gestão de redes rodoviárias, seria necessário estudar e desenvolver redes similares de forma a avaliar outros tipos de estruturas de pavimentos. Como conclusão final, apesar dos vários aspectos que podem, e devem ser melhorados, o programa desenvolvido provou ser uma ferramenta bastante útil e eficiente na avaliação estrutural de pavimentos com base em métodos de ensaio não destrutivos.

Short-term wind power forecasting in Portugal by neural networks and wavelet transform

This paper proposes artificial neural networks in combination with wavelet transform for short-term wind power forecasting in Portugal. The increased integration of wind power into the electric grid, as nowadays occurs in Portugal, poses new challenges due to its intermittency and volatility. Hence, good forecasting tools play a key role in tackling these challenges. Results from a real-world case study are presented. A comparison is carried out, taking into account the results obtained with other approaches. Finally, conclusions are duly drawn. (C) 2010 Elsevier Ltd. All rights reserved.

Symbolic Knowledge Extraction from Trained Neural Networks Governed by Lukasiewicz Logics

This work describes a methodology to extract symbolic rules from trained neural networks. In our approach, patterns on the network are codified using formulas on a Lukasiewicz logic. For this we take advantage of the fact that every connective in this multi-valued logic can be evaluated by a neuron in an artificial network having, by activation function the identity truncated to zero and one. This fact simplifies symbolic rule extraction and allows the easy injection of formulas into a network architecture. We trained this type of neural network using a back-propagation algorithm based on Levenderg-Marquardt algorithm, where in each learning iteration, we restricted the knowledge dissemination in the network structure. This makes the descriptive power of produced neural networks similar to the descriptive power of Lukasiewicz logic language, minimizing the information loss on the translation between connectionist and symbolic structures. To avoid redundance on the generated network, the method simplifies them in a pruning phase, using the "Optimal Brain Surgeon" algorithm. We tested this method on the task of finding the formula used on the generation of a given truth table. For real data tests, we selected the Mushrooms data set, available on the UCI Machine Learning Repository.

FMRI 3D registration based on Fourier space subsets using neural networks

In this work, we present a neural network (NN) based method designed for 3D rigid-body registration of FMRI time series, which relies on a limited number of Fourier coefficients of the images to be aligned. These coefficients, which are comprised in a small cubic neighborhood located at the first octant of a 3D Fourier space (including the DC component), are then fed into six NN during the learning stage. Each NN yields the estimates of a registration parameter. The proposed method was assessed for 3D rigid-body transformations, using DC neighborhoods of different sizes. The mean absolute registration errors are of approximately 0.030 mm in translations and 0.030 deg in rotations, for the typical motion amplitudes encountered in FMRI studies. The construction of the training set and the learning stage are fast requiring, respectively, 90 s and 1 to 12 s, depending on the number of input and hidden units of the NN. We believe that NN-based approaches to the problem of FMRI registration can be of great interest in the future. For instance, NN relying on limited K-space data (possibly in navigation echoes) can be a valid solution to the problem of prospective (in frame) FMRI registration.

Neural networks for condition monitoring of wind turbines gearbox

Wind energy is considered a hope in future as a clean and sustainable energy, as can be seen by the growing number of wind farms installed all over the world. With the huge proliferation of wind farms, as an alternative to the traditional fossil power generation, the economic issues dictate the necessity of monitoring systems to optimize the availability and profits. The relatively high cost of operation and maintenance associated to wind power is a major issue. Wind turbines are most of the time located in remote areas or offshore and these factors increase the referred operation and maintenance costs. Good maintenance strategies are needed to increase the health management of wind turbines. The objective of this paper is to show the application of neural networks to analyze all the wind turbine information to identify possible future failures, based on previous information of the turbine.

Multiple Linear Regression and Artificial Neural Networks to Predict Time and Efficiency of Soil Vapor Extraction

The prediction of the time and the efficiency of the remediation of contaminated soils using soil vapor extraction remain a difficult challenge to the scientific community and consultants. This work reports the development of multiple linear regression and artificial neural network models to predict the remediation time and efficiency of soil vapor extractions performed in soils contaminated separately with benzene, toluene, ethylbenzene, xylene, trichloroethylene, and perchloroethylene. The results demonstrated that the artificial neural network approach presents better performances when compared with multiple linear regression models. The artificial neural network model allowed an accurate prediction of remediation time and efficiency based on only soil and pollutants characteristics, and consequently allowing a simple and quick previous evaluation of the process viability.

Multilayer Perceptron Neural Networks Training Through Charged System Search and its Application for Non-Technical Losses Detection

The non-technical loss is not a problem with trivial solution or regional character and its minimization represents the guarantee of investments in product quality and maintenance of power systems, introduced by a competitive environment after the period of privatization in the national scene. In this paper, we show how to improve the training phase of a neural network-based classifier using a recently proposed meta-heuristic technique called Charged System Search, which is based on the interactions between electrically charged particles. The experiments were carried out in the context of non-technical loss in power distribution systems in a dataset obtained from a Brazilian electrical power company, and have demonstrated the robustness of the proposed technique against with several others natureinspired optimization techniques for training neural networks. Thus, it is possible to improve some applications on Smart Grids.

Solar Intensity Forecasting using Artificial Neural Networks and Support Vector Machines

This paper presents several forecasting methodologies based on the application of Artificial Neural Networks (ANN) and Support Vector Machines (SVM), directed to the prediction of the solar radiance intensity. The methodologies differ from each other by using different information in the training of the methods, i.e, different environmental complementary fields such as the wind speed, temperature, and humidity. Additionally, different ways of considering the data series information have been considered. Sensitivity testing has been performed on all methodologies in order to achieve the best parameterizations for the proposed approaches. Results show that the SVM approach using the exponential Radial Basis Function (eRBF) is capable of achieving the best forecasting results, and in half execution time of the ANN based approaches.

Using neural networks and support vector regression to relate marchetti dilatometer test parameters and maximum shear modulus

In the last two decades, small strain shear modulus became one of the most important geotechnical parameters to characterize soil stiffness. Finite element analysis have shown that in-situ stiffness of soils and rocks is much higher than what was previously thought and that stress-strain behaviour of these materials is non-linear in most cases with small strain levels, especially in the ground around retaining walls, foundations and tunnels, typically in the order of 10−2 to 10−4 of strain. Although the best approach to estimate shear modulus seems to be based in measuring seismic wave velocities, deriving the parameter through correlations with in-situ tests is usually considered very useful for design practice.The use of Neural Networks for modeling systems has been widespread, in particular within areas where the great amount of available data and the complexity of the systems keeps the problem very unfriendly to treat following traditional data analysis methodologies. In this work, the use of Neural Networks and Support Vector Regression is proposed to estimate small strain shear modulus for sedimentary soils from the basic or intermediate parameters derived from Marchetti Dilatometer Test. The results are discussed and compared with some of the most common available methodologies for this evaluation.

Using neural networks and support vector regression to relate marchetti dilatometer test parameters and maximum shear modulus

In the last two decades, small strain shear modulus became one of the most important geotechnical parameters to characterize soil stiffness. Finite element analysis have shown that in-situ stiffness of soils and rocks is much higher than what was previously thought and that stress-strain behaviour of these materials is non-linear in most cases with small strain levels, especially in the ground around retaining walls, foundations and tunnels, typically in the order of 10−2 to 10−4 of strain. Although the best approach to estimate shear modulus seems to be based in measuring seismic wave velocities, deriving the parameter through correlations with in-situ tests is usually considered very useful for design practice.The use of Neural Networks for modeling systems has been widespread, in particular within areas where the great amount of available data and the complexity of the systems keeps the problem very unfriendly to treat following traditional data analysis methodologies. In this work, the use of Neural Networks and Support Vector Regression is proposed to estimate small strain shear modulus for sedimentary soils from the basic or intermediate parameters derived from Marchetti Dilatometer Test. The results are discussed and compared with some of the most common available methodologies for this evaluation.

Predicting market movement with Artificial Neural Networks

This paper presents an application of an Artificial Neural Network (ANN) to the prediction of stock market direction in the US. Using a multilayer perceptron neural network and a backpropagation algorithm for the training process, the model aims at learning the hidden patterns in the daily movement of the S&P500 to correctly identify if the market will be in a Trend Following or Mean Reversion behavior. The ANN is able to produce a successful investment strategy which outperforms the buy and hold strategy, but presents instability in its overall results which compromises its practical application in real life investment decisions.

Using artificial neural networks to generate trading signals for crude oil, copper and gold futures

In this thesis, a feed-forward, back-propagating Artificial Neural Network using the gradient descent algorithm is developed to forecast the directional movement of daily returns for WTI, gold and copper futures. Out-of-sample back-test results vary, with some predictive abilities for copper futures but none for either WTI or gold. The best statistically significant hit rate achieved was 57% for copper with an absolute return Sharpe Ratio of 1.25 and a benchmarked Information Ratio of 2.11.