Guiding Monte Carlo tree searches with neural networks in the game of go

A dissertation submitted in fulfillment of the requirements to the degree of Master in Computer Science and Computer Engineering

Symbolic Knowledge Extraction from Trained Neural Networks Governed by Lukasiewicz Logics

This work describes a methodology to extract symbolic rules from trained neural networks. In our approach, patterns on the network are codified using formulas on a Lukasiewicz logic. For this we take advantage of the fact that every connective in this multi-valued logic can be evaluated by a neuron in an artificial network having, by activation function the identity truncated to zero and one. This fact simplifies symbolic rule extraction and allows the easy injection of formulas into a network architecture. We trained this type of neural network using a back-propagation algorithm based on Levenderg-Marquardt algorithm, where in each learning iteration, we restricted the knowledge dissemination in the network structure. This makes the descriptive power of produced neural networks similar to the descriptive power of Lukasiewicz logic language, minimizing the information loss on the translation between connectionist and symbolic structures. To avoid redundance on the generated network, the method simplifies them in a pruning phase, using the "Optimal Brain Surgeon" algorithm. We tested this method on the task of finding the formula used on the generation of a given truth table. For real data tests, we selected the Mushrooms data set, available on the UCI Machine Learning Repository.

FMRI 3D registration based on Fourier space subsets using neural networks

In this work, we present a neural network (NN) based method designed for 3D rigid-body registration of FMRI time series, which relies on a limited number of Fourier coefficients of the images to be aligned. These coefficients, which are comprised in a small cubic neighborhood located at the first octant of a 3D Fourier space (including the DC component), are then fed into six NN during the learning stage. Each NN yields the estimates of a registration parameter. The proposed method was assessed for 3D rigid-body transformations, using DC neighborhoods of different sizes. The mean absolute registration errors are of approximately 0.030 mm in translations and 0.030 deg in rotations, for the typical motion amplitudes encountered in FMRI studies. The construction of the training set and the learning stage are fast requiring, respectively, 90 s and 1 to 12 s, depending on the number of input and hidden units of the NN. We believe that NN-based approaches to the problem of FMRI registration can be of great interest in the future. For instance, NN relying on limited K-space data (possibly in navigation echoes) can be a valid solution to the problem of prospective (in frame) FMRI registration.

Application of neural networks for pavement evaluation

As vias de comunicação são indispensáveis para o desenvolvimento de uma nação, económica e socialmente. Num mundo globalizado, onde tudo deve chegar ao seu destino no menor espaço de tempo, as vias de comunicação assumem um papel vital. Assim, torna-se essencial construir e manter uma rede de transportes eficiente. Apesar de não ser o método mais eficiente, o transporte rodoviário é muitas vezes o mais económico e possibilita o transporte porta-a-porta, sendo em muitos casos o único meio de transporte possível. Por estas razões, o modo rodoviário tem uma quota significativa no mercado dos transportes, seja de passageiros ou mercadorias, tornando-o extremamente importante na rede de transportes de um país. Os países europeus fizeram um grande investimento na criação de extensas redes de estradas, cobrindo quase todo o seu território. Neste momento, começa-se a atingir o ponto onde a principal preocu+ação das entidades gestoras de estradas deixa de ser a construção de novas vias, passando a focar-se na necessidade de manutenção e conservação das vias existentes. Os pavimentos rodoviários, como todas as outras construções, requerem manutenção de forma a garantir bons níveis de serviço com qualidade, conforto e segurança. Devido aos custos inerentes às operações de manutenção de pavimentos, estas devem rigorosamente e com base em critérios científicos bem definidos. Assim, pretende-se evitar intervenções desnecessárias, mas também impedir que os danos se tornem irreparáveis e economicamente prejudiciais, com repercussões na segurança dos utilizadores. Para se estimar a vida útil de um pavimento é essencial realizar primeiro a caracterização estrutural do mesmo. Para isso, torna-se necessário conhecer o tipo de estrutura de um pavimento, nomeadamente a espessura e o módulo de elasticidade constituintes. A utilização de métodos de ensaio não destrutivos é cada vez mais reconhecida como uma forma eficaz para obter informações sobre o comportamento estrutural de pavimentos. Para efectuar estes ensaios, existem vários equipamentos. No entanto, dois deles, o Deflectómetro de Impacto e o Radar de Prospecção, têm demonstrado ser particularmente eficientes para avaliação da capacidade de carga de um pavimento, sendo estes equipamentos utilizados no âmbito deste estudo. Assim, para realização de ensaios de carga em pavimentos, o equipamento Deflectómetro de Impacto tem sido utilizado com sucesso para medir as deflexões à superfície de um pavimento em pontos pré-determinados quando sujeito a uma carga normalizada de forma a simular o efeito da passagem da roda de um camião. Complementarmente, para a obtenção de informações contínuas sobre a estrutura de um pavimento, o equipamento Radar de Prospecção permite conhecer o número de camadas e as suas espessuras através da utilização de ondas electromagnéticas. Os dados proporcionam, quando usados em conjunto com a realização de sondagens à rotação e poços em alguns locais, permitem uma caracterização mais precisa da condição estrutural de um pavimento e o estabelecimento de modelos de resposta, no caso de pavimentos existentes. Por outro lado, o processamento dos dados obtidos durante os ensaios “in situ” revela-se uma tarefa morosa e complexa. Actualmente, utilizando as espessuras das camadas do pavimento, os módulos de elasticidade das camadas são calculados através da “retro-análise” da bacia de deflexões medida nos ensaios de carga. Este método é iterativo, sendo que um engenheiro experiente testa várias estruturas diferentes de pavimento, até se obter uma estrutura cuja resposta seja o mais próximo possível da obtida durante os ensaios “in Situ”. Esta tarefa revela-se muito dependente da experiência do engenheiro, uma vez que as estruturas de pavimento a serem testadas maioritariamente do seu raciocínio. Outra desvantagem deste método é o facto de apresentar soluções múltiplas, dado que diferentes estruturas podem apresentar modelos de resposta iguais. A solução aceite é, muitas vezes, a que se julga mais provável, baseando-se novamente no raciocínio e experiência do engenheiro. A solução para o problema da enorme quantidade de dados a processar e das múltiplas soluções possíveis poderá ser a utilização de Redes Neuronais Artificiais (RNA) para auxiliar esta tarefa. As redes neuronais são elementos computacionais virtuais, cujo funcionamento é inspirado na forma como os sistemas nervosos biológicos, como o cérebro, processam a informação. Estes elementos são compostos por uma série de camadas, que por sua vez são compostas por neurónios. Durante a transmissão da informação entre neurónios, esta é modificada pela aplicação de um coeficiente, denominado “peso”. As redes neuronais apresentam uma habilidade muito útil, uma vez que são capazes de mapear uma função sem conhecer a sua fórmula matemática. Esta habilidade é utilizada em vários campos científicos como o reconhecimento de padrões, classificação ou compactação de dados. De forma a possibilitar o uso desta característica, a rede deverá ser devidamente “treinada” antes, processo realizado através da introdução de dois conjuntos de dados: os valores de entrada e os valores de saída pretendidos. Através de um processo cíclico de propagação da informação através das ligações entre neurónios, as redes ajustam-se gradualmente, apresentando melhores resultados. Apesar de existirem vários tipos de redes, as que aparentam ser as mais aptas para esta tarefa são as redes de retro-propagação. Estas possuem uma característica importante, nomeadamente o treino denominado “treino supervisionado”. Devido a este método de treino, as redes funcionam dentro da gama de variação dos dados fornecidos para o “treino” e, consequentemente, os resultados calculados também se encontram dentro da mesma gama, impedindo o aparecimento de soluções matemáticas com impossibilidade prática. De forma a tornar esta tarefa ainda mais simples, foi desenvolvido um programa de computador, NNPav, utilizando as RNA como parte integrante do seu processo de cálculo. O objectivo é tornar o processo de “retro-análise” totalmente automático e prevenir erros induzidos pela falta de experiência do utilizador. De forma a expandir ainda mais as funcionalidades do programa, foi implementado um processo de cálculo que realiza uma estimativa da capacidade de carga e da vida útil restante do pavimento, recorrendo a dois critérios de ruína. Estes critérios são normalmente utilizados no dimensionamento de pavimentos, de forma a prevenir o fendilhamento por fadiga e as deformações permanentes. Desta forma, o programa criado permite a estimativa da vida útil restante de um pavimento de forma eficiente, directamente a partir das deflexões e espessuras das camadas, medidas nos ensaios “in situ”. Todos os passos da caracterização estrutural do pavimento são efectuados pelo NNPav, seja recorrendo à utilização de redes neuronais ou a processos de cálculo matemático, incluindo a correcção do módulo de elasticidade da camada de misturas betuminosas para a temperatura de projecto e considerando as características de tráfego e taxas de crescimento do mesmo. Os testes efectuados às redes neuronais revelaram que foram alcançados resultados satisfatórios. Os níveis de erros na utilização de redes neuronais são semelhantes aos obtidos usando modelos de camadas linear-elásticas, excepto para o cálculo da vida útil com base num dos critérios, onde os erros obtidos foram mais altos. No entanto, este processo revela-se bastante mais rápido e possibilita o processamento dos dados por pessoal com menos experiência. Ao mesmo tempo, foi assegurado que nos ficheiros de resultados é possível analisar todos os dados calculados pelo programa, em várias fases de processamento de forma a permitir a análise detalhada dos mesmos. A possibilidade de estimar a capacidade de carga e a vida útil restante de um pavimento, contempladas no programa desenvolvido, representam também ferramentas importantes. Basicamente, o NNPav permite uma análise estrutural completa de um pavimento, estimando a sua vida útil com base nos ensaios de campo realizados pelo Deflectómetro de Impacto e pelo Radar de Prospecção, num único passo. Complementarmente, foi ainda desenvolvido e implementado no NNPav um módulo destinado ao dimensionamento de pavimentos novos. Este módulo permite que, dado um conjunto de estruturas de pavimento possíveis, seja estimada a capacidade de carga e a vida útil daquele pavimento. Este facto permite a análise de uma grande quantidade de estruturas de pavimento, e a fácil comparação dos resultados no ficheiro exportado. Apesar dos resultados obtidos neste trabalho serem bastante satisfatórios, os desenvolvimentos futuros na aplicação de Redes Neuronais na avaliação de pavimentos são ainda mais promissores. Uma vez que este trabalho foi limitado a uma moldura temporal inerente a um trabalho académico, a possibilidade de melhorar ainda mais a resposta das RNA fica em aberto. Apesar dos vários testes realizados às redes, de forma a obter as arquitecturas que apresentassem melhores resultados, as arquitecturas possíveis são virtualmente ilimitadas e pode ser uma área a aprofundar. As funcionalidades implementadas no programa foram as possíveis, dentro da moldura temporal referida, mas existem muitas funcionalidades a serem adicinadas ou expandidas, aumentando a funcionalidade do programa e a sua produtividade. Uma vez que esta é uma ferramenta que pode ser aplicada ao nível de gestão de redes rodoviárias, seria necessário estudar e desenvolver redes similares de forma a avaliar outros tipos de estruturas de pavimentos. Como conclusão final, apesar dos vários aspectos que podem, e devem ser melhorados, o programa desenvolvido provou ser uma ferramenta bastante útil e eficiente na avaliação estrutural de pavimentos com base em métodos de ensaio não destrutivos.

Dynamic equilibrium through reinforcement learning

Reinforcement Learning is an area of Machine Learning that deals with how an agent should take actions in an environment such as to maximize the notion of accumulated reward. This type of learning is inspired by the way humans learn and has led to the creation of various algorithms for reinforcement learning. These algorithms focus on the way in which an agent’s behaviour can be improved, assuming independence as to their surroundings. The current work studies the application of reinforcement learning methods to solve the inverted pendulum problem. The importance of the variability of the environment (factors that are external to the agent) on the execution of reinforcement learning agents is studied by using a model that seeks to obtain equilibrium (stability) through dynamism – a Cart-Pole system or inverted pendulum. We sought to improve the behaviour of the autonomous agents by changing the information passed to them, while maintaining the agent’s internal parameters constant (learning rate, discount factors, decay rate, etc.), instead of the classical approach of tuning the agent’s internal parameters. The influence of changes on the state set and the action set on an agent’s capability to solve the Cart-pole problem was studied. We have studied typical behaviour of reinforcement learning agents applied to the classic BOXES model and a new form of characterizing the environment was proposed using the notion of convergence towards a reference value. We demonstrate the gain in performance of this new method applied to a Q-Learning agent.

Short-term wind power forecasting in Portugal by neural networks and wavelet transform

This paper proposes artificial neural networks in combination with wavelet transform for short-term wind power forecasting in Portugal. The increased integration of wind power into the electric grid, as nowadays occurs in Portugal, poses new challenges due to its intermittency and volatility. Hence, good forecasting tools play a key role in tackling these challenges. Results from a real-world case study are presented. A comparison is carried out, taking into account the results obtained with other approaches. Finally, conclusions are duly drawn. (C) 2010 Elsevier Ltd. All rights reserved.

An artificial neural network approach for short-term wind power forecasting in Portugal

This paper presents an artificial neural network approach for short-term wind power forecasting in Portugal. The increased integration of wind power into the electric grid, as nowadays occurs in Portugal, poses new challenges due to its intermittency and volatility. Hence, good forecasting tools play a key role in tackling these challenges. The accuracy of the wind power forecasting attained with the proposed approach is evaluated against persistence and ARIMA approaches, reporting the numerical results from a real-world case study.

QSAR modeling of antitubercular activity of diverse organic compounds

Tuberculosis (TB) is a worldwide infectious disease that has shown over time extremely high mortality levels. The urgent need to develop new antitubercular drugs is due to the increasing rate of appearance of multi-drug resistant strains to the commonly used drugs, and the longer durations of therapy and recovery, particularly in immuno-compromised patients. The major goal of the present study is the exploration of data from different families of compounds through the use of a variety of machine learning techniques so that robust QSAR-based models can be developed to further guide in the quest for new potent anti-TB compounds. Eight QSAR models were built using various types of descriptors (from ADRIANA.Code and Dragon software) with two publicly available structurally diverse data sets, including recent data deposited in PubChem. QSAR methodologies used Random Forests and Associative Neural Networks. Predictions for the external evaluation sets obtained accuracies in the range of 0.76-0.88 (for active/inactive classifications) and Q(2)=0.66-0.89 for regressions. Models developed in this study can be used to estimate the anti-TB activity of drug candidates at early stages of drug development (C) 2011 Elsevier B.V. All rights reserved.

Estimação de cobertura rádio em GSM-R através de redes neuronais

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia de Eletrónica e Telecomunicações

The daily and hourly energy consumption and load forecasting using artifitial neural network method: a case study using a set of 93 households in Portugal

It is important to understand and forecast a typical or a particularly household daily consumption in order to design and size suitable renewable energy systems and energy storage. In this research for Short Term Load Forecasting (STLF) it has been used Artificial Neural Networks (ANN) and, despite the consumption unpredictability, it has been shown the possibility to forecast the electricity consumption of a household with certainty. The ANNs are recognized to be a potential methodology for modeling hourly and daily energy consumption and load forecasting. Input variables such as apartment area, numbers of occupants, electrical appliance consumption and Boolean inputs as hourly meter system were considered. Furthermore, the investigation carried out aims to define an ANN architecture and a training algorithm in order to achieve a robust model to be used in forecasting energy consumption in a typical household. It was observed that a feed-forward ANN and the Levenberg-Marquardt algorithm provided a good performance. For this research it was used a database with consumption records, logged in 93 real households, in Lisbon, Portugal, between February 2000 and July 2001, including both weekdays and weekend. The results show that the ANN approach provides a reliable model for forecasting household electric energy consumption and load profile. © 2014 The Author.