Algoritmo Q-learning como estratégia de exploração e/ou explotação para metaheurísticas GRASP e algoritmo genético

Techniques of optimization known as metaheuristics have achieved success in the resolution of many problems classified as NP-Hard. These methods use non deterministic approaches that reach very good solutions which, however, don t guarantee the determination of the global optimum. Beyond the inherent difficulties related to the complexity that characterizes the optimization problems, the metaheuristics still face the dilemma of xploration/exploitation, which consists of choosing between a greedy search and a wider exploration of the solution space. A way to guide such algorithms during the searching of better solutions is supplying them with more knowledge of the problem through the use of a intelligent agent, able to recognize promising regions and also identify when they should diversify the direction of the search. This way, this work proposes the use of Reinforcement Learning technique - Q-learning Algorithm - as exploration/exploitation strategy for the metaheuristics GRASP (Greedy Randomized Adaptive Search Procedure) and Genetic Algorithm. The GRASP metaheuristic uses Q-learning instead of the traditional greedy-random algorithm in the construction phase. This replacement has the purpose of improving the quality of the initial solutions that are used in the local search phase of the GRASP, and also provides for the metaheuristic an adaptive memory mechanism that allows the reuse of good previous decisions and also avoids the repetition of bad decisions. In the Genetic Algorithm, the Q-learning algorithm was used to generate an initial population of high fitness, and after a determined number of generations, where the rate of diversity of the population is less than a certain limit L, it also was applied to supply one of the parents to be used in the genetic crossover operator. Another significant change in the hybrid genetic algorithm is the proposal of a mutually interactive cooperation process between the genetic operators and the Q-learning algorithm. In this interactive/cooperative process, the Q-learning algorithm receives an additional update in the matrix of Q-values based on the current best solution of the Genetic Algorithm. The computational experiments presented in this thesis compares the results obtained with the implementation of traditional versions of GRASP metaheuristic and Genetic Algorithm, with those obtained using the proposed hybrid methods. Both algorithms had been applied successfully to the symmetrical Traveling Salesman Problem, which was modeled as a Markov decision process

Análise comparativa do desempenho de um Controlador Fuzzy acoplado a um PID Neural sintonizado por um Algoritmo Genético com Controladores Inteligentes Convencionais

On this paper, it is made a comparative analysis among a controller fuzzy coupled to a PID neural adjusted by an AGwith several traditional control techniques, all of them applied in a system of tanks (I model of 2nd order non lineal). With the objective of making possible the techniques involved in the comparative analysis and to validate the control to be compared, simulations were accomplished of some control techniques (conventional PID adjusted by GA, Neural PID (PIDN) adjusted by GA, Fuzzy PI, two Fuzzy attached to a PID Neural adjusted by GA and Fuzzy MISO (3 inputs) attached to a PIDN adjusted by GA) to have some comparative effects with the considered controller. After doing, all the tests, some control structures were elected from all the tested techniques on the simulating stage (conventional PID adjusted by GA, Fuzzy PI, two Fuzzy attached to a PIDN adjusted by GA and Fuzzy MISO (3 inputs) attached to a PIDN adjusted by GA), to be implemented at the real system of tanks. These two kinds of operation, both the simulated and the real, were very important to achieve a solid basement in order to establish the comparisons and the possible validations show by the results

Separação cega de fontes lineares e não lineares usando algoritmo genético, redes neurais artificiais RBF e negentropia de Rényi como medida de independência

Conventional methods to solve the problem of blind source separation nonlinear, in general, using series of restrictions to obtain the solution, often leading to an imperfect separation of the original sources and high computational cost. In this paper, we propose an alternative measure of independence based on information theory and uses the tools of artificial intelligence to solve problems of blind source separation linear and nonlinear later. In the linear model applies genetic algorithms and Rényi of negentropy as a measure of independence to find a separation matrix from linear mixtures of signals using linear form of waves, audio and images. A comparison with two types of algorithms for Independent Component Analysis widespread in the literature. Subsequently, we use the same measure of independence, as the cost function in the genetic algorithm to recover source signals were mixed by nonlinear functions from an artificial neural network of radial base type. Genetic algorithms are powerful tools for global search, and therefore well suited for use in problems of blind source separation. Tests and analysis are through computer simulations

Estudo avaliativo de um algoritmo genético auto-organizável e multiobjetivo utilizando aprendizado de máquina para aplicações de telecomunicações

This paper presents an evaluative study about the effects of using a machine learning technique on the main features of a self-organizing and multiobjective genetic algorithm (GA). A typical GA can be seen as a search technique which is usually applied in problems involving no polynomial complexity. Originally, these algorithms were designed to create methods that seek acceptable solutions to problems where the global optimum is inaccessible or difficult to obtain. At first, the GAs considered only one evaluation function and a single objective optimization. Today, however, implementations that consider several optimization objectives simultaneously (multiobjective algorithms) are common, besides allowing the change of many components of the algorithm dynamically (self-organizing algorithms). At the same time, they are also common combinations of GAs with machine learning techniques to improve some of its characteristics of performance and use. In this work, a GA with a machine learning technique was analyzed and applied in a antenna design. We used a variant of bicubic interpolation technique, called 2D Spline, as machine learning technique to estimate the behavior of a dynamic fitness function, based on the knowledge obtained from a set of laboratory experiments. This fitness function is also called evaluation function and, it is responsible for determining the fitness degree of a candidate solution (individual), in relation to others in the same population. The algorithm can be applied in many areas, including in the field of telecommunications, as projects of antennas and frequency selective surfaces. In this particular work, the presented algorithm was developed to optimize the design of a microstrip antenna, usually used in wireless communication systems for application in Ultra-Wideband (UWB). The algorithm allowed the optimization of two variables of geometry antenna - the length (Ls) and width (Ws) a slit in the ground plane with respect to three objectives: radiated signal bandwidth, return loss and central frequency deviation. These two dimensions (Ws and Ls) are used as variables in three different interpolation functions, one Spline for each optimization objective, to compose a multiobjective and aggregate fitness function. The final result proposed by the algorithm was compared with the simulation program result and the measured result of a physical prototype of the antenna built in the laboratory. In the present study, the algorithm was analyzed with respect to their success degree in relation to four important characteristics of a self-organizing multiobjective GA: performance, flexibility, scalability and accuracy. At the end of the study, it was observed a time increase in algorithm execution in comparison to a common GA, due to the time required for the machine learning process. On the plus side, we notice a sensitive gain with respect to flexibility and accuracy of results, and a prosperous path that indicates directions to the algorithm to allow the optimization problems with "η" variables

Contribuição ao estudo da vascularização arterial do testículo de búfalos da raça Murrah

Estudamos o comportamento da artéria testicular, o número e a distribuição dos vasos penetrantes em 30 pares de testículos de búfalos da raça Murrah (Bubalus bubalis), com idade entre 8 meses e 5 anos, procedentes da região de Ilha Solteira, no Estado de São Paulo, mediante a análise de moldes obtidos pela injeção de vinil, na artéria testicular e em seguida corrosão do órgão em ácido sulfúrico a 30%. Encontramos mais freqüentemente (68,4%) a artéria testicular cedendo dois ramos, o cranial e o caudal, com participação equivalente de ambos os ramos na vascularização do órgão (35,0%), ou com predominância do ramo cranial (21,7%) ou do ramo caudal (11,7%). em outros arranjos, a artéria testicular cede três ramos: o cranial, o médio e o caudal (20,0%) ou ainda número variável de ramos craniais (4 a 7) e caudais (3 a 5) (11,6%) para a vascularização arterial do testículo.

Seleção de progênies de meios-irmãos do composto Isanão VF-1 de milho na safra e safrinha

O aumento significativo da produção de milho na segunda safra no Brasil, principalmente no centro-sul do país, têm estimulado os programas de melhoramento da cultura a selecionar genótipos que sejam adaptáveis às condições climáticas das diferentes épocas de semeadura. Nesse sentido, o objetivo do presente trabalho foi quantificar a interação progênies x épocas de semeadura e verificar seus reflexos no progresso genético com o uso de índice de seleção multivariado para seleção de progênies do Composto Isanão VF-1 de milho. As semeaduras foram realizadas na segunda safra em 2004 e na primeira safra do ano agrícola 2004/05. Foram utilizadas 71 progênies de meios irmãos avaliadas em blocos ao acaso, com três repetições. Os caracteres avaliados foram: altura de plantas, altura de espigas, tombamento, prolificidade e rendimento de grãos. Realizaram-se a decomposição da interação progênies x épocas e foram estimados os ganhos pelo índice de seleção descrito por Mulamba e Mock. Houve predomínio da interação do tipo simples para maioria dos caracteres, exceto para prolificidade, que revelou 86% de interação do tipo complexa. Pelo índice de Mulamba e Mock, os ganhos proporcionais mais adequados para o conjunto de caracteres avaliados foi obtido pelos pesos econômicos atribuídos por tentativas. Os ganhos preditos foram de 1,41, 0,86, -13,03, 9,54 e 16,12% para altura de planta, altura de espiga, tombamento, prolificidade e rendimento de grãos, respectivamente.

Estimative of genetic parameters in progeny test of Pinus caribaea Morelet var. hondurensis Barret & Golfari by quantitative traits and microsatellite markers

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Ganho genético com base no tamanho efetivo populacional de progênies de seringueira

O objetivo deste trabalho foi estimar os ganhos genéticos de um teste de progênies de seringueira para a produção de borracha seca e, com base no maior tamanho efetivo populacional e maior ganho genético, obter os melhores indivíduos. Foram utilizadas 30 progênies de meios-irmãos, provenientes de sementes de polinização mista - alogamia e autogamia - de testes clonais no Estado de São Paulo. Utilizou-se o delineamento experimental de blocos ao acaso, com 30 tratamentos (progênies), 3 repetições e parcelas lineares de 10 plantas, em um espaçamento de 3x3 m, o que totalizou 900 plantas úteis. Aos três anos, o perímetro, a 50 cm do solo (PA50), e a produção de borracha seca (PBS) foram avaliadas por meio do teste precoce de produção Hamaker Morris-Mann (HMM). As variáveis foram analisadas pelo método de modelo linear misto, via procedimento REML/BLUP, em progênies com sistema reprodutivo misto e taxa de autofecundação de 22%. A identificação dos 20 melhores indivíduos quanto à PBS e ao PA50 proporcionou ganho genético de 67,96 e 16,48%, respectivamente, e um coeficiente de endogamia de aproximadamente 2,82%. O teste de progênies proporciona produção de sementes com melhor valor genético, grande variabilidade e baixa endogamia

Um algoritmo genético especializado aplicado ao planejamento da expansão do sistema de transmissão com alocação de dispositivos de compensação série

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Efeito de valores discrepantes em grupos de contemporâneos na predição dos valores genéticos

Foram simuladas nove populações, cada uma com cinco replicações da variável ganho médio diário (GMD1) com distribuição normal e média 100, variando o tamanho dos grupos e os desvios-padrão. Cada replicação foi dividida de modo a formar grupos que representariam grupos de contemporâneos (GC) e de progênie dentro de GC. Cada GC tinha dez pais. Obtiveram-se três conjuntos: o conjunto 1 com 1.000 grupos de contemporâneos (GC), cada um com 100 observações e dez observações por pai; o conjunto 2, com 2.500 GC, 40 observações e quatro observações por pai; e o conjunto 3, com 5.000 GC, 20 observações e dois filhos por pai. em cada população, gerou-se GMD1, a qual foi transformada em outra variável, da seguinte forma: DIAS1 = 100/GMD1. Calcularam-se para cada pai, dentro de cada GC, as contribuições de cada GC ao valor de cada pai, para GMD1 (Cx) e DIAS1 (Cy). Os efeitos do máximo e da média de DIAS1 no grupo sobre o valor absoluto de Cy foram significativos, mas o R² foi baixo (máximo de 16%). O mínimo de DIAS1 não influenciou o valor de Cy. O máximo e o mínimo de GMD1 sobre Cx foram significativos, mas os R² foram muito baixos (máximo de 2%). A média não influenciou Cx. em grupos de contemporâneos com um animal com valor de GMD muito baixo, o valor de DIAS desse animal será relativamente muito mais alto, o que afetará a média do grupo e os valores de todos os animais do grupo. Esse efeito se refletirá na avaliação de seus pais e será mais uma importante fonte de erros na avaliação genética do rebanho. Assim, a utilização de DIAS em substituição ao GMD como critério de seleção para o melhoramento de bovinos é contra-indicada, pois deverá reduzir a possibilidade de ganho genético para crescimento.

Efeito do grupo genético sobre as características de carcaça e maciez da carne fresca e maturada de bovinos superprecoces

Objetivou-se estudar o efeito das diferentes proporções de sangue Simental e Nelore sobre as características da carcaça e da carne de bovinos superprecoces. Foram utilizados 72 bovinos jovens inteiros (18 Nelore; 18 ½ Simental × Nelore; 18 Simbrasil e 18 Simental), com 8 meses de idade e 250 kg PV médio inicial. Os animais foram desmamados aos 8 meses de idade em sistema creep-feeding e posteriormente confinados durante 150 dias até atingirem o peso de abate, acima de 465 kg, e abatidos em frigorífico comercial. Os valores de pH e temperatura durante o resfriamento das carcaças foi semelhante para todos os grupos genéticos. da mesma forma, as variáveis carcaça fria, dianteiro e traseiro, não apresentaram diferenças entre os grupos genéticos. Os cortes foram bastante homogêneos, com excessão do contrafilé e do filé-mignon, que foram maiores nos animais Simental. Os animais da raça Nelore e ½ Simental apresentaram maior força de cisalhamento (4,98 e 4,45 kgf) em relação aos Simental e Simbrasil (3,13 e 3,33 kgf). No entanto, após a maturação da carne durante sete dias, não se constataram diferenças entre os valores de maciez entre os grupos. As perdas por evaporação e gotejamento foram maiores na carne in natura para os animais Simental e Simbrasil, no entanto, aos sete dias de maturação se tornaram semelhantes. O sistema de produção de bovinos superprecoces produz carcaças e cortes semelhantes entre as diferentes raças estudadas. Aos sete dias de maturação, a maciez da carne de animais Nelore foi semelhante à dos demais grupos genéticos utilizados neste estudo.

Ocorrência e distribuição de esporos de Clostridium botulinum tipos C e D em áreas de criação de búfalos na Baixada Maranhense

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Intoxicação natural por Solanum glaucophyllum (Solanaceae) em búfalos no Pantanal Matogrossense

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Diallel analysis of maize resistance to Phaeosphaeria maydis

Em programas de melhoramento visando resistência genética a doenças, a estimativa de parâmetros genéticos que governam a resistência permite direcionar a introdução de resistência em germoplasmas. O objetivo deste trabalho foi estimar os efeitos heteróticos, a capacidade geral (CGC) e específica (CEC) de combinação, utilizando-se de dois métodos de avaliação da resistência, à Phaeosphaeria maydis através da análise dialélica de 36 híbridos F1 e de suas nove linhagens genitoras, em experimentos conduzidos em três ambientes. Foi utilizado um delineamento experimental em blocos casualizados com três repetições e a parcela experimental foi representada por uma fileira de 5 m. As diferenças entre as estimativas da capacidade de combinação, em diferentes ambientes e para os dois métodos de avaliação, apresentaram efeitos significativos (P < 0.01) para ambientes (E), CGC e CGC x E. O efeito de CEC e a interação CEC x E não foi significativa para os dois métodos de avaliação. Os efeitos de CGC foram mais importantes que CEC nesse conjunto de linhagens, sugerindo que efeitos genéticos aditivos são mais importantes como fonte de variação para resistência a esta doença. Efeitos heteróticos para resistência foram estimados, sendo possível identificar combinações híbridas específicas entre linhagens com alto potencial para o controle genético deste patógeno. Resultados para os dois métodos de avaliação foram praticamente idênticos, embora o método PI seja de maior praticidade de uso.

População protozoários ciliados e degradabilidade ruminal em búfalos e bovinos zebuínos sob dieta à base de cana-de-açúcar

Três búfalos e três bovinos zebuínos adultos com cânulas ruminais foram alimentados à vontade com dieta de cana-de-açúcar fresca e picada, suplementada com 3 kg de concentrado/animal, durante 13 semanas. Após duas semanas de adaptação, amostras do conteúdo ruminal foram coletadas semanalmente, em dois tempos de amostragem: antes da alimentação e 40 minutos após para determinação da concentração e composição da fauna ruminal. Na quinta semana do experimento, os conteúdos ruminais foram misturados e reinoculados entre animais de mesma espécie e, na última semana, estimadas as degradabilidades in situ da MS, PB e FDN da cana-de-açúcar e MS e PB do concentrado. A concentração média de protozoários foi maior em bovinos, de 4,85 x 10(5)/mL, que em búfalos, de 3,82 x 10(5)/mL. As composições genéricas para Entodinium e subfamília Diplodiniinae foram 79,2 e 6,2% em bovinos e 32,0 e 54,9% em búfalos, respectivamente. Não houve interação significativa entre espécies animais e tempo de amostragem. Houve aumento da concentração média dos holotricos após 40 minutos da alimentação. As degradabilidades efetivas dos nutrientes estudados foram semelhantes entre as duas espécies animais, observando-se diferenças na cinética da degradação. Concluiu-se que os búfalos apresentaram menor concentração de ciliados no rúmen, maior composição de Diplodiniinae e menor de Entodinium que os bovinos; os holotricos exibiram capacidade de migração e seqüestro no rúmen em ambas as espécies; e as diferenças na fauna ruminal não influenciaram a degradabilidade efetiva dos nutrientes da cana-de-açúcar e do concentrado.