Uma implementação paralela híbrida para o problema do caixeiro viajante usando algoritmos genéticos, GRASP e aprendizagem por reforço

The metaheuristics techiniques are known to solve optimization problems classified as NP-complete and are successful in obtaining good quality solutions. They use non-deterministic approaches to generate solutions that are close to the optimal, without the guarantee of finding the global optimum. Motivated by the difficulties in the resolution of these problems, this work proposes the development of parallel hybrid methods using the reinforcement learning, the metaheuristics GRASP and Genetic Algorithms. With the use of these techniques, we aim to contribute to improved efficiency in obtaining efficient solutions. In this case, instead of using the Q-learning algorithm by reinforcement learning, just as a technique for generating the initial solutions of metaheuristics, we use it in a cooperative and competitive approach with the Genetic Algorithm and GRASP, in an parallel implementation. In this context, was possible to verify that the implementations in this study showed satisfactory results, in both strategies, that is, in cooperation and competition between them and the cooperation and competition between groups. In some instances were found the global optimum, in others theses implementations reach close to it. In this sense was an analyze of the performance for this proposed approach was done and it shows a good performance on the requeriments that prove the efficiency and speedup (gain in speed with the parallel processing) of the implementations performed

Uma contribuição à solução do problema dos k-servos usando aprendizagem por reforço

Neste trabalho é proposto um novo algoritmo online para o resolver o Problema dos k-Servos (PKS). O desempenho desta solução é comparado com o de outros algoritmos existentes na literatura, a saber, os algoritmos Harmonic e Work Function, que mostraram ser competitivos, tornando-os parâmetros de comparação significativos. Um algoritmo que apresente desempenho eficiente em relação aos mesmos tende a ser competitivo também, devendo, obviamente, se provar o referido fato. Tal prova, entretanto, foge aos objetivos do presente trabalho. O algoritmo apresentado para a solução do PKS é baseado em técnicas de aprendizagem por reforço. Para tanto, o problema foi modelado como um processo de decisão em múltiplas etapas, ao qual é aplicado o algoritmo Q-Learning, um dos métodos de solução mais populares para o estabelecimento de políticas ótimas neste tipo de problema de decisão. Entretanto, deve-se observar que a dimensão da estrutura de armazenamento utilizada pela aprendizagem por reforço para se obter a política ótima cresce em função do número de estados e de ações, que por sua vez é proporcional ao número n de nós e k de servos. Ao se analisar esse crescimento (matematicamente, ) percebe-se que o mesmo ocorre de maneira exponencial, limitando a aplicação do método a problemas de menor porte, onde o número de nós e de servos é reduzido. Este problema, denominado maldição da dimensionalidade, foi introduzido por Belmann e implica na impossibilidade de execução de um algoritmo para certas instâncias de um problema pelo esgotamento de recursos computacionais para obtenção de sua saída. De modo a evitar que a solução proposta, baseada exclusivamente na aprendizagem por reforço, seja restrita a aplicações de menor porte, propõe-se uma solução alternativa para problemas mais realistas, que envolvam um número maior de nós e de servos. Esta solução alternativa é hierarquizada e utiliza dois métodos de solução do PKS: a aprendizagem por reforço, aplicada a um número reduzido de nós obtidos a partir de um processo de agregação, e um método guloso, aplicado aos subconjuntos de nós resultantes do processo de agregação, onde o critério de escolha do agendamento dos servos é baseado na menor distância ao local de demanda

Classificação de padrões através de um comitê de máquinas aprimorado por aprendizagem por reforço

Reinforcement learning is a machine learning technique that, although finding a large number of applications, maybe is yet to reach its full potential. One of the inadequately tested possibilities is the use of reinforcement learning in combination with other methods for the solution of pattern classification problems. It is well documented in the literature the problems that support vector machine ensembles face in terms of generalization capacity. Algorithms such as Adaboost do not deal appropriately with the imbalances that arise in those situations. Several alternatives have been proposed, with varying degrees of success. This dissertation presents a new approach to building committees of support vector machines. The presented algorithm combines Adaboost algorithm with a layer of reinforcement learning to adjust committee parameters in order to avoid that imbalances on the committee components affect the generalization performance of the final hypothesis. Comparisons were made with ensembles using and not using the reinforcement learning layer, testing benchmark data sets widely known in area of pattern classification

Roteamento em Redes de Sensores Sem Fios Com Base Em Aprendizagem Por Reforço

The use of wireless sensor and actuator networks in industry has been increasing past few years, bringing multiple benefits compared to wired systems, like network flexibility and manageability. Such networks consists of a possibly large number of small and autonomous sensor and actuator devices with wireless communication capabilities. The data collected by sensors are sent directly or through intermediary nodes along the network to a base station called sink node. The data routing in this environment is an essential matter since it is strictly bounded to the energy efficiency, thus the network lifetime. This work investigates the application of a routing technique based on Reinforcement Learning s Q-Learning algorithm to a wireless sensor network by using an NS-2 simulated environment. Several metrics like energy consumption, data packet delivery rates and delays are used to validate de proposal comparing it with another solutions existing in the literature

Estratégias de busca reativa utilizando aprendizagem por reforço e algoritmos de busca local

Técnicas de otimização conhecidas como as metaheurísticas tem conseguido resolversatisfatoriamente problemas conhecidos, mas desenvolvimento das metaheurísticas écaracterizado por escolha de parâmetros para sua execução, na qual a opção apropriadadestes parâmetros (valores). Onde o ajuste de parâmetro é essencial testa-se os parâmetrosaté que resultados viáveis sejam obtidos, normalmente feita pelo desenvolvedor que estaimplementando a metaheuristica. A qualidade dos resultados de uma instância1 de testenão será transferida para outras instâncias a serem testadas e seu feedback pode requererum processo lento de “tentativa e erro” onde o algoritmo têm que ser ajustado para umaaplicação especifica. Diante deste contexto das metaheurísticas surgiu a Busca Reativaque defende a integração entre o aprendizado de máquina dentro de buscas heurísticaspara solucionar problemas de otimização complexos. A partir da integração que a BuscaReativa propõe entre o aprendizado de máquina e as metaheurísticas, surgiu a ideia dese colocar a Aprendizagem por Reforço mais especificamente o algoritmo Q-learning deforma reativa, para selecionar qual busca local é a mais indicada em determinado instanteda busca, para suceder uma outra busca local que não pode mais melhorar a soluçãocorrente na metaheurística VNS. Assim, neste trabalho propomos uma implementação reativa,utilizando aprendizado por reforço para o auto-tuning do algoritmo implementado,aplicado ao problema do caixeiro viajante simétrico e ao problema escalonamento sondaspara manutenção de poços.

Técnicas de conformação de feixe em arranjo de antenas utilizando aprendizagem por reforço

Beamforming is a technique widely used in various fields. With the aid of an antenna array, the beamforming aims to minimize the contribution of unknown interferents directions, while capturing the desired signal in a given direction. In this thesis are proposed beamforming techniques using Reinforcement Learning (RL) through the Q-Learning algorithm in antennas array. One proposal is to use RL to find the optimal policy selection between the beamforming (BF) and power control (PC) in order to better leverage the individual characteristics of each of them for a certain amount of Signal to Interference plus noise Ration (SINR). Another proposal is to use RL to determine the optimal policy between blind beamforming algorithm of CMA (Constant Modulus Algorithm) and DD (Decision Direct) in multipath environments. Results from simulations showed that the RL technique could be effective in achieving na optimal of switching between different techniques.

Aprendizagem espaço-temporal e efeitos das condições luminosas no aprendizado do peixe paulistinha

Para processar a informação ambiental e perceber o tempo, os indivíduos utilizam-se de pistas ambientais, como luz e temperatura, que servem como guias para o relógio interno. O mecanismo temporizador endógeno é chamado relógio circadiano, o qual comanda uma grande variedade de ritmos diários bioquímicos, fisiológicos e comportamentais presentes nos organismos. Com isso, os animais podem antecipar eventos espaço-temporalmente distribuídos e usar essa informação para organizar as atividades diárias, o que é uma vantagem adaptativa para os indivíduos, já que muitos fatores ambientais apresentam variação circadiana. Aprendizagem espaço-temporal (do inglês: "time-place learning’’-TPL) é a habilidade de associar lugares com importantes eventos biológicos em diferentes horas do dia. Em nosso estudo utilizamos como modelo o peixe paulistinha (Danio rerio), conhecido por ser altamente social, para testar aprendizagem espaço-temporal baseada em reforço social. Além disso, objetivamos averiguar os efeitos das condições de claro constante e escuro constante na aprendizagem espaço-temporal, e se nessas condições, a atividade do peixe paulistinha é alterada. Para isso, testamos três diferentes condições (n=10): grupo claro-escuro (CE), grupo claro constante (CC) e grupo escuro constante (EE) durante 30 dias da seguinte maneira: diariamente, um grupo de 5 peixes paulistinha foi introduzido em um recipiente localizado no compartimento da manhã (um dos lados do aquário), às 8:00h e retirado às 9:00h, e em outro recipiente do compartimento da tarde (lado oposto do aquário), às 17:00h e removido às 18:00h, servindo como estímulo para que o peixe experimental ocupasse o compartimento onde o grupo fosse colocado. O comportamento foi filmado nos dois horários, 15 minutos antes e durante os 60 minutos de exposição ao estímulo, no 15º e no 30ª dia, porém neste último, os peixes foram filmados sem a presença do estímulo a fim de averiguarmos a aprendizagem espaço-temporal. Por fim, para saber a influência das três condições luminosas na atividade dos peixes, filmamos os últimos 6 dias de teste, para registrar o padrão de atividade. Nossos resultados mostraram que em ciclo claro-escuro (CE) o peixe paulistinha apresenta TPL, bem como é capaz de antecipar a hora e local do estímulo (grupo de coespecíficos), enfatizando a importância do estímulo social para a aprendizagem. Em condições de claro constante e escuro constante, o peixe paulistinha não apresentou aprendizagem espaço-temporal. Ademais, após 30 dias em condições luminosas constantes (claro constante e escuro constante), o peixe paulistinha mantém ritmo circadiano, porém em claro constante sua atividade é aumentada e seu ritmo atividade-repouso é alterado, através de um padrão de atividade distribuída homogeneamente ao longo das 24h, ao invés de concentrada na subjetiva fase clara, como nos grupos de ciclo claro-escuro e escuro constante, os quais conservam o padrão de atividade diurno da espécie.

Identificando práticas musicais e processos de aprendizagem musical no contexto urbano de Montes Claros-MG

MENDES,Jean Joubert Freitas; BRITO,Leila de Jesus Ferreira de;CARMO, Raiana Alves Maciel Leal do. Identificando práticas musicais e processos de aprendizagem musical no contexto urbano de Montes Claros-MG. In: ENCONTRO DA ASSOCIAÇAO NACIONAL DE PESQUISA E POS-GRADUAÇAO EM MUSICA (ANPPOM), 17.,2007, Sao Paulo. Anais... Sao Paulo: ANPPOM, 2007.

Diagnóstico de enfermagem: estratégia educativa fundamentada na aprendizagem baseada em problemas

Este estudo teve por objetivo avaliar a eficácia de uma estratégia de ensino sobre diagnósticos de enfermagem, fundamentada na aprendizagem, baseada em problemas no desempenho do raciocínio clínico e julgamento diagnóstico dos discentes de graduação. É estudo experimental, realizado em duas fases: validação de conteúdo dos problemas e aplicação da estratégia educativa. Os resultados mostraram melhora na capacidade de agrupamento dos dados dos discentes do grupo experimental. Conclui-se que houve influência positiva da estratégia implementada

Análise do processo de aprendizagem e alfabetização científica sobre a evolução dos veterbrados em um museu de ciências

Os museus como centros de ciências, enquanto espaços de educação não formal podem, por meio da participação ativa do público, promover a compreensão da ciência ao aguçar a curiosidade do indivíduo e estimular o prazer pela descoberta. Ação desenvolvida como intervenção acadêmica, social e cultural associada ao PIBID/UFRN/Biologia, tem como objetivo avaliar o uso de espaço de ensino não formal, na aprendizagem de conceitos, promovendo a alfabetização científica através de uma exposição em um museu de ciências e morfológicas. A visitação foi realizada no Museu de Ciências Morfológicas da UFRN, com alunos do 1º ano do ensino médio da escola Estadual Lourdes Guilherme, sendo aplicados questionários de pré e pós-visita sobre a Evolução dos Vertebrados, com intuito de analisar a contribuição do museu na aprendizagem destes conteúdos. A porcentagem de acertos no questionário pré-visita variou entre 8 e 68% em relação ao conhecimento geral dos alunos quanto à evolução dos vertebrados, enquanto no pós-visita essa variação foi de 16 a 90%. Com base nesses primeiros resultados verificamos o quanto os museus interativos de ciência se apresentam como um espaço educativo complementar à educação formal, possibilitando a ampliação e a melhoria do conhecimento científico de estudantes. Isso demonstra que o uso de espaços não formais contribui para a aprendizagem significativa, além de promover a alfabetização científica destes alunos ao gerar a compreensão da ciência e aguçar a curiosidade dos mesmos para o prazer da descoberta.

Aceitação e uso de ambiente virtual de aprendizagem no contexto de um curso de capacitação para servidores públicos

This study aimed to examine how students perceives the factors that may influence them to attend a training course offered in the distance virtual learning environment (VLE) of the National School of Public Administration (ENAP). Thus, as theoretical basis it was used the Unified Theory of Acceptance and Use of Technology (UTAUT), the result of an integration of eight previous models which aimed to explain the same phenomenon (acceptance/use of information technology). The research approach was a quantitative and qualitative. To achieve the study objectives were made five semi-structured interviews and an online questionnaire (websurvey) in a valid sample of 101 public employees scattered throughout the country. The technique used to the analysis of quantitative data was the structural equation modeling (SEM), by the method of Partial Least Square Path Modeling (PLS-PM). To qualitative data was the thematic content analysis. Among the results, it was found that, in the context of public service, the degree whose the individual believes that the use of an AVA will help its performance at work (performance expectancy) is a factor to its intended use and also influence its use. Among the results, it was found that the belief which the public employee has in the use of a VLE as a way to improve the performance of his work (performance expectation) was determinant for its intended use that, in turn, influenced their use. It was confirmed that, under the voluntary use of technology, the general opinion of the student s social circle (social influence) has no effect on their intention to use the VLE. The effort expectancy and facilitating conditions were not directly related to the intended use and use, respectively. However, emerged from the students speeches that the opinions of their coworkers, the ease of manipulate the VLE, the flexibility of time and place of the distance learning program and the presence of a tutor are important to their intentions to do a distance learning program. With the results, it is expected that the managers of the distance learning program of ENAP turn their efforts to reduce the impact of the causes of non-use by those unwilling to adopt voluntarily the e-learning, and enhance the potentialities of distance learning for those who are already users

Utilização de um ambiente virtual de aprendizagem: um estudo na perspectiva da prática docente

Advances related to information technology are visible and inherent to the management of contemporary organizations, regardless of industrial action. Synchronized with this dynamic, educational institutions are incorporating technological tools that assist its management and academic support to teachers in teaching and interaction with the students. Given that technological innovations are not always taken homogeneously and with the same degree of coverage, remain current and relevant studies on how these technologies are being used in academia. The objective of this research is to identify the usage profile of the functionality of a virtual learning environment related to teaching (undergraduate or postgraduate), demographic variables (age and gender) and institutional (time of admission and academic center of origin.) The methodology applied to the study is descriptive and quantitative. The research is characterized as census, covering all 2152 teachers of undergraduate and graduate students of the Federal University of Rio Grande do Norte, Brazil, who accessed the virtual classes of the Integrated Management of Academic Activities. The study findings revealed that there is a statistically significant difference regarding the use of these tools to teachers who work with undergraduate (49.3%) compared to graduate (6.6%). Regarding gender, women (40.1%) use the system more than men (38.5%). It was also observed that the younger teachers, aged 37 years, are the most active users (42.5%) of the Virtual Class with respect to their elders. For teachers with up to three years time of admission to the UFRN, the pattern of use is more advanced than those with more seniority, as well as the faculty of the Center for Science and Technology are the least likely to use the tools available in relation to other academic centers. It is hoped that with this study managers can direct actions to improve and expand the use of this environment by teachers

Caracterização de atapulgita visando aplicação para reforço de materiais poloméricos

The clay mineral attapulgite is a group of hormitas, which has its structures formed by microchannels, which give superior technological properties classified the industrial clays, clays of this group has a very versatile range of applications, ranging from the drilling fluid for wells oil has applications in the pharmaceutical industry. Such properties can be improved by activating acid and / or thermal activation. The attapulgite when activated can improve by up to 5-8 times some of its properties. The clay was characterized by X-ray diffraction, fluorescence, thermogravimetric analysis, differential thermal analysis, scanning electron microscopy and transmission electron microscopy before and after chemical activation. It can be seen through the results the efficiency of chemical treatment, which modified the clay without damaging its structure, as well as production of polymer matrix composites with particles dispersed atapugita

Uma aplicação da apredizagem por reforço na otimização da produção em um campo de petróleo

The objective of reservoir engineering is to manage fields of oil production in order to maximize the production of hydrocarbons according to economic and physical restrictions. The deciding of a production strategy is a complex activity involving several variables in the process. Thus, a smart system, which assists in the optimization of the options for developing of the field, is very useful in day-to-day of reservoir engineers. This paper proposes the development of an intelligent system to aid decision making, regarding the optimization of strategies of production in oil fields. The intelligence of this system will be implemented through the use of the technique of reinforcement learning, which is presented as a powerful tool in problems of multi-stage decision. The proposed system will allow the specialist to obtain, in time, a great alternative (or near-optimal) for the development of an oil field known

Um olhar sociológico sobre a criança e o brincar: espaço e tempo de construção, reinvenção e aprendizagem

This research I discuss the play, also talking with the other subjects that make up the universe in which the play is inserted, such as family, school and culture. The fundamental proposition of this dissertation assumes that the absence of play in children's lives affect their physical structure, psychological, biological, cultural, social, historical and theirs development. The initial questions were: What are the spacetimes reserved in the school for play? What is the importance of play in the development of children? Does the school recognize the importance of play in its social space? How the children perceive and use the spacetimes to play at school? Are there spacetimes at school to play? This is a theoretical and empirical research of exploratory study. The research‟s field was the Municipal School Professor Ulysses Góes, located in district of Nova Descoberta, in Natal, Rio Grande do Norte and, as research techniques, I used: participant observation, photography, structured interviews with students and questionnaires with teachers. The results indicate that for most of children, the school allows the play, few disagree with this preposition.Teachers recognize the importance of play in school, but for various reasons do not provide your practice. The dissertation points the possibility of new studies and developments for the theme.