Unsupervised reinforcement learning via state entropy maximization

Reinforcement Learning (RL) provides a powerful framework to address sequential decision-making problems in which the transition dynamics is unknown or too complex to be represented. The RL approach is based on speculating what is the best decision to make given sample estimates obtained from previous interactions, a recipe that led to several breakthroughs in various domains, ranging from game playing to robotics. Despite their success, current RL methods hardly generalize from one task to another, and achieving the kind of generalization obtained through unsupervised pre-training in non-sequential problems seems unthinkable. Unsupervised RL has recently emerged as a way to improve generalization of RL methods. Just as its non-sequential counterpart, the unsupervised RL framework comprises two phases: An unsupervised pre-training phase, in which the agent interacts with the environment without external feedback, and a supervised fine-tuning phase, in which the agent aims to efficiently solve a task in the same environment by exploiting the knowledge acquired during pre-training. In this thesis, we study unsupervised RL via state entropy maximization, in which the agent makes use of the unsupervised interactions to pre-train a policy that maximizes the entropy of its induced state distribution. First, we provide a theoretical characterization of the learning problem by considering a convex RL formulation that subsumes state entropy maximization. Our analysis shows that maximizing the state entropy in finite trials is inherently harder than RL. Then, we study the state entropy maximization problem from an optimization perspective. Especially, we show that the primal formulation of the corresponding optimization problem can be (approximately) addressed through tractable linear programs. Finally, we provide the first practical methodologies for state entropy maximization in complex domains, both when the pre-training takes place in a single environment as well as multiple environments.

An Integrated Framework To Improve The Concept Of Resource Specialisation.

Resource specialisation, although a fundamental component of ecological theory, is employed in disparate ways. Most definitions derive from simple counts of resource species. We build on recent advances in ecophylogenetics and null model analysis to propose a concept of specialisation that comprises affinities among resources as well as their co-occurrence with consumers. In the distance-based specialisation index (DSI), specialisation is measured as relatedness (phylogenetic or otherwise) of resources, scaled by the null expectation of random use of locally available resources. Thus, specialists use significantly clustered sets of resources, whereas generalists use over-dispersed resources. Intermediate species are classed as indiscriminate consumers. The effectiveness of this approach was assessed with differentially restricted null models, applied to a data set of 168 herbivorous insect species and their hosts. Incorporation of plant relatedness and relative abundance greatly improved specialisation measures compared to taxon counts or simpler null models, which overestimate the fraction of specialists, a problem compounded by insufficient sampling effort. This framework disambiguates the concept of specialisation with an explicit measure applicable to any mode of affinity among resource classes, and is also linked to ecological and evolutionary processes. This will enable a more rigorous deployment of ecological specialisation in empirical and theoretical studies.

Contrasting Effects Of Land Use Intensity And Exotic Host Plants On The Specialization Of Interactions In Plant-herbivore Networks.

Human land use tends to decrease the diversity of native plant species and facilitate the invasion and establishment of exotic ones. Such changes in land use and plant community composition usually have negative impacts on the assemblages of native herbivorous insects. Highly specialized herbivores are expected to be especially sensitive to land use intensification and the presence of exotic plant species because they are neither capable of consuming alternative plant species of the native flora nor exotic plant species. Therefore, higher levels of land use intensity might reduce the proportion of highly specialized herbivores, which ultimately would lead to changes in the specialization of interactions in plant-herbivore networks. This study investigates the community-wide effects of land use intensity on the degree of specialization of 72 plant-herbivore networks, including effects mediated by the increase in the proportion of exotic plant species. Contrary to our expectation, the net effect of land use intensity on network specialization was positive. However, this positive effect of land use intensity was partially canceled by an opposite effect of the proportion of exotic plant species on network specialization. When we analyzed networks composed exclusively of endophagous herbivores separately from those composed exclusively of exophagous herbivores, we found that only endophages showed a consistent change in network specialization at higher land use levels. Altogether, these results indicate that land use intensity is an important ecological driver of network specialization, by way of reducing the local host range of herbivore guilds with highly specialized feeding habits. However, because the effect of land use intensity is offset by an opposite effect owing to the proportion of exotic host species, the net effect of land use in a given herbivore assemblage will likely depend on the extent of the replacement of native host species with exotic ones.

Resolvendo a equação de Schrödinger utilizando procedimentos numéricos fundamentais

A combination of the variational principle, expectation value and Quantum Monte Carlo method is used to solve the Schrödinger equation for some simple systems. The results are accurate and the simplicity of this version of the Variational Quantum Monte Carlo method provides a powerful tool to teach alternative procedures and fundamental concepts in quantum chemistry courses. Some numerical procedures are described in order to control accuracy and computational efficiency. The method was applied to the ground state energies and a first attempt to obtain excited states is described.

Identificação eletrônica para avaliação do comportamento dos suínos na fase de gestação

The efficiency of swine production performance depends on the herd administration, such as good nutrition, sanitary control, facilities and appropriate environmental conditions. The concept of this production model is directly related with the reduction of selective losses and the process control. Each production segment is controlled to reach the optimization in the system totality, it is necessary to apply animals handling concepts, environmental control implementation, diseases control, nutrition control, information concerning in guaranteeing the animal welfare and individual identification. The present work presents as objective the development of the mathematical model to evaluate interactions among the internal atmosphere of the installation and the thermal animals preference, in the expectation of detecting a relationship among the frequency access to the drinking fountain and the atmosphere conditions - temperature, black globe temperature and relative humidity, using as tool the electronic identification. The results obtained by the mathematical model, allowed to conclude accurately the evaluation of the swine thermal preference correlating with the climatic variables in the pregnancy stage.

Influencia de diferentes informações quanto ao tempo de realização do exercicio sobre a atividade eletromiografica e consumo de oxigenio em ciclistas

Universidade Estadual de Campinas . Faculdade de Educação Física

Utilização da discriminação grafica de Fisher para indicação dos dermatoglifos como referencial de potencialidade de atletas de basquetebol

Universidade Estadual de Campinas. Faculdade de Educação Física

Educação física e inclusão educacional : entender para atender = Physical education and educational inclusion : understanding to attend

Universidade Estadual de Campinas . Faculdade de Educação Física

Trabalho, tempo livre e emancipação humana : os determinantes ontologicos das politicas sociais de lazer

Universidade Estadual de Campinas . Faculdade de Educação Física

Pedagogia do esporte : o livro didatico como um mediador no processo de ensino e aprendizagem dos jogos esportivos coletivos

Universidade Estadual de Campinas . Faculdade de Educação Física

O futebol que se aprende e o futebol que se ensina

Universidade Estadual de Campinas . Faculdade de Educação Física

Correlação entre padrão facial e relação sagital entre os arcos dentários no estágio de dentadura decídua: considerações epidemiológicas

OBJETIVO: A inter-relação oclusão e morfologia facial é fundamental para o diagnóstico e planejamento em ortodontia, bem como para determinação do prognóstico de tratamento. De um modo geral, a relação sagital entre os arcos dentários (Classe) tende a refletir o comportamento sagital do esqueleto facial (Padrão). O presente trabalho avalia a correlação entre as características morfológicas sagitais da face (Padrão) e da oclusão (Classe) no estágio de dentadura decídua. METODOLOGIA: A amostra foi composta por 2009 crianças, entre 03 e 06 anos de idade, no período de dentadura decídua completa, de 20 pré-escolas do Município de Bauru - SP. Os resultados demonstraram uma correlação estreita entre o Padrão facial e a Classe. No Padrão I predominou a Classe I (62,99%), seguida pela Classe II (35,82%) e Classe III (1,18%). No Padrão II, a Classe II foi predominante (81,35%) acompanhada de uma incidência baixa de Classe I (18,64%). No Padrão III, a Classe III estava presente em 50% das crianças, seguida pela Classe I, em 48,64%, e Classe II, em 1,35%. RESULTADOS: A expectativa se comprovou. Há uma tendência da Classe acompanhar o Padrão, desde o estágio de dentadura decídua. Isso foi mais explícito no Padrão II. Os resultados também esclarecem que a oclusão guarda alguma independência em relação ao Padrão. CONCLUSÃO: A maior heterogeneidade na distribuição das Classes ficou para os Padrões I e III. No Padrão II, as Classes se comportaram de forma mais homogênea, com mais de 80% das crianças exibindo Classe II.

A equidade no sistema de saúde na visão de bioeticistas brasileiros

OBJETIVO: Conhecer a atribuição de significado dada por bioeticistas brasileiros quanto à equidade no sistema de saúde. MÉTODOS: Pesquisa qualitativa, exploratória. Entre julho de 2007 e julho de 2008, foram entrevistados 20 bioeticistas, dirigentes e ex-dirigentes da Sociedade Brasileira de Bioética e de suas regionais (2005-2008). O tratamento dos dados foi realizado por análise de discurso. RESULTADOS: Os discursos levaram ao estabelecimento das seguintes ideias centrais: tratar desigualmente os desiguais conforme suas necessidades; equidade e desigualdades compensadas; equidade e maximização dos benefícios; equidade e mérito social; equidade e direitos. CONCLUSÃO: Os resultados da pesquisa evidenciam a existência entre os bioeticistas pesquisados de uma diversidade de interpretações sobre equidade no sistema de saúde, reforçando a noção de que é difícil, no mundo contemporâneo, decidir sobre o que seria um sistema justo e equânime.

Produção in vitro de embriões de ovinos: uma visão crítica do método e de seu resultado a campo

A metodologia de produção in vitro de embriões de ovinos implica no desenvolvimento de meios de maturação, fertilização e cultivo que permitam aumentar a taxa de clivagem e desenvolvimento, tanto para o investimento biotecnológico em programas comerciais, quanto para sua utilização em clonagem e transgenia dessa espécie animal. Do ponto de vista da pesquisa, os ovócitos podem ser obtidos pelas técnicas de punção e slicing a partir de ovários oriundos de matadouros, ou através de aspiração folicular por laparoscopia. Como vantagem, este método permite o uso de uma mesma doadora estimulada hormonialmente em intervalos periódicos, mantida sob rigoroso controle sanitário, o que é de vital importância para a produção de biofármacos em programas que utilisem os ovinos como modelo biológico. Por outro lado, em nosso país a demanda pela multiplicação de animais de alto valor genético, seja pela produtividade ou pelo elevado valor comercial dos mesmos, impõe o desenvolvimento, adaptação e otimização das diferentes metodologias desenvolvidas ao longo dos ultimos anos em laboratórios de referência mundiais. Nesse contexto, cresce de importância o perfeito conhecimento da fisiologia dessa espécie e das raças criadas em nosso país, e da problemática da produção in vitro de seus embriões. Respeitando essas premissas, gerar o desenvolvimento de protocolos que permitam não apenas aumentar a população de ovócitos passíveis de maturação in vitro, mas de sua competência ao desenvolvimento ao estágio de blastocisto, ou, alternativamente, sua transferência a receptoras em estágios precoces do desenvolvimento, evitando assim as conhecidas perdas durante o desenvolvimento in vitro, e o baixo percentual de gestações que chegam a termo, com cordeiro saudáveis. Trata-se de um desafio, que já apresenta os primeiros resultados em nosso país, tanto na produção comercial de embriões produzidos in vitro, quanto em programas de clonagem e transgenia.

A Classificação Internacional de Funcionalidade, Incapacidade e Saúde e a AIDS: uma proposta de core set

O advento da terapia anti-retroviral de alta potência (HAART) alterou a história natural da aids, diminuindo sua mortalidade e a incidência de doenças oportunistas e aumentando a esperança de vida das pessoas vivendo com aids.Como uma doença crônica, outras questões passam a ser relevantes, entre elas a adesão ao tratamento, seus efeitos adversos e a qualidade de vida das pessoas nessa condição. A CIF constitui um instrumento adequado para identificar as características da funcionalidade, do ambiente e condições pessoais que interferem na qualidade de vida. Instrumentos para a sua aplicação, core sets, têm sido desenvolvidos para várias condições de saúde. Com o objetivo de propor um core set para aids, foram desenvolvidas duas etapas preliminares do modelo proposto para a construção desses instrumentos. A primeira etapa, de revisão sistemática buscou no MEDLINE artigos com descritores HAART e qualidade de vida, publicados em inglês, de 2000 a 2004. Foram selecionados 31 estudos que resultou em 87 conceitos dos quais 66 puderam ser identificados como categorias da CIF. Estas formaram as perguntas da entrevista aplicada em 42 voluntários, pacientes de um centro de referência para DST e Aids de São Paulo. Entre as condições mais freqüentemente associadas ao tratamento, estão às mudanças na imagem corporal, conseqüência da lipodistrofia, apontada em 84 por cento dos estudos e em 93 por cento das entrevistas. Alterações das funções digestivas, das relações íntimas, e das funções sexuais foram condições importantes identificadas no estudo. As duas etapas definiram 40 categorias da CIF como proposta preliminar de um core set para pacientes com aids