Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

Predicting sense of community and participation by applying machine learning to open government data

Community capacity is used to monitor socio-economic development. It is composed of a number of dimensions, which can be measured to understand the possible issues in the implementation of a policy or the outcome of a project targeting a community. Measuring community capacity dimensions is usually expensive and time consuming, requiring locally organised surveys. Therefore, we investigate a technique to estimate them by applying the Random Forests algorithm on secondary open government data. This research focuses on the prediction of measures for two dimensions: sense of community and participation. The most important variables for this prediction were determined. The variables included in the datasets used to train the predictive models complied with two criteria: nationwide availability; sufficiently fine-grained geographic breakdown, i.e. neighbourhood level. The models explained 77% of the sense of community measures and 63% of participation. Due to the low geographic detail of the outcome measures available, further research is required to apply the predictive models to a neighbourhood level. The variables that were found to be more determinant for prediction were only partially in agreement with the factors that, according to the social science literature consulted, are the most influential for sense of community and participation. This finding should be further investigated from a social science perspective, in order to be understood in depth.

Can you tell if they're learning?

The proliferation of Web-based learning objects makes finding and evaluating online resources problematic. While established Learning Analytics methods use Web interaction to evaluate learner engagement, there is uncertainty regarding the appropriateness of these measures. In this paper we propose a method for evaluating pedagogical activity in Web-based comments using a pedagogical framework, and present a preliminary study that assigns a Pedagogical Value (PV) to comments. This has value as it categorises discussion in terms of pedagogical activity rather than Web interaction. Results show that PV is distinct from typical interactional measures; there are negative or insignificant correlations with established Learning Analytics methods, but strong correlations with relevant linguistic indicators of learning, suggesting that the use of pedagogical frameworks may produce more accurate indicators than interaction analysis, and that linguistic rather than interaction analysis has the potential to automatically identify learning behaviour.

Actitudes de los directivos en torno a la adopción del e-learning como herramienta de trabajo en las empresas

El desarrollo del presente documento constituye una investigación sobre las actitudes de los directivos frente a la adopción del e-learning como herramienta de trabajo en las organizaciones de Bogotá. Para ello se realizó una encuesta a 101 directivos, tomando como base el tipo de muestreo de conveniencia; esto con el objetivo de identificar sus actitudes frente al uso del e-learning y su influencia dentro de la organización. Como resultado se obtuvo que las actitudes de los directivos influencian en el uso de herramientas e-learning, así como también en las acciones que promueven su uso y en las actitudes de los empleados; por otro lado se identificó que las creencias relacionadas con la apropiación de herramientas e-learning y los factores facilitadores del uso de estas, influencian en las actitudes de los directivos. Lo anterior, corresponde a los análisis llevados a cabo a partir de los resultados contrastados con los estudios empíricos hallados y el marco teórico desarrollado.

Análisis del impacto del tamaño de los activos en la cuenta de resultados mediante la utilización de espacios de fase y análisis de recurrencia

Los resultados financieros de las organizaciones son objeto de estudio y análisis permanente, predecir sus comportamientos es una tarea permanente de empresarios, inversionistas, analistas y académicos. En el presente trabajo se explora el impacto del tamaño de los activos (valor total de los activos) en la cuenta de resultados operativos y netos, analizando inicialmente la relación entre dichas variables con indicadores tradicionales del análisis financiero como es el caso de la rentabilidad operativa y neta y con elementos de estadística descriptiva que permiten calificar los datos utilizados como lineales o no lineales. Descubriendo posteriormente que los resultados financieros de las empresas vigiladas por la Superintendencia de Sociedades para el año 2012, tienen un comportamiento no lineal, de esta manera se procede a analizar la relación de los activos y los resultados con la utilización de espacios de fase y análisis de recurrencia, herramientas útiles para sistemas caóticos y complejos. Para el desarrollo de la investigación y la revisión de la relación entre las variables de activos y resultados financieros se tomó como fuente de información los reportes financieros del cierre del año 2012 de la Superintendencia de Sociedades (Superintendencia de Sociedades, 2012).

An artificial economy based on reinforcement learning and agent based modeling

In this paper, we employ techniques from artificial intelligence such as reinforcement learning and agent based modeling as building blocks of a computational model for an economy based on conventions. First we model the interaction among firms in the private sector. These firms behave in an information environment based on conventions, meaning that a firm is likely to behave as its neighbors if it observes that their actions lead to a good pay off. On the other hand, we propose the use of reinforcement learning as a computational model for the role of the government in the economy, as the agent that determines the fiscal policy, and whose objective is to maximize the growth of the economy. We present the implementation of a simulator of the proposed model based on SWARM, that employs the SARSA(λ) algorithm combined with a multilayer perceptron as the function approximation for the action value function.

The use of insect cells to identify potent and selective inhibitors of the replication of the Dengue and Chikungunya viruses and unravel their molecular mechanism of action

Dengue and Chikungunya viruses cause the most important arthropod-borne viral infections for humans. These viruses are predominant in tropical and subtropical regions. In addition, these viruses are predominant in tropical and subtropical regions. Dengue mortality rate is around 1.2 to 3.5% and deaths due to chikungunya fever are around 1 in 1000; however, half of chikungunya-infected patients evolve into a chronic state that can persist for months up to years. There are no antiviral drugs available for DENV and CHIKV treatment and prevention. Moreover, vector control strategies have failed so far. Thus, the development of potent inhibitors for a broad spectrum of RNA viruses is urgently needed. We established and characterized a new embryonic insect cell line from Culex quinquefasciatus mosquito. Also we established the flaviviruses and alphavirus replication, both in C6/36 and Lulo insect cell lines, as well as in Vero cell line. In addition we carried out a reference compound library and reference panel of assays and data for DENV, which provides a benchmark for further studies. During this study, a panel of 9 antiviral molecules, with proven in vitro anti-dengue virus activity and that act at different stages of the DENV life cycle, was selected. Finally, Favipiravir or T-705, was identified as inhibitor in vitro and in vivo of alphaviruses and the mutation K291R in nsP4, which is responsible of the polymerase activity, was found as the mode of action in CHIKV. Interestingly, lysine in motif F1 is also highly conserved in positive-stranded RNA viruses and this might explain the broad spectrum of T-705 antiviral activity.

Gradient-based reinforcement learning techniques for underwater robotics behavior learning

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Aprender: uma necessidade, um direito e uma possibilidade ao alcance de todos

A transição do 1º para o 2º ciclo implica, em muitos casos, para além de uma mudança nos modelos de organização (espaços, tempos e pessoas…), uma mudança da própria escola. E se uma preparação atempada pode ser facilitadora nesse processo de transição (inter-escolas; escola/família e família/aluno), a verdade é que o novo ciclo implica novos problemas e novos desafios que testam e mobilizam, diariamente, nos alunos em trânsito, a sua capacidade de adaptação a novas situações. Aceitando-se que para um elevado número de crianças, esse período é curto e facilmente ultrapassável, reconhece-se que para outras, a inclusão no novo ciclo exige mais tempo e adaptações específicas, em função das necessidades educativas especiais que manifestam. O trabalho que se apresenta orientado numa perspectiva ecológica e desenvolvido com base numa metodologia de investigação-acção, permitiu-nos um melhor conhecimento do "Pedro" (nome fictício), enquanto pessoa (jovem, aluno, colega, filho, neto, vizinho e amigo), e dos contextos nos quais se movimenta; a identificação das suas potencialidades e necessidades educativas e a definição, implementação e avaliação das respostas educativas que viabilizaram e optimizaram a sua inclusão na escola do 2º ciclo. A intervenção realizada implicou um trabalho de equipa caracterizado pela colaboração e articulação regular, entre os diferentes intervenientes e pela persistência e coerência na acção desenvolvida. Permitiu ainda uma maior consciencialização de que quaisquer que sejam as características que nos tornam singulares, é possível evoluir em relação ao ponto de partida, se nos diferentes contextos de vida de cada pessoa se criarem as condições que viabilizem e estimulem percursos evolutivos. Com o trabalho desenvolvido reforçaram-se relações interpessoais, aprofundou-se a colaboração entre pares; entre a Escola e a Família, entre os Pais e o "Pedro" e desenvolveram-se as aprendizagens dos diferentes intervenientes, conforme testemunha a avaliação realizada.

A trilogia do sucesso: a educação inclusiva, a investigação-acção e a intervenção no grupo, atendendo à sua diversidade

RESUMO: O presente trabalho de projecto teve como principal objectivo compreender de que modo se pode promover o sucesso de todos, através do sucesso de cada um, num grupo heterogéneo de crianças do 2º e 3º ano do 1º Ciclo, com diferentes níveis de aprendizagem e problemáticas diversificadas. Com o principal objectivo de provocar mudanças positivas na dinâmica e intervenientes deste contexto, adoptou-se a metodologia de investigação-acção e recorreu-se a técnicas de pesquisa documental, à entrevista semi-directiva, à observação naturalista e à sociometria. O processo interventivo seguiu um plano de acção, inicialmente delimitado face às problemáticas diagnosticadas. Realizou-se de Fevereiro a Junho de 2010 seguindo uma estrutura cíclica e em espiral, composto por etapas de planificação, acção, avaliação e reflexão, para nova acção, que se tornou progressivamente mais informada. Esta metodologia permitiu alcançar resultados muito positivos e mudanças importantes no contexto intervencionado. Especificamente, numa fase inicial, a turma apresentava baixos desempenhos sociais, relacionais, comportamentais e académicos. Conjugados com estas problemáticas, todos os alunos apresentavam uma baixa autonomia, auto-estima e motivação para o processo de ensino-aprendizagem. Para além destes factores, apesar da heterogeneidade do grupo, de onde se destacavam os alunos 5, 9, 11, 12 e 13, considerados com necessidades educativas especiais, a dinâmica da prática pedagógica desenvolvida assentava num modelo de ensino tradicional, centrado no professor e nos desempenhos do aluno médio, reveladora de uma baixa eficiência de resultados. A heterogeneidade da turma era encarada como um obstáculo à aprendizagem. A intervenção desenvolvida, de forma fundamentada, permitiu um ensino inclusivo na turma, suportado na diferenciação pedagógica inclusiva, alcançada através da aprendizagem cooperativa, da tutoria entre pares e de uma estrutura coesa de parceria pedagógica entre a professora titular da turma e a investigadora. Para além destes, a intervenção realizada permitiu resultados positivos ao nível do perfil do grupo-turma, nomeadamente pelo registo de uma melhoria muito significativa nos desempenhos cognitivos, sócio-afectivos e comportamentais dos alunos. ABSTRACT: The present project work had as main objective to understand the way one can promote the success of all through the success of each one in a heterogeneous group of children of the 2nd and 3rd years of the 1st Cycle with different levels of learning and several problematic. With the main purpose of causing positive changes in the dynamics and actors of this context, the action-research methodology was adopted as well as the techniques of documentary research, and the half-directive interview, the naturalistic observation and the sociometry. The intervention process followed an action plan, initially delimited face to the problematic ones diagnosed. It took place from February to June 2010 following a cyclical and spiral structure made of stages of planning, action, evaluation and reflection, to a new action that became gradually more informed. This methodology allowed to reach very positive results and important changes in the interventional context. Specifically, in an initial phase, the group presented low social, relational, behavioral and academics performances. Together with these problematic issues, all the pupils presented a low autonomy, low self-esteem and low motivation for the teach-learning process. In addition to these factors there was the heterogeneity of the group (a group of pupils 5, 9, 11, 12 and 13 considered with special needs), and the teaching process was based on a traditional model centered in the teacher and the performances of the average pupil, revealing a low efficiency of results. The heterogeneity of the group was faced as an obstacle to the learning process. The developed intervention allowed an inclusive educational model in the group based in the inclusive pedagogical differentiation, reached through the cooperative learning, peer tutoring and a cohesive structure of pedagogical partnership between the titular teacher of the group and the researcher. Beyond these aspects, the research allowed positive results in the class, mainly a significant improvement in the cognitive, socio-emotional and behavioral performances of the pupils.

Inclusão no Jardim de Infância : porta para o sucesso da inclusão no 1º ciclo

Este trabalho desenvolve-se no âmbito do mestrado em educação especial, domí-nio cognitivo e motor. Trata-se de um projeto de intervenção emergente do trabalho diário como educadora de infância, num agrupamento vertical de escolas que segue um modelo inclusivo. O projeto centrou-se numa aluna do pré-escolar em vias de ingressar no 1º ciclo e nas estratégias e atividades envolvidas na preparação e sucesso desse ingresso. Nesse sentido tornou-se necessário pesquisar sobre a problemática específica da aluna, sobre práticas inclusivas e sobre métodos e metodologias de intervenção. Isto é, investigou-se sobre paralisia cerebral, escola inclusiva, no modo como se podem articular estas duas questões, sobre pedagogia diferenciada e diferenciação pedagógica e ainda sobre as linhas de orientação para o pré-escolar e sobre as metas a atingir no fim desse ciclo. Desenvolveu-se um processo em que se utilizaram os procedimentos da investiga-ção/ação através de vários instrumentos (pesquisa documental, entrevista, testes sociomé-tricos e observação naturalista) a partir dos quais se elaborou um projeto que foi posto em prática ao longo do ano letivo de 2010/2011. Pode constatar-se no fim da intervenção que os resultados foram positivos, pois permitiram à aluna alcançar os objetivos inicialmente previstos, atingindo as metas da edu-cação pré-escolar e ingressar no 1º ciclo. Foram surgindo novas questões, entre elas a necessidade de promover de forma mais intensa a participação da família e a continuidade do trabalho desenvolvido após uma mudança de ciclo, e portanto, do grupo e dos professores.

Construindo pontes para a inclusão: um projeto de ensino/aprendizagem cooperativa

O presente trabalho constitui um projecto de investigação acção realizado numa escola de primeiro ciclo do distrito de Lisboa, mais especificamente numa truma do 4º ano de escolaridade,desencadeado por dois alunos diagnosticados com dificuldades intelectuais e desenvolvimentais que integravam uma unidade de apoio e specializado a alunos com multideficiência e surdocegueira congénita . Paralelamente foram também mobilizados os docentes do núcleo de educação especial do agrupamento de escolas . A caraterização destes três contextos a turma, a unidade e o núcleo- realizou-se através da utilização dos seguintei instrumentos de recolha de dados: análise documental, observação naturalista, entrevista semi-estruturada e sociometria. A análise dos mesmos permitiu fazer as seguintes constatações : turma bastante heterogénea, diferentes níveis de aprendizagem, alunos de língua portuguesa não materna, de diferentes etnias, e nível socioeconómico, problemas de relacionamento entre eles e alguma resistência em aceitar os colegas considerados com dificuldades intelectuais e desenvolvimentais; passividade e pouca responsabilidade no ato de aprender; dificuldades no cumprimento de regras; participação escassa das famílias no processo de ensino/aprendizagem; um tipo de ensino preferencialmente expositivo ; trabalho essencialmente individualizado , por parte dos alunos; dificuldade em incluir aqueles cujas diferenças individuais são mais significativas - diferenciação pedagógica descontextualizada . Na unidade de apoio especializado verificou –se a necessidade de um trabalho mais cooperado e convergente entre todos os intervenientes . No grupo de docentes de educação especial, constatou-se que as práticas de apoio aos sessenta alunos considerados com necessidades educativas especiais de caráter permanente eram essencialmente centradas no apoio direto ao aluno, fora da sala de aula .Tendo como quadro concetual de referência o paradigma da diversidade,a inclusão, a escola e educação inclusivas, a diferenciação pedagógica inclusiva, a aprendizagem cooperativa, e , tal como já se referiu, uma abordagem assente nas permissas da investigação ação como um processo cíclico de refletir para agir e refletir sobre a acção , desenvolveram –se ações nos referidos contextos da intervenção. Turma–diferenciação pedagógica inclusiva, utilização de metodologias de ensino/aprendizagem cooperativa na área da língua portuguesa Na unidade de apoio especializado –intervenção individualizada com os alunos “caso” para O desenvolvimento das competências estipuladas nos seus currículos específicos individuais, tendo por base um trabalho coordenado e cooperativo entre professores, famílias, assistentes operacionais e técnica de terapia da fala. No núcleo de educação especial – ação de sensibilização sobre a importância do papel de parceria pedagógica com os docentes do ensino regular , para implementação de uma pedagogia diferenciada inclusiva e da aprendizagem cooperativa como estratégias de inclusão . Considerando a complexidade dos contextos de intervenção e a competência profissional tão necessária ao sucesso de todos os alunos e à melhoria da escola , com a realização deste projeto de investigação acção pelo enriquecimento profissional que proporcionou, pôde constatar-se que este tipo de abordagem (o professor como investigador crítico e reflexivo), se apresenta de facto, como uma via importantíssimade formação contínua. Neste caso, o desenvolvimento deste projeto, permitiu encontrar algumas respostas que contribuíram para a melhoria profissional dos implicados e dos contextos em questão, atenuando os problemas identificados e perspetivar outras respostas . No entanto, esta abordagem não foi um processo fácil, pois esta capacidade de fazer juízos críticos sobre o próprio trabalho requer tempo de aprendizagem e principalmente a vontade de querer fazer, sempre, mais e melhor.

Aprender a ler, aprender a conviver: aprendizagem da leitura como veículo para a socialização

O trabalho apresentado é decorrente do Projeto de Intervenção realizado no âmbito do Curso de 2º Ciclo em Educação Especial – domínio cognitivo e motor, da Universidade Lusófona de Humanidades e Tecnologias. Resumo A referida intervenção contempla a minimização das dificuldades apresentadas por uma menina a nível da leitura e escrita e da sua socialização, numa perspetiva inclusiva. M. é o nome fictício da aluna alvo da intervenção. Atualmente, frequenta o 3º ano de escolaridade numa escola pública, em Lisboa área da sua residência. A revisão da literatura vai sustentar e facilitar a compreensão clara e concisa da intervenção realizada e das posições defendidas sobre esta matéria. Deste modo, são tratados temas no âmbito da exclusão social e escolar, da escola Inclusiva e dos obstáculos que ainda encontramos nas escolas, dos preconceitos, dos alunos com necessidades educativas especiais, das adaptações curriculares, da aprendizagem cooperativa e diferenciação pedagógica, referimo-nos ainda às dificuldades de aprendizagem e, por último, à comunicação e à linguagem oral e escrita. Para obter informações sobre a M. e sobre o contexto da intervenção, bem como sobre todo o seu processo de inclusão escolar, utilizamos como suporte metodológico, a pesquisa documental, as entrevistas semi-diretivas à professora titular de turma e à professora de ensino especial, a observação naturalista, a sociometria e as notas de campo para se poder complementar as informações. A planificação global da intervenção foi elaborada a partir do relacionamento/ cruzamento dos dados que resultaram da análise da informação recolhida. Para uma intervenção fundamentada caracterizamos inicialmente o seu contexto escolar e familiar e posteriormente a M. Os princípios orientadores da intervenção realizada, assentam numa perspetiva de investigação para a ação, e tiveram presentes os objetivos definidos para a M. As atividades foram realizadas, numa perspetiva de aprendizagem muito estruturada, muito refletida e avaliada durante todo o processo, implicando todos os intervenientes. Esta intervenção, levou-nos a estimular práticas educativas, diferenciadas e inclusivas na turma, com a professora titular dessa turma e com a professora do ensino especial com os colegas da M.

Ao encontro da inclusão: Uma tentativa de promover a autonomia e o sucesso de uma aluna com autismo, na disciplina de Matemática, através de estratégias de aprendizagem cooperativa

A Escola Inclusiva é a conquista recente de uma sociedade culta e democrática que vê na educação um campo de luta pelo cumprimento dos direitos à igualdade de todos os cidadãos independentemente das suas características individuais, exigindo uma escola que não discrimine e aceite a diferença. O trabalho apresentado é decorrente do Projeto de Intervenção, fundamentado na investigação-ação, realizado no âmbito do Curso de 2º ciclo em Educação Especial. Com este projeto quisemos minimizar dificuldades apresentadas por uma aluna com características do espectro do autismo, na área curricular disciplinar de Matemática e da socialização, numa perspectiva inclusiva. O enquadramento teórico abordou a Educação Inclusiva, a Escola Inclusiva, a Aprendizagem Cooperativa e as Perturbações do Espectro do Autismo. Como instrumentos, utilizámos a pesquisa documental, a entrevista semi-directiva à professora de Educação Espacial, a observação naturalista e a sociometria. A planificação global da intervenção, equacionada numa perspectiva de escola inclusiva, foi elaborada a partir do relacionamento/ cruzamento dos dados que resultaram da análise da informação recolhida, avaliados ao longo de todo o processo. A intervenção permitiu-nos constatar que a aluna fez aprendizagens significativas na área académica e social. Assim, nesta intervenção, confrontámo-nos com o desafio de práticas educativas, diferenciadas e inclusivas. Estas práticas, por sua vez, contribuíram para que os colegas e pais a olhassem de forma mais optimista e com um maior respeito face à sua problemática.

Museu inspirador: exercício de aplicação da ferramenta de auto-avaliação - Inspiring learning for all em quatro serviços educativos de museus portugueses

Esta dissertação tem como objectivo principal procurar contribuir para a discussão em torno das valências das ferramentas da Qualidade aplicadas ao campo museal. O seu enfoque particular desenvolve-se ao nível dos serviços educativos, procurando avaliar os seus processos e resultados. Partindo da premissa de que os museus que aplicam os princípios da Qualidade nas suas práticas museais estão mais aptos a inspirarem e apoiarem as necessidades de aprendizagem dos seus utilizadores, esta dissertação defenderá as instituições museológicas enquanto organizações de conhecimento, sendo a aprendizagem o âmago da sua acção. A sua questão orientadora centra-se em torno da pertinência da aplicação da ferramenta de auto-avaliação Inspiring Learning for All em museus portugueses.