Techniques for batch reinforcement learning in robotics

This thesis addresses the Batch Reinforcement Learning methods in Robotics. This sub-class of Reinforcement Learning has shown promising results and has been the focus of recent research. Three contributions are proposed that aim to extend the state-of-art methods allowing for a faster and more stable learning process, such as required for learning in Robotics. The Q-learning update-rule is widely applied, since it allows to learn without the presence of a model of the environment. However, this update-rule is transition-based and does not take advantage of the underlying episodic structure of collected batch of interactions. The Q-Batch update-rule is proposed in this thesis, to process experiencies along the trajectories collected in the interaction phase. This allows a faster propagation of obtained rewards and penalties, resulting in faster and more robust learning. Non-parametric function approximations are explored, such as Gaussian Processes. This type of approximators allows to encode prior knowledge about the latent function, in the form of kernels, providing a higher level of exibility and accuracy. The application of Gaussian Processes in Batch Reinforcement Learning presented a higher performance in learning tasks than other function approximations used in the literature. Lastly, in order to extract more information from the experiences collected by the agent, model-learning techniques are incorporated to learn the system dynamics. In this way, it is possible to augment the set of collected experiences with experiences generated through planning using the learned models. Experiments were carried out mainly in simulation, with some tests carried out in a physical robotic platform. The obtained results show that the proposed approaches are able to outperform the classical Fitted Q Iteration.

Ensino da física em cursos de engenharia: percursos colaborativos no ensino superior

A presente investigação insere-se no domínio científico da Didáctica, em particular no da Didáctica da Física no Ensino Superior. Pretende-se, com este trabalho, contribuir para o desenvolvimento do conhecimento Didáctico, nomeadamente sobre o ensino e a aprendizagem da Física no Ensino Superior e, ainda, sobre o trabalho colaborativo entre investigadores em Didáctica e professores da área das Ciências e Engenharias do Ensino Superior. O estudo empírico desenvolvido neste trabalho é constituído por duas partes, designadas por estudo A e estudo B. No estudo A analisa-se o impacto da implementação, em sala de aula, de estratégias de aprendizagem activa num contexto colaborativo entre investigadora e professora. Fá-lo através de um percurso metodológico de investigação-acção, na qual a investigadora actua como consultora. Utilizaram-se diferentes fontes e instrumentos na recolha de informação, nomeadamente notas de campo da investigadora, questionários e entrevistas a estudantes e entrevista à professora colaboradora. Foram implementadas estratégias identificadas na literatura como promotoras de aprendizagem activa dos estudantes, nomeadamente perguntas conceptuais; folhas de dúvidas; feedback; trabalho de grupo com e sem rotação de tarefas; trabalhos para casa e apresentação oral. Os resultados obtidos evidenciam que os estudantes sentiram interesse pela unidade curricular, pois compreenderam a sua utilidade no âmbito do curso que frequentavam, apreciaram positivamente as estratégias implementadas e, segundo a opinião deles, estas contribuíram para a sua aprendizagem. No estudo B procurou-se compreender a colaboração entre investigadores em Didáctica e professores do Ensino Superior, no contexto da Universidade de Aveiro. Este estudo evidenciou que é possível implementar estratégias inovadoras de ensino através de processos de colaboração entre investigadores em Didáctica e professores. Este estudo, de carácter exploratório, foi realizado através de entrevistas aos investigadores e aos professores que com eles colaboraram, procurando melhorar a qualidade das suas práticas de ensino. Através deste estudo chegou-se à conceptualização de uma proposta de Colaboração Disciplinar, uma colaboração entre investigadores em Didáctica e professores do Ensino Superior, em que os investigadores têm formação base nas unidades curriculares onde irão intervir. Esta proposta procura potenciar uma forma de trabalhar problemas complexos, como por exemplo o processo de ensino e aprendizagem, o desenvolvimento profissional dos professores, a articulação entre a investigação em Didáctica e a prática. As principais vantagens identificadas na Colaboração Disciplinar são: a proximidade disciplinar entre o investigador e o professor; a eficácia nas sugestões proporcionadas; o aumento da segurança do professor na implementação das sugestões; o desenvolvimento profissional contextualizado; a aproximação da investigação à prática. Os contributos deste estudo colocam-se a três níveis: ao nível pessoal e profissional da investigadora e da professora colaboradora; ao nível do desenvolvimento de conhecimento na referida área (no caso do primeiro estudo empírico desenvolvido), na medida em que apesar da especificidade do contexto onde o estudo ocorreu – na unidade curricular Elementos de Física do primeiro ano, primeiro semestre de diferentes cursos de Engenharia da Universidade de Aveiro, nos anos lectivos de 2007/08 e 2008/09 – considera-se que este trouxe ensinamentos que, adaptados a outros contextos, podem influenciar outros estudos e práticas; e ao nível do desenvolvimento de conhecimento sobre como dinamizar e potenciar colaborações entre investigadores da área da Didáctica e professores do Ensino Superior.

Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Comunidades de prática online e a construção de competências para o ensino ativo

O presente estudo foi realizado no âmbito da formação continuada de professores através das interações numa Comunidade de Prática online (CoP online). Nas CoPs ocorrem a partiha de dúvidas e problemas comuns ao trabalho dos docentes. Quando as interações são mediadas por computadores, sejam estas síncronas ou assíncronas, ultrapassam as barreiras de espaço e tempo, se adequando ao cotidiano dos professores, invariavelmente tomado por múltiplas atividades. Nesta investigação delineamos os seguintes objetivos: i) Construir uma CoP online ancorada no software social Facebook, como espaço virtual de interação entre os participantes; ii) Comprender as interações através duma CoP online como etapa na construção de competências; iii) Criar e desenvolver um programa de formações presenciais e online com vistas à desenvover as competências de Questionamento e Argumentação; e, iv) Avaliar os impactos da formação através da CoP online no desenvolvimento das competências do Questionamento e da Argumentação enquanto estratégia de promoção do ensino ativo. Como estratégia, optamos em promover as interações através do Facebook por não ocasionar custos aos participantes e por atender ao modelo de presença virtual já existente. Participaram das interações professores em exercício da Autarquia do Ensino Superior de Garanhuns (AESGA), situada no interior de Pernambuco, Brasil. As interações decorreram no período de Abril de 2012 até Março de 2013, numa comunidade fechada, de livre adesão através de convite. Para solidificar a aprendizagem através da CoP online promovemos dois ciclos de formação, um presencial e um online. Em ambas as intervenções visamos o desenvolvimento das competências do Questionamento e da Argumentação por entendermos que estas são competências instrumentais para o desenvolvimento do Pensamento Crítico e da reflexão essenciais ao docente na revisão constante de suas práticas. Nas sessões online, realizadas com o apoio do Skype e concretizadas no software ArguQuest para dinamizar atividades práticas no desenvolvimento das competências do Questionamento e da Argumentação do professor, oportunizando a este a construção coletiva de estratégias alternativas de ensino e de aprendizagem, fundamentadas no ensino ativo. O estudo foi realizado através dum estudo de caso único, alicerçado no paradigma naturalista e de abordagem qualitativa. Os dados de cariz numérico fundamentaram as análises qualitativas, promovendo também a triangulação dos dados. As interações entre os professores foram analisadas através do modelo IAM (Interaction Analysis Model) proposto por Gunawardena, Lowe e Anderson (1997), que tem como objetivo determinar se o conhecimento foi cosntruído através das interações e qual o grau de mudança do entendimento decorrente das interações. Para verificar esta construção do conhecimento analisamos os excertos de episódios interativos com apoio do software de análise qualitativa WebQDA (Neri de Souza, Costa & Neri de Souza, 2012). A análise das situações de aprendizagem planejadas e desenvolvidas demonstraram que as TIC, nomeadamente os softwares sociais, podem ser aplicados com eficiência no desenvolvimento de competências dos professores em exercício, apresentando-se como alternativa para a promoção da formação continuada de docentes. Em relação ao desenvolvimento das competências do Questionamento e da Argumentação, percebemos que os docentes foram sensibilizados para trabalhar com uma metodologia interativa, promovendo um ambiente favorável à aprendizagem ativa. Através da aplicação adaptada do modelo de construção de conhecimento preconizado no ArguQuest, foi possível acompanhar a prática do docente junto aos seus alunos, ampliando o seu repertório didático, e, sobretudo, implantando uma forma de aprender fundamentada na construção compartilhada de Questionamentos e Argumentos.