Techniques for batch reinforcement learning in robotics

This thesis addresses the Batch Reinforcement Learning methods in Robotics. This sub-class of Reinforcement Learning has shown promising results and has been the focus of recent research. Three contributions are proposed that aim to extend the state-of-art methods allowing for a faster and more stable learning process, such as required for learning in Robotics. The Q-learning update-rule is widely applied, since it allows to learn without the presence of a model of the environment. However, this update-rule is transition-based and does not take advantage of the underlying episodic structure of collected batch of interactions. The Q-Batch update-rule is proposed in this thesis, to process experiencies along the trajectories collected in the interaction phase. This allows a faster propagation of obtained rewards and penalties, resulting in faster and more robust learning. Non-parametric function approximations are explored, such as Gaussian Processes. This type of approximators allows to encode prior knowledge about the latent function, in the form of kernels, providing a higher level of exibility and accuracy. The application of Gaussian Processes in Batch Reinforcement Learning presented a higher performance in learning tasks than other function approximations used in the literature. Lastly, in order to extract more information from the experiences collected by the agent, model-learning techniques are incorporated to learn the system dynamics. In this way, it is possible to augment the set of collected experiences with experiences generated through planning using the learned models. Experiments were carried out mainly in simulation, with some tests carried out in a physical robotic platform. The obtained results show that the proposed approaches are able to outperform the classical Fitted Q Iteration.

Artefatos educacionais com memória cinética Topobo: uma abordagem para o currículo dos anos iniciais

Este artigo apresenta o lúdico como uma forma de trabalhar conteúdos na escola, mostrando de forma introdutória a importância desta atividade. Após é apresentado o kit Topobo, uma ferramenta de uso pedagógico desenvolvido no laboratório de mídias do MIT (Massachusetts Institute of Technology) o qual é comercializado em caixas com diferentes quantidades de peças, onde o professor pode explorar conteúdos de forma lúdica. A partir disto, é mostrada uma metodologia para auxiliar o professor a trabalhar com robótica educacional em sala de aula, e por fim conclui com algumas percepções do uso de um kit Topobo comercial de 100 peças.

Uma proposta de slam com determinação de informações geométricas do ambiente

PEDROSA, Diogo P. F. ; MEDEIROS, Adelardo A. D. ; ALSINA, Pablo J. . Uma Proposta de SLAM com Determinação de Informações Geométricas do Ambiente. In: CONGRESSO BRASILEIRO DE AUTOMÁTICA, 16, Salvador, BA, 2006. Anais... Salvador: CBA, 2006. v. 1. p. 1704-1709

A Versao 2006 da Equipe POTI de Futebol de Robos o

Auciomar C. T. Cerqueira;Filipe C. A. Lins ; Adelardo A. D. Medeiros ; Pablo J. Alsina1. A versao 2006 da Equipe POTI de futebol de robos. In: CONGRESSO BRASILEIRO DE AUTOMÁTICA,2. Campo Grande, RS, 2006. Anais... Campo Grande: JRI, 2006.

Integración de un robot Mitsubishi Melfa RV-M1 para un FMS

Tesis (Ingeniero(a) en Automatización).--Universidad de La Salle. Facultad de Ingeniería. Programa de Ingeniería en Automatización, 2015

Interfaz natural para la programación de un robot manipulador a través de un Kinect

Tesis (Ingeniero(a) en Automaziación).--Universidad de La Salle. Facultad de Ingeniería. Programa de Ingeniería en Automatización, 2014

Plane Detection Using Affine Homography

AIRES, Kelson R. T.; ARAÚJO, Hélder J.; MEDEIROS, Adelardo A. D. Plane Detection Using Affine Homography. In: CONGRESSO BRASILEIRO DE AUTOMÁTICA, 2008, Juiz de Fora, MG: Anais... do CBA 2008.

Algorítmo de mapeamento usando modelagem probabilística

SOUZA, Anderson A.S. ; MEDEIROS, Adelardo A. D. ; GONÇALVES, Luiz Marcos G. . Algorítmo de mapeamento usando modelagem probabilística. In: SIMPOSIO BRASILEIRO DE AUTOMAÇÃO INTELIGENTE, 2007, Natal. Anais... Natal, 2007.

Dynamic set pieces for CAMBADA team

Robotics is an emergent branch of engineering that involves the conception, manufacture, and control of robots. It is a multidisciplinary field that combines electronics, design, computer science, artificial intelligence, mechanics and nanotechnology. Its evolution results in machines that are able to perform tasks with some level of complexity. Multi-agent systems is a researching topic within robotics, thus they allow the solving of higher complexity problems, through the execution of simple routines. Robotic soccer allows the study and development of robotics and multiagent systems, as the agents have to work together as a team, having in consideration most problems found in our quotidian, as for example adaptation to a highly dynamic environment as it is the one of a soccer game. CAMBADA is the robotic soccer team belonging to the group of research IRIS from IEETA, composed by teachers, researchers and students of the University of Aveiro, which annually has as main objective the participation in the RoboCup, in the Middle Size League. The purpose of this work is to improve the coordination in set pieces situations. This thesis introduces a new behavior and the adaptation of the already existing ones in the offensive situation, as well as the proposal of a new positioning method in defensive situations. The developed work was incorporated within the competition software of the robots. Which allows the presentation, in this dissertation, of the experimental results obtained, through simulation software as well as through the physical robots on the laboratory.

Goal detection using laser range finder for goalkeeper and striker from CAMBADA team

For a robot be autonomous and mobile, it requires being attached with a set of sensors that helps it to have a better perception of the surrounding world, to manage to localize itself and the surrounding objects. CAMBADA is the robotic soccer team of the IRIS research group, from IEETA, University of Aveiro, that competes in the Middle-Size League of RoboCup. In competition, in order to win, the main objective of the game it's to score more goals than the conceded, so not conceding goals, and score as much as possible it's desirable, thus, this thesis focus on adapt an agent with a better localization capacity in defensive and offensive moments. It was introduced a laser range finder to the CAMBADA robots, making them capable of detecting their own and the opponent goal, and to detect the opponents in specific game situations. With the new information and adapting the Goalie and Penalty behaviors, the CAMBADA goalkeeper is now able to detect and track its own goal and the CAMBADA striker has a better performance in a penalty situation. The developed work was incorporated within the competition software of the robots, which allows the presentation, in this thesis, of the experimental results obtained with physical robots on the laboratory field.

Demonstrador para rede tempo-real HaRTES

A utilização de sistemas embutidos distribuídos em diversas áreas como a robótica, automação industrial e aviónica tem vindo a generalizar-se no decorrer dos últimos anos. Este tipo de sistemas são compostos por vários nós, geralmente designados por sistemas embutidos. Estes nós encontram-se interligados através de uma infra-estrutura de comunicação de forma a possibilitar a troca de informação entre eles de maneira a concretizar um objetivo comum. Por norma os sistemas embutidos distribuídos apresentam requisitos temporais bastante exigentes. A tecnologia Ethernet e os protocolos de comunicação, com propriedades de tempo real, desenvolvidos para esta não conseguem associar de uma forma eficaz os requisitos temporais das aplicações de tempo real aos requisitos Quality of Service (QoS) dos diferentes tipos de tráfego. O switch Hard Real-Time Ethernet Switching (HaRTES) foi desenvolvido e implementado com o objetivo de solucionar estes problemas devido às suas capacidades como a sincronização de fluxos diferentes e gestão de diferentes tipos de tráfego. Esta dissertação apresenta a adaptação de um sistemas físico de modo a possibilitar a demonstração do correto funcionamento do sistema de comunicação, que será desenvolvido e implementado, utilizando um switch HaRTES como o elemento responsável pela troca de informação na rede entre os nós. O desempenho da arquitetura de rede desenvolvida será também testada e avaliada.

Scaffolds porosos à base de fosfatos de cálcio para regeneração óssea

Graças ao aumento da esperança média de vida do ser humano, a engenharia de tecidos tem sido uma área alvo de enorme investigação. A utilização de estruturas tridimensionais porosas e biodegradáveis, denominadas de scaffolds, como matriz para a adesão e proliferação celular tem sido amplamente investigada. Existem atualmente diversas técnicas para a produção destas estruturas mas o grau de exigência tem vindo a aumentar, existindo ainda lacunas que necessitam ser preenchidas. A técnica de robocasting consiste numa deposição camada a camada de uma pasta coloidal, seguindo um modelo computorizado (CAD) e permite a produção de scaffolds com porosidade tamanho de poro e fração de porosidade controlados, boa reprodutibilidade, e com formas variadas, as quais podem ser idênticas às dos defeitos ósseos a preencher. O presente estudo teve como objetivo produzir scaffolds porosos à base de fosfatos de cálcio através de robocasting. Para tal, foram estudadas duas composições de pós à base de β-TCP, uma pura e outra co-dopada com estrôncio, zinco e manganês. Inicialmente os pós foram sintetizados pelo método de precipitação química por via húmida. Após a síntese, estes foram filtrados, secos, calcinados a 1000ºC e posteriormente moídos até possuírem um tamanho médio de partícula de cerca de 1,5 μm. Os pós foram depois peneirados com uma malha de 40μm e caracterizados. Posteriormente foram preparadas várias suspensões e avaliado o seu comportamento reológico, utilizando Targon 1128 como dispersante, Hidroxipropilmetilcelulose (HPMC) como ligante e polietilenimina (PEI) como agente floculante. Por fim, e escolhida a melhor composição para a formação da pasta, foram produzidos scaffolds com diferentes porosidades, num equipamento de deposição robótica (3D Inks, LLC). Os scaffolds obtidos foram secos à temperatura ambiente durante 48 horas, sinterizados a 1100ºC e posteriormente caracterizados por microscopia eletrónica de varrimento (SEM), avaliação dos tamanhos de poro, porosidade total e testes mecânicos. Ambas as composições estudadas puderam ser transformadas em pastas extrudíveis, mas a pasta da composição pura apresentou uma consistência mais próxima do ideal, tendo originado scaffolds de melhor qualidade em termos de microestrutura e de propriedades mecânicas.

Osteointegração nos amputados: um passo em frente!

ntrodução: Em Portugal, até agora, as próteses de reabilitação usadas para doentes amputados a nível transfemoral e transtibial condicionam trocas frequentes por motivos de alargamento, instabilidade, desconforto, problemas de pele e dor no coto que originam limitação funcional e perda de qualidade de vida. Em 1990, na Suécia, adoptou-se a técnica de osteointegração no membro inferior e superior com o desenvolvimento inovador da fixação óssea da prótese, eliminando o contacto com a pele e permitindo ganhar função e independência destes doentes. O desenvolvimento do protocolo OPRA permitiu definir critérios de indicação e seleção dos doentes e programar um processo de reabilitação individualizado. A técnica engloba 2 tempos cirúrgicos nos ossos longos. Os autores reportam o primeiro caso clínico de osteointegração realizado em Portugal. Caso Clínico: Um amputado transtibial com necessidade de trocas frequentes da prótese de reabilitação tipo socket, foi selecionado para osteointegração. Na fase S1 foi introduzido o implante intramedular. Após 6 meses, na fase S2 foi colocada a conexão de titânio por protusão à pele, e estabilização dos tecidos moles. O programa de reabilitação foi gradual e individualizado. Recorreu-se à escala visual analógica da dor para progressão da recuperação funcional. O doente está satisfeito e com capacidade de realizar eficazmente atividades até aqui inatingíveis. Discussão: A osteointegração implica uma equipa multidisciplinar e visa promover qualidade de vida e recuperar eficazmente doentes amputados para a sociedade ativa. Neste primeiro doente verificou-se ganho de função e independência com claro impacto psicosocioeconómico. Factores como a estrutura, dinâmica e bioquímica do tecido ósseo assim como a estabilização dos tecidos moles são fundamentais. As complicações possíveis incluem infeção, necrose cutânea, descelagem e fractura. As vantagens biomecânicas são maior segurança, suporte dos tecidos moles, estabilidade protésica e, no caso das amputações transfemorais, maior flexão do joelho. Conclusão: A osteointegração representa um passo em frente na reabilitação dos amputados e os autores acreditam que contribuirá no futuro para dotar as próteses de função sensitivomotora artificial, com o desenvolvimento das neurociências, robótica e engenharias electrotécnica e biomédica. A osteointegração permitiu projetar uma vida diferente e mais ativa para este doente, conjugando os impactos biomecânico, fisiológico, psicológico, social e económico.

Análisis y evaluación del control del actuador de un robot

Un robot es hoy día un elemento importante de la producción que se caracteriza principalmente por su flexibilidad. Esta flexibilidad lo convierte en una herramienta de propósito general, que puede adaptarse a aquello que debe producirse en cualquier momento simplemente mediante un cambio de programa. Esta característica los hace novedosos con respecto a las máquinas automáticas. En la Universidad del Valle, Departamento de Electricidad, se está realizando un proyecto en robótica industrial que tiene como fin construir un prototipo de un robot de soldadura, basados en el robot Miller MR-5 evaluado en Univalle y utilizado actualmente en la empresa Codinter Uda.

Teleoperación de un robot móvil mediante dispositivos Android

Resumen: En el siguiente trabajo se aborda un problema para solventar la comunicación con los robots del departamento MAPIR de la Universidad de Málaga, anteriormente sólo podían ser teleoperados mediante comandos escritos en Skype, así que se procede a diseñar un cliente móvil para Android que nos permite conectarse en tiempo real a un robot, obtener la imagen de lo que su cámara capta y además permitir su teleoperación. Por su parte, el robot corre un servidor que administra esos datos al cliente para trabajar conjuntamente. Dicho trabajo se desarrolla haciendo uso de nuevas tecnologias y protocolos como es WebRTC (de Google) para el intercambio de imágenes y del lado del servidor, se ha usado NodeJS.