Estratégias baseadas em aprendizado para coordenação de uma frota de robôs em tarefas cooperativas

In multi-robot systems, both control architecture and work strategy represent a challenge for researchers. It is important to have a robust architecture that can be easily adapted to requirement changes. It is also important that work strategy allows robots to complete tasks efficiently, considering that robots interact directly in environments with humans. In this context, this work explores two approaches for robot soccer team coordination for cooperative tasks development. Both approaches are based on a combination of imitation learning and reinforcement learning. Thus, in the first approach was developed a control architecture, a fuzzy inference engine for recognizing situations in robot soccer games, a software for narration of robot soccer games based on the inference engine and the implementation of learning by imitation from observation and analysis of others robotic teams. Moreover, state abstraction was efficiently implemented in reinforcement learning applied to the robot soccer standard problem. Finally, reinforcement learning was implemented in a form where actions are explored only in some states (for example, states where an specialist robot system used them) differently to the traditional form, where actions have to be tested in all states. In the second approach reinforcement learning was implemented with function approximation, for which an algorithm called RBF-Sarsa($lambda$) was created. In both approaches batch reinforcement learning algorithms were implemented and imitation learning was used as a seed for reinforcement learning. Moreover, learning from robotic teams controlled by humans was explored. The proposal in this work had revealed efficient in the robot soccer standard problem and, when implemented in other robotics systems, they will allow that these robotics systems can efficiently and effectively develop assigned tasks. These approaches will give high adaptation capabilities to requirements and environment changes.

Conselho Nacional de Desenvolvimento Científico e Tecnológico

Em sistemas multi-robôs a arquitetura de controle e a estratégia de trabalho representam um desafio para os pesquisadores. É importante que a arquitetura de controle seja robusta, de forma que se adapte naturalmente às mudanças nas características do problema e também que a estratégia de trabalho permita aos robôs desenvolver as tarefas atribuídas eficaz e eficientemente, levando em consideração a restrição de que os robôs vão interagir diretamente em ambientes povoados de seres humanos. Neste contexto, este trabalho explora duas abordagens para a coordenação de uma frota de robôs desenvolvendo tarefas cooperativas. Ambas as abordagens são baseadas em uma mistura de aprendizado por imitação e por experiência. Assim, na primeira abordagem desenvolveu-se uma arquitetura de controle, uma máquina de inferência difusa para reconhecimento de fatos em jogos de futebol, um software narrador de jogos baseado na máquina de inferência difusa, e a implementação de aprendizado por imitação a partir de observação e análise de outros times robóticos. Além disso, aplicou-se eficientemente abstração de estados em aprendizado por reforço no problema padrão de futebol de robôs. Finalmente, o aprendizado por reforço foi implementado de forma que as ações somente são executadas em certos estados (por exemplo os estados onde algum sistema robótico especialista já as utilizou) diferentemente da forma tradicional onde as ações no banco de conhecimento têm que ser testadas em todos os estados. No caso da segunda abordagem, implementou-se aprendizado por reforço com aproximação de funções, para o que foi criado um algoritmo chamado RBF-Sarsa($lambda$). Em ambas as abordagens implementou-se o aprendizado por reforço em lotes e o aprendizado por imitação como semente para aprendizado por reforço. Além disso, explorou-se o aprendizado com times de robôs controlados por seres humanos. As propostas deste trabalho mostraram-se eficientes no problema padrão de futebol de robôs, e ao serem implementadas em outros sistemas robóticos permitirão que os mesmos sejam eficazes e eficientes no desenvolvimento das tarefas atribuídas com um alto grau de adaptação às mudanças dos requerimentos e do ambiente.