Architecture for real-time coordination of multiple autonomous mobile units

Interest on using teams of mobile robots has been growing, due to their potential to cooperate for diverse purposes, such as rescue, de-mining, surveillance or even games such as robotic soccer. These applications require a real-time middleware and wireless communication protocol that can support an efficient and timely fusion of the perception data from different robots as well as the development of coordinated behaviours. Coordinating several autonomous robots towards achieving a common goal is currently a topic of high interest, which can be found in many application domains. Despite these different application domains, the technical problem of building an infrastructure to support the integration of the distributed perception and subsequent coordinated action is similar. This problem becomes tougher with stronger system dynamics, e.g., when the robots move faster or interact with fast objects, leading to tighter real-time constraints. This thesis work addressed computing architectures and wireless communication protocols to support efficient information sharing and coordination strategies taking into account the real-time nature of robot activities. The thesis makes two main claims. Firstly, we claim that despite the use of a wireless communication protocol that includes arbitration mechanisms, the self-organization of the team communications in a dynamic round that also accounts for variable team membership, effectively reduces collisions within the team, independently of its current composition, significantly improving the quality of the communications. We will validate this claim in terms of packet losses and communication latency. We show how such self-organization of the communications can be achieved in an efficient way with the Reconfigurable and Adaptive TDMA protocol. Secondly, we claim that the development of distributed perception, cooperation and coordinated action for teams of mobile robots can be simplified by using a shared memory middleware that replicates in each cooperating robot all necessary remote data, the Real-Time Database (RTDB) middleware. These remote data copies, which are updated in the background by the selforganizing communications protocol, are extended with age information automatically computed by the middleware and are locally accessible through fast primitives. We validate our claim showing a parsimonious use of the communication medium, improved timing information with respect to the shared data and the simplicity of use and effectiveness of the proposed middleware shown in several use cases, reinforced with a reasonable impact in the Middle Size League of RoboCup.

Techniques for batch reinforcement learning in robotics

This thesis addresses the Batch Reinforcement Learning methods in Robotics. This sub-class of Reinforcement Learning has shown promising results and has been the focus of recent research. Three contributions are proposed that aim to extend the state-of-art methods allowing for a faster and more stable learning process, such as required for learning in Robotics. The Q-learning update-rule is widely applied, since it allows to learn without the presence of a model of the environment. However, this update-rule is transition-based and does not take advantage of the underlying episodic structure of collected batch of interactions. The Q-Batch update-rule is proposed in this thesis, to process experiencies along the trajectories collected in the interaction phase. This allows a faster propagation of obtained rewards and penalties, resulting in faster and more robust learning. Non-parametric function approximations are explored, such as Gaussian Processes. This type of approximators allows to encode prior knowledge about the latent function, in the form of kernels, providing a higher level of exibility and accuracy. The application of Gaussian Processes in Batch Reinforcement Learning presented a higher performance in learning tasks than other function approximations used in the literature. Lastly, in order to extract more information from the experiences collected by the agent, model-learning techniques are incorporated to learn the system dynamics. In this way, it is possible to augment the set of collected experiences with experiences generated through planning using the learned models. Experiments were carried out mainly in simulation, with some tests carried out in a physical robotic platform. The obtained results show that the proposed approaches are able to outperform the classical Fitted Q Iteration.

Multi-scale dynamics on the Eastern Brazilian margin

Este trabalho combina esforços de simulação numérica e de análise de dados para investigar a dinâmica em diversos compartimentos (oceano aberto, plataforma continental e zona costeira-estuarina) e, em multiplas escalas, na Margem Continental Leste Brasileira (MCLB). A circulação de largo e mesoescala espacial e a propagação da maré barotrópica são investigadas através de uma configuração aninhada do modelo numérico ROMS. O estudo da dinâmica regional da Baía de Camamu (CMB) baseia-se na análise de dados locais. A MCLB, localizada a SW do Atlântico Sul entre 8±S e 20±S, possui plataforma estreita, batimetria complexa, e baixa produtividade primária. A sua dinâmica é influenciada pela divergência da Corrente Sul Equatorial (CSE). As simulações refletem as conexões sazonais e espaciais entre a Corrente do Brasil e a Contra Corrente Norte do Brasil , em conexão com a dinâmica da CSE. As simulações revelam atividades vorticais nas proximidades da costa e interações com a dinâmica costeira, cujos padrões são descritos. A validação do modelo em mesoescala é baseada em cálculos de energia cinética turbulenta e em dados históricos de transporte. A CMB, localizada a 13±400S, abriga uma comunidade piscatória tradicional e extenso de manguezal. Situa-se porém sobre uma bacia sedimentar com grande reservas de óleo e gás, estando em tensão permanente de impacto ambiental. Neste trabalho sumarizamos as condições físicas regionais e investigamos sua dinâmica interna, focando sua variabilidade em amostragens realizadas sob condições de seca (Setembro de 2004) e de chuva (Julho de 2005). Finalmente, o modelo numérico ROMS é forçado com o sinal de maré, empregando-se uma configuração simples (com coeficientes de atrito de fundo constantes e condições hidrográficas homogéneas), com o intuito de avaliar sua resposta e investigar a natureza da propagação da maré barotrópica na MCLB, convergindo na CMB. A análise da resposta do modelo à maré basea-se em séries históricas do nível do mar para a MCLB e dados recentes da CMB.

Hydrological and photochemical influence on dynamics of estuarine bacteria

Os estuários são ecossistemas complexos, onde os processos físicos, químicos e biológicos estão intimamente ligados. A dinâmica bacteriana num estuário reflete a interação e a elevada variação temporal e espacial desses processos. Este trabalho teve como objetivo elucidar as interações entre os processos físicos, fotoquímicos e microbiológicos no sistema estuarino da Ria de Aveiro (Portugal). Para tal, foi realizada uma abordagem inicial no campo, durante a qual as comunidades bacterianas na coluna de água foram caracterizadas em termos de abundância e atividade ao longo de 2 anos. O estudo foi realizado em dois locais distintos, escolhidos por tipificarem as características marinhas e salobras do estuário. Estes locais possuem diferentes hidrodinâmicas, influências fluviais e, quantidade e composição de matéria orgânica. Numa perspectiva mecanicista, foram realizadas simulações laboratoriais no sentido de elucidar a resposta das bactérias à matéria orgânica foto-transformada. As comunidades bacterianas no estuário adaptam-se a diferentes regimes de água doce, desenvolvendo padrões de abundância e atividade distintos nas zonas marinha e salobra. Os elevados caudais dos rios induzem estratificação vertical na zona marinha, promovendo o fluxo de fitoplâncton do mar para o estuário, do bacterioplâncton do estuário para o mar, e estimulam a importação de bactérias aderentes a partículas na zona salobra. O transporte advectivo e os processos de ressuspensão contribuem para aumentar 3 vezes o número de bactérias aderentes a partículas durante os períodos de intensas descargas fluviais. Adicionalmente, a atividade bacteriana no estuário é controlada pela concentração de azoto inerente à variações de água doce. O fornecimento de azoto em associação com a fonte dos substratos bacterianos induzem alterações significativas na produtividade. O padrão de variação vertical de comunidades bacterianas foi distinto nas duas zonas do estuário. Na zona marinha, as bactérias na microcamada superficial (SML) apresentaram taxas de hidrólise mais elevadas, mas menores taxas de incorporação de monómeros e produção de biomassa que na água subjacente (UW), enquanto na zona salobra, as taxas de hidrólise e incorporação foram similares nos dois compartimentos, mas a produtividade foi significativamente mais elevada na SML. Apesar da abundância bacteriana ter sido semelhante na SML e UW, a fração de células aderentes a partículas foi significativamente maior na SML (2-3 vezes), em ambas as zonas do estuário. A integração dos resultados microbiológicos com as variáveis ambientais e hidrológicos mostraram que fortes correntes na zona marinha promovem a mistura vertical, inibindo o estabelecimento de uma comunidade bacteriana na SML distinta da UW. Em contraste, na zona de água salobra, a menor velocidades das correntes fornece as condições adequadas ao aumento da atividade bacteriana na SML. Características específicas do local, tais como a hidrodinâmica e as fontes e composição da matéria orgânica, conduzem também a diferentes graus de enriquecimento superficial de matéria orgânica e inorgânica, influenciando a sua transformação. Em geral, o ambiente da SML estuarina favorece a hidrólise de polímeros, mas inibe a utilização de monómeros, comparativamente com água subjacente. No entanto, as diferenças entre as duas comunidades tendem a atenuar-se com o aumento da atividade heterotrófica na zona salobra. A matéria orgânica dissolvida cromófora (CDOM) das duas zonas do estuário possui diferentes características espectrais, com maior aromaticidade e peso molecular médio (HMW) na zona de água salobra, em comparação com a zona marinha. Nesta zona, a abundância bacteriana correlacionou-se com a350 e a254, sugerindo uma contribuição indireta das bactéria para HMW CDOM. A irradiação do DOM resultou numa diminuição dos valores de a254 e a350, e, em um aumento do declive S275-295 e dos rácios E2:E3 (a250/a365) e SR. No entanto, a extensão de transformações foto-induzidas e as respostas microbianas são dependentes das características iniciais CDOM, inferidas a partir das suas propriedades ópticas. A dinâmica estuarina influencia claramente as atividades heterotróficas e a distribuição dos microorganismos na coluna de água. A entrada de água doce influencia a dinâmica e os principais reguladores das comunidades bacterianas no estuário. Os processos fotoquímicos e microbianos produzem alterações nas propriedades ópticas da CDOM e a combinação desses processos determina o resultado global e o destino da CDOM nos sistemas estuarinos com influência na produtividade nas áreas costeiras adjacente.