Automatic information and safety systems for driving assistance

O objeto principal desta tese é o estudo de algoritmos de processamento e representação automáticos de dados, em particular de informação obtida por sensores montados a bordo de veículos (2D e 3D), com aplicação em contexto de sistemas de apoio à condução. O trabalho foca alguns dos problemas que, quer os sistemas de condução automática (AD), quer os sistemas avançados de apoio à condução (ADAS), enfrentam hoje em dia. O documento é composto por duas partes. A primeira descreve o projeto, construção e desenvolvimento de três protótipos robóticos, incluindo pormenores associados aos sensores montados a bordo dos robôs, algoritmos e arquitecturas de software. Estes robôs foram utilizados como plataformas de ensaios para testar e validar as técnicas propostas. Para além disso, participaram em várias competições de condução autónoma tendo obtido muito bons resultados. A segunda parte deste documento apresenta vários algoritmos empregues na geração de representações intermédias de dados sensoriais. Estes podem ser utilizados para melhorar técnicas já existentes de reconhecimento de padrões, deteção ou navegação, e por este meio contribuir para futuras aplicações no âmbito dos AD ou ADAS. Dado que os veículos autónomos contêm uma grande quantidade de sensores de diferentes naturezas, representações intermédias são particularmente adequadas, pois podem lidar com problemas relacionados com as diversas naturezas dos dados (2D, 3D, fotométrica, etc.), com o carácter assíncrono dos dados (multiplos sensores a enviar dados a diferentes frequências), ou com o alinhamento dos dados (problemas de calibração, diferentes sensores a disponibilizar diferentes medições para um mesmo objeto). Neste âmbito, são propostas novas técnicas para a computação de uma representação multi-câmara multi-modal de transformação de perspectiva inversa, para a execução de correcção de côr entre imagens de forma a obter mosaicos de qualidade, ou para a geração de uma representação de cena baseada em primitivas poligonais, capaz de lidar com grandes quantidades de dados 3D e 2D, tendo inclusivamente a capacidade de refinar a representação à medida que novos dados sensoriais são recebidos.

Navigation in dynamic environments taking advantage of moving agents

Esta tese propõe uma forma diferente de navegação de robôs em ambientes dinâmicos, onde o robô tira partido do movimento de pedestres, com o objetivo de melhorar as suas capacidades de navegação. A ideia principal é que, ao invés de tratar as pessoas como obstáculos dinâmicos que devem ser evitados, elas devem ser tratadas como agentes especiais com conhecimento avançado em navegação em ambientes dinâmicos. Para se beneficiar do movimento de pedestres, este trabalho propõe que um robô os selecione e siga, de modo que possa mover-se por caminhos ótimos, desviar-se de obstáculos não detetados, melhorar a navegação em ambientes densamente populados e aumentar a sua aceitação por outros humanos. Para atingir estes objetivos, novos métodos são desenvolvidos na área da seleção de líderes, onde duas técnicas são exploradas. A primeira usa métodos de previsão de movimento, enquanto a segunda usa técnicas de aprendizagem por máquina, para avaliar a qualidade de candidatos a líder, onde o treino é feito com exemplos reais. Os métodos de seleção de líder são integrados com algoritmos de planeamento de movimento e experiências são realizadas para validar as técnicas propostas.

Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Architecture for real-time coordination of multiple autonomous mobile units

Interest on using teams of mobile robots has been growing, due to their potential to cooperate for diverse purposes, such as rescue, de-mining, surveillance or even games such as robotic soccer. These applications require a real-time middleware and wireless communication protocol that can support an efficient and timely fusion of the perception data from different robots as well as the development of coordinated behaviours. Coordinating several autonomous robots towards achieving a common goal is currently a topic of high interest, which can be found in many application domains. Despite these different application domains, the technical problem of building an infrastructure to support the integration of the distributed perception and subsequent coordinated action is similar. This problem becomes tougher with stronger system dynamics, e.g., when the robots move faster or interact with fast objects, leading to tighter real-time constraints. This thesis work addressed computing architectures and wireless communication protocols to support efficient information sharing and coordination strategies taking into account the real-time nature of robot activities. The thesis makes two main claims. Firstly, we claim that despite the use of a wireless communication protocol that includes arbitration mechanisms, the self-organization of the team communications in a dynamic round that also accounts for variable team membership, effectively reduces collisions within the team, independently of its current composition, significantly improving the quality of the communications. We will validate this claim in terms of packet losses and communication latency. We show how such self-organization of the communications can be achieved in an efficient way with the Reconfigurable and Adaptive TDMA protocol. Secondly, we claim that the development of distributed perception, cooperation and coordinated action for teams of mobile robots can be simplified by using a shared memory middleware that replicates in each cooperating robot all necessary remote data, the Real-Time Database (RTDB) middleware. These remote data copies, which are updated in the background by the selforganizing communications protocol, are extended with age information automatically computed by the middleware and are locally accessible through fast primitives. We validate our claim showing a parsimonious use of the communication medium, improved timing information with respect to the shared data and the simplicity of use and effectiveness of the proposed middleware shown in several use cases, reinforced with a reasonable impact in the Middle Size League of RoboCup.

Perception and software architecture for mobile robotics

When developing software for autonomous mobile robots, one has to inevitably tackle some kind of perception. Moreover, when dealing with agents that possess some level of reasoning for executing their actions, there is the need to model the environment and the robot internal state in a way that it represents the scenario in which the robot operates. Inserted in the ATRI group, part of the IEETA research unit at Aveiro University, this work uses two of the projects of the group as test bed, particularly in the scenario of robotic soccer with real robots. With the main objective of developing algorithms for sensor and information fusion that could be used e ectively on these teams, several state of the art approaches were studied, implemented and adapted to each of the robot types. Within the MSL RoboCup team CAMBADA, the main focus was the perception of ball and obstacles, with the creation of models capable of providing extended information so that the reasoning of the robot can be ever more e ective. To achieve it, several methodologies were analyzed, implemented, compared and improved. Concerning the ball, an analysis of ltering methodologies for stabilization of its position and estimation of its velocity was performed. Also, with the goal keeper in mind, work has been done to provide it with information of aerial balls. As for obstacles, a new de nition of the way they are perceived by the vision and the type of information provided was created, as well as a methodology for identifying which of the obstacles are team mates. Also, a tracking algorithm was developed, which ultimately assigned each of the obstacles a unique identi er. Associated with the improvement of the obstacles perception, a new algorithm of estimating reactive obstacle avoidance was created. In the context of the SPL RoboCup team Portuguese Team, besides the inevitable adaptation of many of the algorithms already developed for sensor and information fusion and considering that it was recently created, the objective was to create a sustainable software architecture that could be the base for future modular development. The software architecture created is based on a series of di erent processes and the means of communication among them. All processes were created or adapted for the new architecture and a base set of roles and behaviors was de ned during this work to achieve a base functional framework. In terms of perception, the main focus was to de ne a projection model and camera pose extraction that could provide information in metric coordinates. The second main objective was to adapt the CAMBADA localization algorithm to work on the NAO robots, considering all the limitations it presents when comparing to the MSL team, especially in terms of computational resources. A set of support tools were developed or improved in order to support the test and development in both teams. In general, the work developed during this thesis improved the performance of the teams during play and also the e ectiveness of the developers team when in development and test phases.

Dynamic set pieces for CAMBADA team

Robotics is an emergent branch of engineering that involves the conception, manufacture, and control of robots. It is a multidisciplinary field that combines electronics, design, computer science, artificial intelligence, mechanics and nanotechnology. Its evolution results in machines that are able to perform tasks with some level of complexity. Multi-agent systems is a researching topic within robotics, thus they allow the solving of higher complexity problems, through the execution of simple routines. Robotic soccer allows the study and development of robotics and multiagent systems, as the agents have to work together as a team, having in consideration most problems found in our quotidian, as for example adaptation to a highly dynamic environment as it is the one of a soccer game. CAMBADA is the robotic soccer team belonging to the group of research IRIS from IEETA, composed by teachers, researchers and students of the University of Aveiro, which annually has as main objective the participation in the RoboCup, in the Middle Size League. The purpose of this work is to improve the coordination in set pieces situations. This thesis introduces a new behavior and the adaptation of the already existing ones in the offensive situation, as well as the proposal of a new positioning method in defensive situations. The developed work was incorporated within the competition software of the robots. Which allows the presentation, in this dissertation, of the experimental results obtained, through simulation software as well as through the physical robots on the laboratory.

Goal detection using laser range finder for goalkeeper and striker from CAMBADA team

For a robot be autonomous and mobile, it requires being attached with a set of sensors that helps it to have a better perception of the surrounding world, to manage to localize itself and the surrounding objects. CAMBADA is the robotic soccer team of the IRIS research group, from IEETA, University of Aveiro, that competes in the Middle-Size League of RoboCup. In competition, in order to win, the main objective of the game it's to score more goals than the conceded, so not conceding goals, and score as much as possible it's desirable, thus, this thesis focus on adapt an agent with a better localization capacity in defensive and offensive moments. It was introduced a laser range finder to the CAMBADA robots, making them capable of detecting their own and the opponent goal, and to detect the opponents in specific game situations. With the new information and adapting the Goalie and Penalty behaviors, the CAMBADA goalkeeper is now able to detect and track its own goal and the CAMBADA striker has a better performance in a penalty situation. The developed work was incorporated within the competition software of the robots, which allows the presentation, in this thesis, of the experimental results obtained with physical robots on the laboratory field.

O projeto PmatE e a aprendizagem da matemática no ensino superior

O contexto educacional exige renovação de paradigmas. Impõem-se profundas alterações ao nível do papel e da função do professor e dos alunos, devendo-se privilegiar metodologias de aprendizagem ativas, cooperativas e participativas, rompendo-se com o ensino magistral e a mera transmissão de ‘conhecimentos’. As ferramentas informáticas poderão constituir-se uma mais-valia no contexto educativo, promovendo uma aprendizagem significativa e autorregulada pelo aluno, sempre sob a adequada orientação do professor. Neste contexto, foi criado, na Universidade de Aveiro, o Projeto Matemática Ensino (PmatE), com o principal objetivo de combater, de uma forma inovadora, as causas do insucesso escolar a matemática. No entanto, tal plataforma ainda não foi alvo de uma avaliação sistemática, nomeadamente ao nível do ensino superior, que nos permita concluir da consecução dos seus propósitos. Assim, a questão de investigação subjacente ao estudo em curso é - Qual o impacte da utilização diferenciada, como complemento à abordagem didáctica, da plataforma de ensino assistido (PEA) desenvolvida pelo PmatE na aprendizagem de temas matemáticos ao nível do Ensino Superior, principalmente ao nível da autonomia, da construção e aplicação de conhecimentos e do desenvolvimento de apetências pela Matemática. Para se tentar dar resposta à mesma, implementou-se um estudo misto, quantitativo e qualitativo, com alunos da unidade curricular Análise Matemática I do Curso Engenharia Alimentar de um Instituto Politécnico português, a quem se propôs uma exploração prévia da plataforma extra-aula para que, nesse espaço, se pudesse conceptualizar os conceitos envolvidos e realizar tarefas variadas quanto à sua natureza. Usaram-se como principais técnicas de recolha de dados a análise documental, a inquirição e a observação direta, suportadas pelos diversos instrumentos: Questionário Inicial e Final; testes de avaliação, nas versões pré-teste, pós-teste1 e pós-teste2; produções de uma bateria de tarefas de natureza diversificada; registo computorizado do percurso dos alunos relativamente ao trabalho por eles desenvolvido na plataforma do PmatE; notas de campo; dossier dos alunos e entrevistas. Os resultados obtidos, a partir de uma análise estatística dos dados quantitativos e de conteúdo dos dados qualitativos, indicam, por um lado, que os alunos mais autónomos, mais persistentes e que obtêm os melhores resultados são os alunos que usaram a plataforma com frequência e, por outro, que a utilização da plataforma contribuiu para aumentar o gosto pela Matemática. Este estudo permitiu, também, obter informação importante sobre aspetos que poderão melhorar a plataforma, em particular, relativos à natureza das tarefas e à resolução dos exercícios propostos.

Comunicação humano-robô através de linguagem falada

Nos últimos anos, as tecnologias que dão suporte à robótica avançaram expressivamente. É possível encontrar robôs de serviço nos mais variados campos. O próximo passo é o desenvolvimento de robôs inteligentes, com capacidade de comunicação em linguagem falada e de realizar trabalhos úteis em interação/cooperação com humanos. Torna-se necessário, então, encontrar um modo de interagir eficientemente com esses robôs, e com agentes inteligentes de maneira geral, que permita a transmissão de conhecimento em ambos os sentidos. Partiremos da hipótese de que é possível desenvolver um sistema de diálogo baseado em linguagem natural falada que resolva esse problema. Assim, o objetivo principal deste trabalho é a definição, implementação e avaliação de um sistema de diálogo utilizável na interação baseada em linguagem natural falada entre humanos e agentes inteligentes. Ao longo deste texto, mostraremos os principais aspectos da comunicação por linguagem falada, tanto entre os humanos, como também entre humanos e máquinas. Apresentaremos as principais categorias de sistemas de diálogo, com exemplos de alguns sistemas implementados, assim como ferramentas para desenvolvimento e algumas técnicas de avaliação. A seguir, entre outros aspectos, desenvolveremos os seguintes: a evolução levada a efeito na arquitetura computacional do Carl, robô utilizado neste trabalho; o módulo de aquisição e gestão de conhecimento, desenvolvido para dar suporte à interação; e o novo gestor de diálogo, baseado na abordagem de “Estado da Informação”, também concebido e implementado no âmbito desta tese. Por fim, uma avaliação experimental envolvendo a realização de diversas tarefas de interação com vários participantes voluntários demonstrou ser possível interagir com o robô e realizar as tarefas solicitadas. Este trabalho experimental incluiu avaliação parcial de funcionalidades, avaliação global do sistema de diálogo e avaliação de usabilidade.

Service building in dense service provider environments

Genericamente falando, os serviços sobre redes têm vindo a afastar-se de um modelo monolítico para um modelo de criação de serviços que permite ou - como é mais frequente - requer a cooperação entre vários Provedores de Serviço. A Internet, que tem vindo a forçar a convergência de serviços, mostra que começa a ser virtualmente impossível a um único operador fornecer qualquer serviço com um mínimo de interesse para os utilizadores. Esta tese foca-se em serviços de transporte (e.g., connectividade) e discute o impacto das fronteira que as ofertas de serviços têm com o negócio. A questão central é a seguinte: o que muda quando o mesmo serviço é oferecido não apenas por um mas por mais do que um Provedor de Serviço. Por um lado, esta tese cobre, em abs tracto, a noção de Provedor se Serviço, como evoluiu e em que sentido está a evoluir, particularmente num contexto de muitos Provedores de Serviço. Os primeiros capítulos desta tese analizam e propõem arquitecturas para cooperação inter-Provedor-de-Serviço e para serviços comuns tais como multimédia. Por outro lado, oferece-se soluções práticas, com as respectivas avaliações, para alguns problemas, que ainda hoje se mantêm em aberto, tais como encaminhamento inter-domínio, Qualidade-de-Serviço, Mobilidade e distribuição de conteúdos, tais como as contribuições relacionadas com o impacto da noção administrativa de Sistemas Autónomos sobre encaminhamento inter-domínio, uma arquitectura de transporte inter-domínio e o problema que levanta da ineficiência que decorre do planeamento não- cooperativo de Redes de Entrega de Conteúdos.

Ultrasonic location system

Esta tese apresenta um sistema de localização baseado exclusivamente em ultrassons, não necessitando de recorrer a qualquer outra tecnologia. Este sistema de localização foi concebido para poder operar em ambientes onde qualquer outra tecnologia não pode ser utilizada ou o seu uso está condicionado, como são exemplo aplicações subaquáticas ou ambientes hospitalares. O sistema de localização proposto faz uso de uma rede de faróis fixos permitindo que estações móveis se localizem. Devido à necessidade de transmissão de dados e medição de distâncias foi desenvolvido um pulso de ultrassons robusto a ecos que permite realizar ambas as tarefas com sucesso. O sistema de localização permite que as estações móveis se localizem escutando apenas a informação em pulsos de ultrassons enviados pelos faróis usando para tal um algoritmo baseado em diferenças de tempo de chegada. Desta forma a privacidade dos utilizadores é garantida e o sistema torna-se completamente independente do número de utilizadores. Por forma a facilitar a implementação da rede de faróis apenas será necessário determinar manualmente a posição de alguns dos faróis, designados por faróis âncora. Estes irão permitir que os restantes faróis, completamente autónomos, se possam localizar através de um algoritmo iterativo de localização baseado na minimização de uma função de custo. Para que este sistema possa funcionar como previsto será necessário que os faróis possam sincronizar os seus relógios e medir a distância entre eles. Para tal, esta tese propõe um protocolo de sincronização de relógio que permite também obter as medidas de distância entre os faróis trocando somente três mensagens de ultrassons. Adicionalmente, o sistema de localização permite que faróis danificados possam ser substituídos sem comprometer a operabilidade da rede reduzindo a complexidade na manutenção. Para além do mencionado, foi igualmente implementado um simulador de ultrassons para ambientes fechados, o qual provou ser bastante preciso e uma ferramenta de elevado valor para simular o comportamento do sistema de localização sobre condições controladas.

Aprendizagem matemática no ensino superior: a influência da plataforma M@T-educar com sucesso

Novas abordagens educacionais têm vindo a surgir como resultado de mudanças económicas, sociais e políticas, que levaram, a nível europeu ao desenvolvimento do Processo de Bolonha. As instituições de ensino superior enfrentam, assim, novos desafios e oportunidades, nomeadamente, o desenvolvimento de contextos educativos mais centrados nas aprendizagens dos alunos, promotores de cidadãos mais autónomos, mais ativos e mais provocadores, capazes de responderem às exigências da Sociedade do Conhecimento global. Diversos estudos apontam a importância de ambientes online na persecução desses objetivos, designadamente na área da Matemática. Neste contexto, desenvolveu-se a plataforma online – M@t-educar com Sucesso – que, a partir da informação teórica, permite a resolução de tarefas interativas, algumas delas contendo animações, das quais se fornece um feedback imediato, a qual carece de avaliação. Assim, este estudo tem como objetivo principal avaliar a influência da exploração prévia às aulas da referida plataforma no desenvolvimento de conhecimentos e capacidades matemáticas, da autonomia e do interesse por essa área em estudantes do ensino superior. O estudo ocorreu na unidade curricular de Cálculo Infinitesimal do Curso Superior de Gestão de uma instituição do ensino superior. Metodologicamente, optou-se por uma abordagem mista de investigação e pelo design de estudo de caso, tendo-se partido de uma análise macro, envolvendo todos os alunos de Cálculo Infinitesimal, seguida de uma análise meso, considerando os alunos da turma da professora/investigadora, que foi evoluindo para uma análise micro, estudando cinco casos da turma. Para tal, utilizaram-se diversas técnicas de recolha de dados – inquirição, observação e análise documental, suportadas por variados instrumentos. A análise estatística e de conteúdo a que os dados foram submetidos permite concluir que a exploração prévia dos conteúdos através desta plataforma contribui para o desenvolvimento, principalmente, de autonomia e da capacidade de aplicação de conhecimento produzido à resolução de tarefas de diversa natureza.