Real-Time Visual Ground-Truth System for Indoor Robotic Applications

The robotics community is concerned with the ability to infer and compare the results from researchers in areas such as vision perception and multi-robot cooperative behavior. To accomplish that task, this paper proposes a real-time indoor visual ground truth system capable of providing accuracy with at least more magnitude than the precision of the algorithm to be evaluated. A multi-camera architecture is proposed under the ROS (Robot Operating System) framework to estimate the 3D position of objects and the implementation and results were contextualized to the Robocup Middle Size League scenario.

Calibration Method for Underwater Visual Ground-Truth System

This work presents an automatic calibration method for a vision based external underwater ground-truth positioning system. These systems are a relevant tool in benchmarking and assessing the quality of research in underwater robotics applications. A stereo vision system can in suitable environments such as test tanks or in clear water conditions provide accurate position with low cost and flexible operation. In this work we present a two step extrinsic camera parameter calibration procedure in order to reduce the setup time and provide accurate results. The proposed method uses a planar homography decomposition in order to determine the relative camera poses and the determination of vanishing points of detected lines in the image to obtain the global pose of the stereo rig in the reference frame. This method was applied to our external vision based ground-truth at the INESC TEC/Robotics test tank. Results are presented in comparison with an precise calibration performed using points obtained from an accurate 3D LIDAR modelling of the environment.

Sistema de percepção visual para veículos autónomos aéreos

Esta dissertação aborda o problema de detecção e desvio de obstáculos "SAA- Sense And Avoid" em movimento para veículos aéreos. Em particular apresenta contribuições tendo em vista a obtenção de soluções para permitir a utilização de aeronaves não tripuladas em espaço aéreo não segregado e para aplicações civis. Estas contribuições caracterizam-se por: uma análise do problema de SAA em \UAV's - Unmmaned Aerial Vehicles\ civis; a definição do conceito e metodologia para o projecto deste tipo de sistemas; uma proposta de \ben- chmarking\ para o sistema SAA caracterizando um conjunto de "datasets\ adequados para a validação de métodos de detecção; respectiva validação experimental do processo e obtenção de "datasets"; a análise do estado da arte para a detecção de \Dim point features\ ; o projecto de uma arquitectura para uma solução de SAA incorporando a integração de compensação de \ego motion" e respectiva validação para um "dataset" recolhido. Tendo em vista a análise comparativa de diferentes métodos bem como a validação de soluções foi proposta a recolha de um conjunto de \datasets" de informação sensorial e de navegação. Para os mesmos foram definidos um conjunto de experiências e cenários experimentais. Foi projectado e implementado um setup experimental para a recolha dos \datasets" e realizadas experiências de recolha recorrendo a aeronaves tripuladas. O setup desenvolvido incorpora um sistema inercial de alta precisão, duas câmaras digitais sincronizadas (possibilitando análise de informa formação stereo) e um receptor GPS. As aeronaves alvo transportam um receptor GPS com logger incorporado permitindo a correlação espacial dos resultados de detecção. Com este sistema foram recolhidos dados referentes a cenários de aproximação com diferentes trajectórias e condições ambientais bem como incorporando movimento do dispositivo detector. O método proposto foi validado para os datasets recolhidos tendo-se verificado, numa análise preliminar, a detecção do obstáculo (avião ultraleve) em todas as frames para uma distância inferior a 3 km com taxas de sucesso na ordem dos 95% para distâncias entre os 3 e os 4 km. Os resultados apresentados permitem validar a arquitectura proposta para a solução do problema de SAA em veículos aéreos autónomos e abrem perspectivas muito promissoras para desenvolvimento futuro com forte impacto técnico-científico bem como sócio-economico. A incorporação de informa formação de \ego motion" permite fornecer um forte incremento em termos de desempenho.

Sistema visual para Ground Truth de sistemas autónomos

Este trabalho visa contribuir para o desenvolvimento de um sistema de visão multi-câmara para determinação da localização, atitude e seguimento de múltiplos objectos, para ser utilizado na unidade de robótica do INESCTEC, e resulta da necessidade de ter informação externa exacta que sirva de referência no estudo, caracterização e desenvolvimento de algoritmos de localização, navegação e controlo de vários sistemas autónomos. Com base na caracterização dos veículos autónomos existentes na unidade de robótica do INESCTEC e na análise dos seus cenários de operação, foi efectuado o levantamento de requisitos para o sistema a desenvolver. Foram estudados os fundamentos teóricos, necessários ao desenvolvimento do sistema, em temas relacionados com visão computacional, métodos de estimação e associação de dados para problemas de seguimento de múltiplos objectos . Foi proposta uma arquitectura para o sistema global que endereça os vários requisitos identi cados, permitindo a utilização de múltiplas câmaras e suportando o seguimento de múltiplos objectos, com ou sem marcadores. Foram implementados e validados componentes da arquitectura proposta e integrados num sistema para validação, focando na localização e seguimento de múltiplos objectos com marcadores luminosos à base de Light-Emitting Diodes (LEDs). Nomeadamente, os módulos para a identi cação dos pontos de interesse na imagem, técnicas para agrupar os vários pontos de interesse de cada objecto e efectuar a correspondência das medidas obtidas pelas várias câmaras, método para a determinação da posição e atitude dos objectos, ltro para seguimento de múltiplos objectos. Foram realizados testes para validação e a nação do sistema implementado que demonstram que a solução encontrada vai de encontro aos requisitos, e foram identi cadas as linhas de trabalho para a continuação do desenvolvimento do sistema global.

A Visual Programming Framework for Wireless Sensor Networks in Smart Home Applications

International Conference on Intelligent Sensors, Sensor Networks and Information Processing (ISSNIP 2015). 7 to 9, Apr, 2015. Singapure, Singapore.

Autonomous Surface Vehicle Docking Manoeuvre with Visual Information

This work presents a hybrid coordinated manoeuvre for docking an autonomous surface vehicle with an autonomous underwater vehicle. The control manoeuvre uses visual information to estimate the AUV relative position and attitude in relation to the ASV and steers the ASV in order to dock with the AUV. The AUV is assumed to be at surface with only a small fraction of its volume visible. The system implemented in the autonomous surface vehicle ROAZ, developed by LSA-ISEP to perform missions in river environment, test autonomous AUV docking capabilities and multiple AUV/ASV coordinated missions is presented. Information from a low cost embedded robotics vision system (LSAVision), along with inertial navigation sensors is fused in an extended Kalman filter and used to determine AUV relative position and orientation to the surface vehicle The real time vision processing system is described and results are presented in operational scenario.

Towards a Mobile Three-dimensional Modelling System for Underground Structures

Robotica 2012: 12th International Conference on Autonomous Robot Systems and Competitions April 11, 2012, Guimarães, Portugal

Application of Visual-Inertial SLAM for 3D Mapping of Underground Environments

The underground scenarios are one of the most challenging environments for accurate and precise 3d mapping where hostile conditions like absence of Global Positioning Systems, extreme lighting variations and geometrically smooth surfaces may be expected. So far, the state-of-the-art methods in underground modelling remain restricted to environments in which pronounced geometric features are abundant. This limitation is a consequence of the scan matching algorithms used to solve the localization and registration problems. This paper contributes to the expansion of the modelling capabilities to structures characterized by uniform geometry and smooth surfaces, as is the case of road and train tunnels. To achieve that, we combine some state of the art techniques from mobile robotics, and propose a method for 6DOF platform positioning in such scenarios, that is latter used for the environment modelling. A visual monocular Simultaneous Localization and Mapping (MonoSLAM) approach based on the Extended Kalman Filter (EKF), complemented by the introduction of inertial measurements in the prediction step, allows our system to localize himself over long distances, using exclusively sensors carried on board a mobile platform. By feeding the Extended Kalman Filter with inertial data we were able to overcome the major problem related with MonoSLAM implementations, known as scale factor ambiguity. Despite extreme lighting variations, reliable visual features were extracted through the SIFT algorithm, and inserted directly in the EKF mechanism according to the Inverse Depth Parametrization. Through the 1-Point RANSAC (Random Sample Consensus) wrong frame-to-frame feature matches were rejected. The developed method was tested based on a dataset acquired inside a road tunnel and the navigation results compared with a ground truth obtained by post-processing a high grade Inertial Navigation System and L1/L2 RTK-GPS measurements acquired outside the tunnel. Results from the localization strategy are presented and analyzed.

Contributos das TIC para as Necessidades Educativas Especiais - Treino da Perceção Visual

As novas tecnologias de informação e comunicação vêm introduzir novas abordagens e orientações nas relações das pessoas no mundo global, ao mesmo tempo que vêm redefinir paradigmas diversos em várias áreas disciplinares, nomeadamente nas áreas da saúde e da educação. A massificação das tecnologias vem assim aproximar a informação e o conhecimento das pessoas e a sua utilização no apoio aos processos de ensino e de aprendizagem dos alunos com necessidades educativas especiais e dificuldades de aprendizagem específicas tem vindo a ser discutida cada vez mais com uma maior relevância. Pretende-se através da presente dissertação contribuir com soluções que apoiem a desmaterialização dos processos e desburocratização dos relacionamentos entres os diversos intervenientes num processo de terapia de uma criança. Apesar de poder ser extensível a outros cenários, o projeto desenvolvido aplica-se ao caso concreto de crianças com necessidades educativas especiais e dificuldades de aprendizagem específicas, motivadas por dificuldades de perceção visual, que obrigam, além da adoção de programas de treino, como jogos interativos, a um acompanhamento integrado de todos os intervenientes na sua terapia: terapeutas, professores, pais e educadores, assistentes sociais entre outros, tornando-se fundamental a utilização de uma plataforma universal que permita a troca e sistematização de informações. Inicialmente foi necessário um enquadramento desta temática por via da leitura, pesquisa e reuniões com elementos ligados a diferentes áreas que intervém no tratamento de necessidades educativas especiais. Depois de uma pesquisa bibliográfica inicial sobre as dimensões a explorar, recolheu-se informação sobre estudos e projetos desenvolvidos para apoiar esta área, e desenvolveu-se um projeto destinado a contribuir para o trabalho positivo de todos os profissionais que se dedicam à terapia/tratamento das crianças com necessidades educativas especiais, particularmente derivadas de dificuldades de perceção visual. Posteriormente, realizou-se a avaliação do protótipo de forma a validar o real contributo do sistema na melhoria da comunicação e partilha de informação entre todos os intervenientes no processo de terapia de crianças com necessidades educativas especiais e da utilização das tecnologias interativas no treino da perceção visual. Com vista a uma futura implementação de um recurso educativo deste âmbito, foram também recolhidos os pontos negativos e sugestões de melhoria a incorporar. Em suma, este trabalho valida os contributos das TIC, e deste sistema em particular, na relação dos intervenientes num processo de terapia interdisciplinar e no treino da perceção visual.