Sistema de visão para percepção e navegação de um UAV Quadrotor

Mestrado em Engenharia Electrotécnica e de Computadores

A inspecção visual, de infra-estruturas, de áreas de difícil acesso ou áreas em ambientes hostis à presença humana, assumem nos dias de hoje um carácter determinante, no processo de manutenção de infra-estruturas críticas, na monitorização de áreas de risco e/ou sinistradas, e, na vigilância de áreas de acesso restrito ou controlado. Para estas missões os veículos aéreos não tripulados (UAV’s) na categoria dos VTOL (Vertical Take- Off Landing) e em especial quadrotors, apresentam-se como uma solução eficaz (ausência de riscos humanos e baixo custo sistemático) abrindo novas perspectivas para as aplicações de inspecção e monitorização. Em missões de inspecção e monitorização remota nem sempre o streaming de vídeo em tempo real é a melhor representação da informação para o utilizador quando se pretende uma inspecção detalhada de uma zona ou estrutura. Consequentemente, será preferível a construção de uma representação ´única do cenário de inspecção, através da composição de um mosaico de imagens. Nesta dissertação endereçamos os elementos necessários ao desenvolvimento de um sistema de inspecção visual em tempo real, capaz de servir como mapa de navegação para veículos autónomos aéreos, bem como em cenários de inspecção dotar o utilizador de uma melhor percepção das zonas e estruturas sob inspecção. Foi efectuada uma análise dos projectos existentes de UAV’s quadrotors mais relevantes com enfâse nas capacidades sensoriais e de percepção do ambiente que os rodeia, bem como das técnicas de mosaico para aplicações de inspecção e navegação em tempo real. Neste trabalho são expostos conceitos necessários `a compreensão da formação de um mosaico de imagens e os fundamentos de navegação que permitem compreender de que modo um sistema de visão pode apoiar outros sensores de navegação. Foram implementadas técnicas de mosaico em MathWorks Matlab utilizando abordagens do estado da arte combinando detectores de pontos de interesse SIFT (Scalei Invariant Feature Transform), com métodos de exclusão de falsas correspondências baseados em RANSAC (Random Sample Consensus), estimação de transformações recorrendo a técnicas de mínimos quadrados e com juncão de imagens e pontos do mapa utilizando transformações affine e projectiva. Tendo como objectivo a utilização das técnicas de mosaico em tempo real foi proposta e implementada uma variante da técnica anterior onde a informação de um sistema inercial é utilizada substituindo o método RANSAC na etapa de exclusão de falsas associações. Ambos os métodos propostos foram validados experimentalmente apresentando resultados idênticos em termos de mosaico e informação para navegação, mas o novo método apresentou uma redução significativa em termos computacionais, o que traz uma mais valia na aplicação em tempo real. O sistema desenvolvido permite obter mosaicos de imagens para inspecção e navegação. Para a criação de um mosaico de imagens é utilizado o algoritmo de detecção de pontos de interesse em imagens SIFT. Como os pontos de duas imagens nem sempre geram associações correctas existe uma fase de exclusão de correspondências. Nesta etapa são apresentadas duas soluções: uma com recurso a estimação robusta baseada no algoritmo RANSAC e a segunda com integração de informação do sistema inercial presente no veículo. Ambas permitem a determinação das associações correctas que servem de base para o cálculo dos parâmetros da transformação bidimensional (affine ou projectiva) que vai deformar a imagem, possibilitando assim o registo de imagens. Foram estudados e implementados métodos para extracção da informação do movimento da câmara a partir das transformações estimadas da matriz de homografia entre imagens obtidas pelos m´métodos de mosaico implementados. De forma a validar a abordagem e caracterizar os desempenhos dos algoritmos implementados foram feitos testes de criação de mosaicos de imagens, assim como da determinação da posição e orientação da câmara por forma a fornecer informação para a navegação. Foi proposta uma arquitectura para o sistema de navegação e inspecção visual baseado num mosaico de imagens que integra estes resultados e que simultaneamente apoie a navegação (através da fusão com outros sensores de navegação como GPS e INS) e permita a inspecção e monitorização sob a forma de mosaico de imagens.

A visual inspection, of infrastructure, in areas of difficult access or areas in hostile environments to human presence, assume today decisive importance in the process of maintaining critical infrastructure, monitoring of risk areas and/or affected, and the monitoring of restricted areas or controlled areas. For these missions, unmanned aerial vehicles (UAV’s) in the category of VTOL (Vertical Take-Off Landing) and in particular quadrotors, presented as an effective solution (absence of human risk and systemic low-cost) opening new prospects for applications inspection and monitoring. In the inspection missions and remote monitoring video streaming in real time is not always the best representation of the information to the user when we want a detailed inspection of an area or structure. Consequently, the construction of a single representation of the inspection scene by the composition of a mosaic of images is thus preferable. In this dissertation we address the elements necessary to develop a visual inspection system in real time, capable to serve as navigation map for autonomous air vehicles, as well in inspection scenarios provide the user a better understanding of areas and structures under inspection. At this work was made an analysis of existing projects of UAV’s quadrotors more relevant with emphasis on skills and sensory perception of their environment, as well as the mosaic technique for inspection applications and real-time navigation. This work expose concepts necessary for understanding the formation of a mosaic of images and the basics of navigation that allows to understand how a vision system can support other navigation sensors. Have been implemented a mosaic technique using MathWorks Matlab using approaches to from state of the art that combine feature detector SIFT (Scale-Invariant Feature Transform) points of interest, with methods to exclude false matches based on RANSAC (Random Sample Consensus), transformation estimation using least mean squares techniques and, image stitching and points of map using affine and projective transformations. With the aim of using the techniques of mosaic in real time was proposed and implemented a variant of the previous techique where information from an inertial system is replacing the method used in the RANSAC step to exclude false associations. Both proposed methods were validated experimentally by presenting identical results in terms of mosaic and information for navigation, but the new method showed a significant reduction in computing, which brings an added value in real time application. The developed system allows get a mosaic of images for inspection and navigation. To create a mosaic of images is used to detect feature points in images SIFT algorithm. Since the points of two images do not always generate correct associations there is an exclusion phase of matches. In this step are presented two solutions: one using robust estimation algorithm based on RANSAC and the second with integration of information from inertial system present in this vehicle. Both allow the determination of correct associations that serve as the basis for calculating the parameters of two-dimensional transformation (affine or projective) that will warp the image, thus enabling the image registration. Were studied and implemented methods for extraction of structure from motion of the camera using estimated homography matrix between images, obtained by the methods of mosaic of images implemented. In order to validate the approach and characterize the performance of algorithms implemented tests were made to create a mosaic of images, as well as of determination of the positioning and orientation of the camera in order to provide information for navigation. We proposed an arquitecture for the navigation system and visual inspection based on a mosaic of images that integrates these findings and to simultaneously support the navigation (through data fusion with other navigation sensors such as GPS and INS) and allow the inspection and monitoring in the form of mosaic of images.