Report on the upper Mississippi River and Illinois Waterway navigation system.

Shipping list no.: 90-038-P.

Sistema de localização de um veículo autónomo terrestre

Mestrado em Engenharia Electrotécnica e de Computadores.

Sistema de percepção visual para veículos autónomos aéreos

Esta dissertação aborda o problema de detecção e desvio de obstáculos "SAA- Sense And Avoid" em movimento para veículos aéreos. Em particular apresenta contribuições tendo em vista a obtenção de soluções para permitir a utilização de aeronaves não tripuladas em espaço aéreo não segregado e para aplicações civis. Estas contribuições caracterizam-se por: uma análise do problema de SAA em \UAV's - Unmmaned Aerial Vehicles\ civis; a definição do conceito e metodologia para o projecto deste tipo de sistemas; uma proposta de \ben- chmarking\ para o sistema SAA caracterizando um conjunto de "datasets\ adequados para a validação de métodos de detecção; respectiva validação experimental do processo e obtenção de "datasets"; a análise do estado da arte para a detecção de \Dim point features\ ; o projecto de uma arquitectura para uma solução de SAA incorporando a integração de compensação de \ego motion" e respectiva validação para um "dataset" recolhido. Tendo em vista a análise comparativa de diferentes métodos bem como a validação de soluções foi proposta a recolha de um conjunto de \datasets" de informação sensorial e de navegação. Para os mesmos foram definidos um conjunto de experiências e cenários experimentais. Foi projectado e implementado um setup experimental para a recolha dos \datasets" e realizadas experiências de recolha recorrendo a aeronaves tripuladas. O setup desenvolvido incorpora um sistema inercial de alta precisão, duas câmaras digitais sincronizadas (possibilitando análise de informa formação stereo) e um receptor GPS. As aeronaves alvo transportam um receptor GPS com logger incorporado permitindo a correlação espacial dos resultados de detecção. Com este sistema foram recolhidos dados referentes a cenários de aproximação com diferentes trajectórias e condições ambientais bem como incorporando movimento do dispositivo detector. O método proposto foi validado para os datasets recolhidos tendo-se verificado, numa análise preliminar, a detecção do obstáculo (avião ultraleve) em todas as frames para uma distância inferior a 3 km com taxas de sucesso na ordem dos 95% para distâncias entre os 3 e os 4 km. Os resultados apresentados permitem validar a arquitectura proposta para a solução do problema de SAA em veículos aéreos autónomos e abrem perspectivas muito promissoras para desenvolvimento futuro com forte impacto técnico-científico bem como sócio-economico. A incorporação de informa formação de \ego motion" permite fornecer um forte incremento em termos de desempenho.

Sistema móvel de telemetria para automóveis

Este trabalho compreende uma análise crítica e reflexiva sobre o que atualmente existe no âmbito dos sistemas de navegação integrados (e.g. sistemas de posicionamento global com sistemas de navegação por inércia). O objetivo deste estudo vai também no sentido de desenvolver para um dispositivo móvel, um sistema de telemetria para automóveis baseado na plataforma Android fazendo uso de conceitos estudados e tecnologias existentes. Pretende-se demonstrar a potencialidade da integração de um sistema de posicionamento por satélite, com um sistema de navegação por inércia, em dispositivos cada vez mais acessíveis ao utilizador comum, tais como tablets, smartphones e outros equipamentos dotados de dispositivos MEMS (sistemas microelectromecânicos) de baixo custo usando a plataforma Android. Este trabalho pretende explorar a forma como podemos fundir os registos dos vários sensores, tais como o acelerómetro, magnetómetro e giroscópio, para determinar a orientação do dispositivo e assim integrar esta informação de maior frequência, com a informação disponibilizada pelo GNSS de menor frequência, tendo como objetivo final a determinação em tempo real do posicionamento do dispositivo, destacando as forças e fraquezas de cada um dos sistemas de navegação.

Step count algorithm adapted to indoor localization

This paper presents a step count algorithm designed to work in real-time using low computational power. This proposal is our first step for the development of an indoor navigation system, based on Pedestrian Dead Reckoning (PDR). We present two approaches to solve this problem and compare them based in their error on step counting, as well as, the capability of their use in a real time system.

Traveled Distance Estimation Algorithm for Indoor Localization

This paper presents an ankle mounted Inertial Navigation System (INS) used to estimate the distance traveled by a pedestrian. This distance is estimated by the number of steps given by the user. The proposed method is based on force sensors to enhance the results obtained from an INS. Experimental results have shown that, depending on the step frequency, the traveled distance error varies between 2.7% and 5.6%.

Person Localization Using Sensor Information Fusion

Nowadays the incredible grow of mobile devices market led to the need for location-aware applications. However, sometimes person location is difficult to obtain, since most of these devices only have a GPS (Global Positioning System) chip to retrieve location. In order to suppress this limitation and to provide location everywhere (even where a structured environment doesn’t exist) a wearable inertial navigation system is proposed, which is a convenient way to track people in situations where other localization systems fail. The system combines pedestrian dead reckoning with GPS, using widely available, low-cost and low-power hardware components. The system innovation is the information fusion and the use of probabilistic methods to learn persons gait behavior to correct, in real-time, the drift errors given by the sensors.

Solução de navegação inercial para o sistema plasys

Neste trabalho faz-se uma pesquisa e análise dos conceitos associados à navegação inercial para estimar a distância percorrida por uma pessoa. Foi desenvolvida uma plataforma de hardware para implementar os algoritmos de navegação inercial e estudar a marcha humana. Os testes efetuados permitiram adaptar os algoritmos de navegação inercial para humanos e testar várias técnicas para reduzir o erro na estimativa da distância percorrida. O sistema desenvolvido é um sistema modular que permite estudar o efeito da inserção de novos sensores. Desta forma foram adaptados os algoritmos de navegação para permitir a utilização da informação dos sensores de força colocados na planta do pé do utilizador. A partir desta arquitetura foram efetuadas duas abordagens para o cálculo da distância percorrida por uma pessoa. A primeira abordagem estima a distância percorrida considerando o número de passos. A segunda abordagem faz uma estimação da distância percorrida com base nos algoritmos de navegação inercial. Foram realizados um conjunto de testes para comparar os erros na estimativa da distância percorrida pelas abordagens efetuadas. A primeira abordagem obteve um erro médio de 4,103% em várias cadências de passo. Este erro foi obtido após sintonia para o utilizador em questão. A segunda abordagem obteve um erro de 9,423%. De forma a reduzir o erro recorreu-se ao filtro de Kalman o que levou a uma redução do erro para 9,192%. Por fim, recorreu-se aos sensores de força que permitiram uma redução para 8,172%. A segunda abordagem apesar de ter um erro maior não depende do utilizador pois não necessita de sintonia dos parâmetros para estimar a distância para cada pessoa. Os testes efetuados permitiram, através dos sensores de força, testar a importância da força sentida pela planta do pé para aferir a fase do ciclo de marcha. Esta capacidade permite reduzir os erros na estimativa da distância percorrida e obter uma maior robustez neste tipo de sistemas.

Desenvolvimento e Controlo de um Veículo Autónomo Aéreo Quadrotor

A crescente necessidade de meios de inspecção e recolha de informação de infraestruturas e do meio ambiente natural, origina o recurso a meios tecnológicos cada vez mais evoluídos. Neste contexto, os robôs móveis autónomos aéreos surgem como uma ferramenta importante. Em particular, os veículos aéreos de asa móvel, pela sua manobrabilidade e controlo podem-se utilizar eficazmente em meios complexos como cenários interiores onde o ambiente é parcialmente controlado. A sua utilização em coordenação com outros veículos robóticos móveis e em particular com a crescente autonomia de decisão, permitem uma eficiência elevada, por exemplo, em tarefas de recolha automática de informação, vigilância, apoio a comunicações, etc. A inexistência de um veículo autónomo de asa móvel no cenário multi-robótico desenvolvido pelo Laboratório de Sistemas Autónomos do Instituto Superior de Engenharia do Porto, aliada às suas aplicações referidas, criou a necessidade do desenvolvimento de um veículo desta gama. Identificou-se, pois, o desenvolvimento de um veículo autónomo aéreo do tipo quadrotor com capacidade de vôo base estabilizado como o problema a resolver. Foi efectuado um levantamento de requisitos do sistema, a caracterização de um veículo autónomo aéreo Vertical Take-off and Landing - VTOL, e efectuado um trabalho de pesquisa a fim de possibilitar o conhecimento das técnicas e tecnologias envolvidas. Tendo em vista o objectivo de controlo e estabilização do veículo, foi efectuada a modelização do sistema que serviu não só para a melhor compreensão da sua dinâmica mas também para o desenvolvimento de um simulador que possibilitou a validação de estratégias de controlo e avaliação de comportamentos do veículo para diferentes cenários. A inexistência de controladores de motores brushless adequada (frequência de controlo), originou o desenvolvimento de um controlador dedicado para motores brushless, motores esses utilizados para a propulsão do veículo. Este controlador permite uma taxa de controlo a uma frequência de 20KHz, possui múltiplas interfaces de comunicação (CAN, RS232, Ethernet, SPI e JTAG), é de reduzido peso e dimensões e modular, visto ter sido implementado em dois módulos, i.e., permite a sua utilização com diferentes interfaces de potência. Projectou-se um veículo autónomo aéreo em termos físicos com a definição da sua arquitectura de hardware e software bem como o sistema de controlo de vôo. O sistema de estabilização de vôo compreende o processamento de informação fornecida por um sistema de navegação inercial, um sonar e o envio de referências de velocidade para cada um dos nós de controlo ligados a um barramento CAN instalado no veículo. A implementação do veículo foi alcançada nas suas vertentes mecânica, de hardware e software. O UAV foi equipado com um sistema computacional dotando-o de capacidades para o desempenho de tarefas previamente analisadas. No presente trabalho, são também tiradas algumas conclusões sobre o desenvolvimento do sistema e sua implementação bem como perspectivada a sua evolução futura no contexto de missões coordenadas de múltiplos veículos robóticos.

Evaluation of positioning error-induced pixel shifts on satellite linear push-broom imagery

Georeferencing is one of the major tasks of satellite-borne remote sensing. Compared to traditional indirect methods, direct georeferencing through a Global Positioning System/inertial navigation system requires fewer and simpler steps to obtain exterior orientation parameters of remotely sensed images. However, the pixel shift caused by geographic positioning error, which is generally derived from boresight angle as well as terrain topography variation, can have a great impact on the precision of georeferencing. The distribution of pixel shifts introduced by the positioning error on a satellite linear push-broom image is quantitatively analyzed. We use the variation of the object space coordinate to simulate different kinds of positioning errors and terrain topography. Then a total differential method was applied to establish a rigorous sensor model in order to mathematically obtain the relationship between pixel shift and positioning error. Finally, two simulation experiments are conducted using the imaging parameters of Chang’ E-1 satellite to evaluate two different kinds of positioning errors. The experimental results have shown that with the experimental parameters, the maximum pixel shift could reach 1.74 pixels. The proposed approach can be extended to a generic application for imaging error modeling in remote sensing with terrain variation.

Um modelo de unidade de medida inercial utilizando três acelerômetros triaxiais

No espaço tridimensional, um corpo rígido qualquer pode efetuar translações e ou rotações em relação a cada um de seus eixos. Identificar com precisão o deslocamento realizado por um corpo é fundamental para alguns tipos de sistemas em engenharia. Em sistemas de navegação inercial tradicionais, utilizam-se acelerômetros para reconhecer a aceleração linear e giroscópios para reconhecer a velocidade angular registrada durante o deslocamento. O giroscópio, entretanto, é um dispositivo de custo mais elevado e com alto consumo de energia quando comparado a um acelerômetro. Essa desvantagem deu origem a pesquisas a respeito de sistemas e unidades de medidas inerciais que não utilizam giroscópios. A ideia de utilizar apenas acelerômetros para calcular o movimento linear e angular surgiu no início da década de 60 e vem se desenvolvendo através de modelos que variam no número de sensores, na maneira como estes são organizados e no modelo matemático que é utilizado para derivar o movimento do corpo. Esse trabalho propõe um esquema de configuração para construção de uma unidade de medida inercial que utiliza três acelerômetros triaxiais. Para identificar o deslocamento de um corpo rígido a partir deste esquema, foi utilizado um modelo matemático que utiliza apenas os nove sinais de aceleração extraídos dos três sensores. A proposta sugere que os sensores sejam montados e distribuídos em formato de L . Essa disposição permite a utilização de um único plano do sistema de coordenadas, facilitando assim a instalação e configuração destes dispositivos e possibilitando a implantação dos sensores em uma única placa de circuito integrado. Os resultados encontrados a partir das simulações iniciais demonstram a viabilidade da utilização do esquema de configuração proposto

Orientação semi-automática de uma sequência de pares de imagens frontais por fototriangulação a partir de fotocoordenadas extraídas pelo SIFT

Pós-graduação em Ciências Cartográficas - FCT

Tecniche GPS/INS per l'anilisi dinamica di un ciclomotore

Nel seguente elaborato si espone l’utilizzo del sistema GPS/INS per la valutazione del moto di un ciclomotore. Tale sistema è composto da sensori GPS ( Global Navigation System ) per la misurazione della posizione, e da sensori INS ( Inertial Navigation System) per la misurazione dell’accelerazione e delle velocità angolari rispetto a tre assi coordinati. Chiaramente le misure di accelerazioni e di velocità angolari da parte dei sensori, presentano dei minimi errori, che però si ripercuotono sul posizionamento finale. Per limitare questo fenomeno e rendere la misura di velocità e posizione utilizzabile, un filtro di Kalman viene impiegato per correggere il risultato dell'integrazione usando le misurazioni del GPS. Il connubio tra il sistema INS e il sistema GPS è molto efficacie anche quando si ha una assenza di ricezione satellitare o perdita parziale dei satelliti (cycle slip). Infine è stato utilizzato uno smartphone sfruttando i sensori in esso presenti : accelerometri, giroscopi, GPS, per analizzare la dinamica di un ciclomotore, concentrandosi sull’assetto in particolar modo l’angolo di rollio. Tale prova è stata affrontata non tanto per validare il sistema GPS/INS, ma per provare una soluzione comoda e di basso costo per analizzare il moto di un ciclomotore.

Seabed photographs taken along OFOS profiles during POLARSTERN cruise PS96 (ANT-XXXI/2 FROSN)

Within the context of the overall ecological working programme Dynamics of Antarctic Marine Shelf Ecosystems (DynAMo) of the PS96 (ANT-XXXI/2) cruise of RV "Polarstern" to the Weddell Sea (Dec 2015 to Feb 2016), seabed imaging surveys were carried out along drift profiles by means of the Ocean Floor Observation System (OFOS) of the Alfred Wegener Institute, Helmholtz Centre for Polar and Marine Research (AWI) Bremerhaven. The setup and mode of deployment of the OFOS was similar to that described by Bergmann and Klages (2012, doi:10.1016/j.marpolbul.2012.09.018). OFOS is a surface-powered gear equipped with two downward-looking cameras installed side-by-side: one high-resolution, wide-angle still camera (CANON® EOS 5D Mark III; lens: Canon EF 24 f/1.4L II, f stop: 13, exposure time: 1/125 sec; in-air view angles: 74° (horizontal), 53° (vertical), 84° (diagonal); image size: 5760 x 3840 px = 21 MPix; front of pressure resistant camera housing consisting of plexiglass dome port) and one high-definition color video camera (SONY® FCB-H11). The system was vertically lowered over the stern of the ship with a broadband fibre-optic cable, until it hovers approximately 1.5 m above the seabed. It was then towed after the slowly sailing ship at a speed of approximately 0.5 kn (0.25 m/s). The ship's Global Acoustic Positioning System (GAPS), combining Ultra Short Base Line (USBL), Inertial Navigation System (INS) and satellite-based Global Positioning System (GPS) technologies, was used to gain highly precise underwater position data of the OFOS. During the profile, OFOS was kept hanging at the preferred height above the seafloor by means of the live video feed and occasional minor cable-length adjustments with the winch to compensate small-scale bathymetric variations in seabed morphology. Information on water depth and height above the seafloor were continuously recorded by means of OFOS-mounted sensors (GAPS transponder, Tritech altimeter). Three lasers, which are placed beside the still camera, emit parallel beams and project red light points, arranged as an equilateral triangle with a side length of 50 cm, in each photo, thus providing a scale that can be used to calculate the seabed area depicted in each image and/or measure the size of organisms or seabed features visible in the image. In addition, the seabed area depicted was estimated using altimeter-derived height above seafloor and optical characteristics of the OFOS still camera. In automatic mode, a seabed photo, depicting an area of approximately 3.45 m**2 (= 2.3 m x 1.5 m; with variations depending on the actual height above ground), was taken every 30 seconds to obtain series of "TIMER" stills distributed at regular distances along the profiles that vary in length depending on duration of the cast. At a ship speed of 0.5 kn, the average distance between seabed images was approximately 5 m. Additional "HOTKEY" photos were taken from interesting objects (organisms, seabed features, such as putative iceberg scours) when they appeared in the live video feed (which was also recorded, in addition to the stills, for documentation and possible later analysis). If any image from this collection is used, please cite the reference as given above.

On precise three-dimensional environment modeling via UAV-based photogrammetric systems

Abstract : Images acquired from unmanned aerial vehicles (UAVs) can provide data with unprecedented spatial and temporal resolution for three-dimensional (3D) modeling. Solutions developed for this purpose are mainly operating based on photogrammetry concepts, namely UAV-Photogrammetry Systems (UAV-PS). Such systems are used in applications where both geospatial and visual information of the environment is required. These applications include, but are not limited to, natural resource management such as precision agriculture, military and police-related services such as traffic-law enforcement, precision engineering such as infrastructure inspection, and health services such as epidemic emergency management. UAV-photogrammetry systems can be differentiated based on their spatial characteristics in terms of accuracy and resolution. That is some applications, such as precision engineering, require high-resolution and high-accuracy information of the environment (e.g. 3D modeling with less than one centimeter accuracy and resolution). In other applications, lower levels of accuracy might be sufficient, (e.g. wildlife management needing few decimeters of resolution). However, even in those applications, the specific characteristics of UAV-PSs should be well considered in the steps of both system development and application in order to yield satisfying results. In this regard, this thesis presents a comprehensive review of the applications of unmanned aerial imagery, where the objective was to determine the challenges that remote-sensing applications of UAV systems currently face. This review also allowed recognizing the specific characteristics and requirements of UAV-PSs, which are mostly ignored or not thoroughly assessed in recent studies. Accordingly, the focus of the first part of this thesis is on exploring the methodological and experimental aspects of implementing a UAV-PS. The developed system was extensively evaluated for precise modeling of an open-pit gravel mine and performing volumetric-change measurements. This application was selected for two main reasons. Firstly, this case study provided a challenging environment for 3D modeling, in terms of scale changes, terrain relief variations as well as structure and texture diversities. Secondly, open-pit-mine monitoring demands high levels of accuracy, which justifies our efforts to improve the developed UAV-PS to its maximum capacities. The hardware of the system consisted of an electric-powered helicopter, a high-resolution digital camera, and an inertial navigation system. The software of the system included the in-house programs specifically designed for camera calibration, platform calibration, system integration, onboard data acquisition, flight planning and ground control point (GCP) detection. The detailed features of the system are discussed in the thesis, and solutions are proposed in order to enhance the system and its photogrammetric outputs. The accuracy of the results was evaluated under various mapping conditions, including direct georeferencing and indirect georeferencing with different numbers, distributions and types of ground control points. Additionally, the effects of imaging configuration and network stability on modeling accuracy were assessed. The second part of this thesis concentrates on improving the techniques of sparse and dense reconstruction. The proposed solutions are alternatives to traditional aerial photogrammetry techniques, properly adapted to specific characteristics of unmanned, low-altitude imagery. Firstly, a method was developed for robust sparse matching and epipolar-geometry estimation. The main achievement of this method was its capacity to handle a very high percentage of outliers (errors among corresponding points) with remarkable computational efficiency (compared to the state-of-the-art techniques). Secondly, a block bundle adjustment (BBA) strategy was proposed based on the integration of intrinsic camera calibration parameters as pseudo-observations to Gauss-Helmert model. The principal advantage of this strategy was controlling the adverse effect of unstable imaging networks and noisy image observations on the accuracy of self-calibration. The sparse implementation of this strategy was also performed, which allowed its application to data sets containing a lot of tie points. Finally, the concepts of intrinsic curves were revisited for dense stereo matching. The proposed technique could achieve a high level of accuracy and efficiency by searching only through a small fraction of the whole disparity search space as well as internally handling occlusions and matching ambiguities. These photogrammetric solutions were extensively tested using synthetic data, close-range images and the images acquired from the gravel-pit mine. Achieving absolute 3D mapping accuracy of 11±7 mm illustrated the success of this system for high-precision modeling of the environment.