DESIGN, FABRICATION, AND PERFORMANCE CHARACTERIZATION OF MULTIFUNCTIONAL STRUCTURES TO HARVEST SOLAR ENERGY FOR FLAPPING WING AERIAL VEHICLES

Flapping Wing Aerial Vehicles (FWAVs) have the capability to combine the benefits of both fixed wing vehicles and rotary vehicles. However, flight time is limited due to limited on-board energy storage capacity. For most Unmanned Aerial Vehicle (UAV) operators, frequent recharging of the batteries is not ideal due to lack of nearby electrical outlets. This imposes serious limitations on FWAV flights. The approach taken to extend the flight time of UAVs was to integrate photovoltaic solar cells onto different structures of the vehicle to harvest and use energy from the sun. Integration of the solar cells can greatly improve the energy capacity of an UAV; however, this integration does effect the performance of the UAV and especially FWAVs. The integration of solar cells affects the ability of the vehicle to produce the aerodynamic forces necessary to maintain flight. This PhD dissertation characterizes the effects of solar cell integration on the performance of a FWAV. Robo Raven, a recently developed FWAV, is used as the platform for this work. An additive manufacturing technique was developed to integrate photovoltaic solar cells into the wing and tail structures of the vehicle. An approach to characterizing the effects of solar cell integration to the wings, tail, and body of the UAV is also described. This approach includes measurement of aerodynamic forces generated by the vehicle and measurements of the wing shape during the flapping cycle using Digital Image Correlation. Various changes to wing, body, and tail design are investigated and changes in performance for each design are measured. The electrical performance from the solar cells is also characterized. A new multifunctional performance model was formulated that describes how integration of solar cells influences the flight performance. Aerodynamic models were developed to describe effects of solar cell integration force production and performance of the FWAV. Thus, performance changes can be predicted depending on changes in design. Sensing capabilities of the solar cells were also discovered and correlated to the deformation of the wing. This demonstrated that the solar cells were capable of: (1) Lightweight and flexible structure to generate aerodynamic forces, (2) Energy harvesting to extend operational time and autonomy, (3) Sensing of an aerodynamic force associated with wing deformation. Finally, different flexible photovoltaic materials with higher efficiencies are investigated, which enable the multifunctional wings to provide enough solar power to keep the FWAV aloft without batteries as long as there is enough sunlight to power the vehicle.

Deep learning based style transfer for low altitude aerial imagery

Unmanned Aerial Vehicle (UAVs) equipped with cameras have been fast deployed to a wide range of applications, such as smart cities, agriculture or search and rescue applications. Even though UAV datasets exist, the amount of open and quality UAV datasets is limited. So far, we want to overcome this lack of high quality annotation data by developing a simulation framework for a parametric generation of synthetic data. The framework accepts input via a serializable format. The input specifies which environment preset is used, the objects to be placed in the environment along with their position and orientation as well as additional information such as object color and size. The result is an environment that is able to produce UAV typical data: RGB image from the UAVs camera, altitude, roll, pitch and yawn of the UAV. Beyond the image generation process, we improve the resulting image data photorealism by using Synthetic-To-Real transfer learning methods. Transfer learning focuses on storing knowledge gained while solving one problem and applying it to a different - although related - problem. This approach has been widely researched in other affine fields and results demonstrate it to be an interesing area to investigate. Since simulated images are easy to create and synthetic-to-real translation has shown good quality results, we are able to generate pseudo-realistic images. Furthermore, object labels are inherently given, so we are capable of extending the already existing UAV datasets with realistic quality images and high resolution meta-data. During the development of this thesis we have been able to produce a result of 68.4% on UAVid. This can be considered a new state-of-art result on this dataset.

Sistema de percepção visual para veículos autónomos aéreos

Esta dissertação aborda o problema de detecção e desvio de obstáculos "SAA- Sense And Avoid" em movimento para veículos aéreos. Em particular apresenta contribuições tendo em vista a obtenção de soluções para permitir a utilização de aeronaves não tripuladas em espaço aéreo não segregado e para aplicações civis. Estas contribuições caracterizam-se por: uma análise do problema de SAA em \UAV's - Unmmaned Aerial Vehicles\ civis; a definição do conceito e metodologia para o projecto deste tipo de sistemas; uma proposta de \ben- chmarking\ para o sistema SAA caracterizando um conjunto de "datasets\ adequados para a validação de métodos de detecção; respectiva validação experimental do processo e obtenção de "datasets"; a análise do estado da arte para a detecção de \Dim point features\ ; o projecto de uma arquitectura para uma solução de SAA incorporando a integração de compensação de \ego motion" e respectiva validação para um "dataset" recolhido. Tendo em vista a análise comparativa de diferentes métodos bem como a validação de soluções foi proposta a recolha de um conjunto de \datasets" de informação sensorial e de navegação. Para os mesmos foram definidos um conjunto de experiências e cenários experimentais. Foi projectado e implementado um setup experimental para a recolha dos \datasets" e realizadas experiências de recolha recorrendo a aeronaves tripuladas. O setup desenvolvido incorpora um sistema inercial de alta precisão, duas câmaras digitais sincronizadas (possibilitando análise de informa formação stereo) e um receptor GPS. As aeronaves alvo transportam um receptor GPS com logger incorporado permitindo a correlação espacial dos resultados de detecção. Com este sistema foram recolhidos dados referentes a cenários de aproximação com diferentes trajectórias e condições ambientais bem como incorporando movimento do dispositivo detector. O método proposto foi validado para os datasets recolhidos tendo-se verificado, numa análise preliminar, a detecção do obstáculo (avião ultraleve) em todas as frames para uma distância inferior a 3 km com taxas de sucesso na ordem dos 95% para distâncias entre os 3 e os 4 km. Os resultados apresentados permitem validar a arquitectura proposta para a solução do problema de SAA em veículos aéreos autónomos e abrem perspectivas muito promissoras para desenvolvimento futuro com forte impacto técnico-científico bem como sócio-economico. A incorporação de informa formação de \ego motion" permite fornecer um forte incremento em termos de desempenho.

Sistema de visão para aterragem automática de UAV

Dissertação para obtenção do grau de Mestre em Engenharia Electrotécnica Ramo de Automação e Electrónica Industrial

Multi-robot cooperative stereo for outdoor scenarios

13th International Conference on Autonomous Robot Systems (Robotica), 2013

Uncertainty based Multi-Robot Cooperative Triangulation

The paper presents a multi-robot cooperative framework to estimate the 3D position of dynamic targets, based on bearing-only vision measurements. The uncertainty of the observation provided by each robot equipped with a bearing-only vision system is effectively addressed for cooperative triangulation purposes by weighing the contribution of each monocular bearing ray in a probabilistic manner. The envisioned framework is evaluated in an outdoor scenario with a team of heterogeneous robots composed of an Unmanned Ground and Aerial Vehicle.

Desenvolvimento e Controlo de um Veículo Autónomo Aéreo Quadrotor

A crescente necessidade de meios de inspecção e recolha de informação de infraestruturas e do meio ambiente natural, origina o recurso a meios tecnológicos cada vez mais evoluídos. Neste contexto, os robôs móveis autónomos aéreos surgem como uma ferramenta importante. Em particular, os veículos aéreos de asa móvel, pela sua manobrabilidade e controlo podem-se utilizar eficazmente em meios complexos como cenários interiores onde o ambiente é parcialmente controlado. A sua utilização em coordenação com outros veículos robóticos móveis e em particular com a crescente autonomia de decisão, permitem uma eficiência elevada, por exemplo, em tarefas de recolha automática de informação, vigilância, apoio a comunicações, etc. A inexistência de um veículo autónomo de asa móvel no cenário multi-robótico desenvolvido pelo Laboratório de Sistemas Autónomos do Instituto Superior de Engenharia do Porto, aliada às suas aplicações referidas, criou a necessidade do desenvolvimento de um veículo desta gama. Identificou-se, pois, o desenvolvimento de um veículo autónomo aéreo do tipo quadrotor com capacidade de vôo base estabilizado como o problema a resolver. Foi efectuado um levantamento de requisitos do sistema, a caracterização de um veículo autónomo aéreo Vertical Take-off and Landing - VTOL, e efectuado um trabalho de pesquisa a fim de possibilitar o conhecimento das técnicas e tecnologias envolvidas. Tendo em vista o objectivo de controlo e estabilização do veículo, foi efectuada a modelização do sistema que serviu não só para a melhor compreensão da sua dinâmica mas também para o desenvolvimento de um simulador que possibilitou a validação de estratégias de controlo e avaliação de comportamentos do veículo para diferentes cenários. A inexistência de controladores de motores brushless adequada (frequência de controlo), originou o desenvolvimento de um controlador dedicado para motores brushless, motores esses utilizados para a propulsão do veículo. Este controlador permite uma taxa de controlo a uma frequência de 20KHz, possui múltiplas interfaces de comunicação (CAN, RS232, Ethernet, SPI e JTAG), é de reduzido peso e dimensões e modular, visto ter sido implementado em dois módulos, i.e., permite a sua utilização com diferentes interfaces de potência. Projectou-se um veículo autónomo aéreo em termos físicos com a definição da sua arquitectura de hardware e software bem como o sistema de controlo de vôo. O sistema de estabilização de vôo compreende o processamento de informação fornecida por um sistema de navegação inercial, um sonar e o envio de referências de velocidade para cada um dos nós de controlo ligados a um barramento CAN instalado no veículo. A implementação do veículo foi alcançada nas suas vertentes mecânica, de hardware e software. O UAV foi equipado com um sistema computacional dotando-o de capacidades para o desempenho de tarefas previamente analisadas. No presente trabalho, são também tiradas algumas conclusões sobre o desenvolvimento do sistema e sua implementação bem como perspectivada a sua evolução futura no contexto de missões coordenadas de múltiplos veículos robóticos.

Geospatial assessment of pest-induced forest damage through the use of UAV-bases NIR imaging and Gi-technology

Dissertation submitted in partial fulfillment of the requirements for the Degree of Master of Science in Geospatial Technologies.

UAV - based imagery processing using structure from motion and remote sensing technology

With the recent advances in technology and miniaturization of devices such as GPS or IMU, Unmanned Aerial Vehicles became a feasible platform for a Remote Sensing applications. The use of UAVs compared to the conventional aerial platforms provides a set of advantages such as higher spatial resolution of the derived products. UAV - based imagery obtained by a user grade cameras introduces a set of problems which have to be solved, e. g. rotational or angular differences or unknown or insufficiently precise IO and EO camera parameters. In this work, UAV - based imagery of RGB and CIR type was processed using two different workflows based on PhotoScan and VisualSfM software solutions resulting in the DSM and orthophoto products. Feature detection and matching parameters influence on the result quality as well as a processing time was examined and the optimal parameter setup was presented. Products of the both workflows were compared in terms of a quality and a spatial accuracy. Both workflows were compared by presenting the processing times and quality of the results. Finally, the obtained products were used in order to demonstrate vegetation classification. Contribution of the IHS transformations was examined with respect to the classification accuracy.

Optimización de Arquitecturas de Procesamiento Digital de Señales en Lógica Programable para Aplicaciones en Vuelos No Tripulados

En dispositivos electrónicos de última generación destinados a funciones de comunicación o control automático, los algoritmos de procesamiento digital de señales trasladados al hardware han ocupado un lugar fundamental. Es decir el estado de arte en el área de las comunicaciones y control puede resumirse en algoritmos basados en procesamiento digital de señales. Las implementaciones digitales de estos algoritmos han sido estudiadas en áreas de la informática desde hace tiempo. Sin embargo, aunque el incremento en la complejidad de los algoritmos modernos permite alcanzar desempeños atractivos en aplicaciones específicas, a su vez impone restricciones en la velocidad de operación que han motivado el diseño directamente en hardware de arquitecturas para alto rendimiento. En este contexto, los circuitos electrónicos basados en lógica programable, principalmente los basados en FPGA (Field-Programmable Gate Array), permiten obtener medidas de desempeño altamente confiables que proporcionan el acercamiento necesario hacia el diseño electrónico de circuitos para aplicaciones específicas “ASIC-VLSI” (Application Specific Integrated Circuit - Very Large Scale Integration). En este proyecto se analiza el diseño y la implementación de aquitecturas electrónicas para el procesamiento digital de señales, con el objeto de obtener medidas reales sobre el comportamiento del canal inalámbrico y su influencia sobre la estimación y el control de trayectoria en vehículos aéreos no tripulados (UAV, Unmanned Aerial Vehicle). Para esto se propone analizar un dispositivo híbrido basado en microcontroladores y circuitos FPGA y sobre este mismo dispositivo implementar mediante algoritmo un control de trayectoria que permita mantener un punto fijo en el centro del cuadro de una cámara de video a bordo de un UAV, que sea eficiente en términos de velocidad de operación, dimensiones y consumo de energía.

A Middleware architecture for Unmanned Aircraft Avionics

An Unmanned Aerial Vehicle is a non-piloted airplane designed to operate in dangerous and repetitive situations. With the advent of UAV's civil applications, UAVs are emerging as a valid option in commercial scenarios. If it must be economically viable, the same platform should implement avariety of missions with little reconguration time and overhead.This paper presents a middleware-based architecture specially suited to operate as a exible payload and mission controller in a UAV. The system is composed of low-costcomputing devices connected by network. The functionality is divided into reusable services distributed over a number ofnodes with a middleware managing their lifecycle and communication.Some research has been done in this area; yetit is mainly focused on the control domain and in its realtime operation. Our proposal differs in that we address the implementation of adaptable and reconfigurable unmannedmissions in low-cost and low-resources hardware.

Miehittämättömät ilma-alukset, niiden kehitys sekä käyttö viimeaikaisissa sodissa

Nykyaikaisten miehittämättömien ilma-alusten kaltaisia lentolaitteita on ollut sotilaallisessa käytössä noin neljän vuosikymmenen ajan. Laajempaan käyttöön ne ovat tulleet kuitenkin vasta 1990-luvulla, varsinkin Yhdysvaltojen johtamissa sotilaallisissa operaatioissa. Tämä työ on laadullinen eli kvalitatiivinen tutkimus, jossa käytetään tiedonkeruumenetelmänä asiakirja- ja tekstianalyysia. Tutkimusongelmana on: mikä merkitys miehittämättömillä ilma-aluksilla on nykyaikaisissa sotatoimissa? Tutkimusongelmaa on lähdetty ratkaisemaan tutkimalla Yhdysvaltojen merkittävimpien miehittämättömien ilma-alus eli UAV (Unman-ned Aerial Vehicle) -järjestelmien käyttöä viimeaikaisissa sodissa. Tutkimuksen lähdeaineisto koostuu julkaistuista teoksista, artikkeleista ja oppaista, Yhdys-valtojen puolustusministeriön raporteista, Naton ilmapuolustusseminaarissa ja kadettien ope-tuksessa luennoilla tehdyistä muistiinpanoista sekä asiantuntijahaastattelusta. Tutkimusta lähestytään taktiikan näkökulmasta. Miehittämättömät ilma-alukset ovat jo nykyään tehokas voimavara huolimatta niiden vähäi-sestä määrästä. Niiden käyttö on erittäin hyödyllistä ainakin korkean riskin alueiden tieduste-lussa. Maalin löytymisen ja tunnistamisen jälkeen kykenee UAV, laser-osoittimella varustet-tuna, valaisemaan maalin korkealla lentävälle pommikoneelle. Näin valaisija saadaan lähelle kohdetta saattamatta ihmistä vaaraan ja sillä voidaan suorittaa reaaliaikainen tuhotiedustelu sekä välitön jälkitiedustelu. Mikäli UAV on aseistettu, sillä voidaan suorittaa jo kokonaisia tuhoamistehtäviä. Se tiedus-telee, paikantaa, valaisee, ampuu, suorittaa tuhotiedustelun sekä jälkitiedustelun. Ohjuksilla tai ohjautuvilla ammuksilla aseistettuna UAV kykenee tuhoamaan pistemäisiä maaleja ilman suurta tuhovaikutuksen hajontaa ja sivullisten kohteiden ei toivottua tuhoutumista. Erityisen suuri hyöty aseistetusta miehittämättömästä ilma-aluksesta on yksittäisten liikkuvien maalien tuhoamisessa. UAV´n paikannettua yllättävä ja liikkuva maali se voidaan tuhota heti tunnis-tuksen jälkeen, eikä se ehdi paeta miehitetyn koneen paikalle saapumisen aikana.

Miehittämätön taisteluilma-alus UCAV : teknologiakatsaus

Miehittämättömien ilma-alusten käyttö taistelukentällä yleistyy jatkuvasti ja niiden rooli taistelussa on laajentumassa tiedustelusta taisteluun. Jatkuva aseteknologian kallistuminen ja ilmaoperaatioiden luonteen muuttuminen saattavat lisätä miehittämättömien ilma-alusten käyttöä merkittävästi. Miehittämättömät taisteluilma-alukset (UCAV = Unmanned Combat Aerial Vehicle) ovat monen maan suunnitelmissa mukana kun tulevaisuuden ilmataisteluiden suorittajia mietitään. Tämän tutkielman tutkimusmenetelmänä on kirjallisuustutkimus, ja tarkoituksena perehtyä laajasti aiheeseen liittyvään kirjallisuuteen. Tutkielmassa UCAV:ien teknisistä ominaisuuksista perehdytään pääsääntöisesti niihin, jotka poikkeavat miehitetyistä taisteluilma-aluksista. Suurimpana erona miehitettyihin ilmaaluksiin on miehittämättömien taisteluilma-alusten osittainen tai kokonaan autonominen toiminta ja kauko-ohjaus. Tutkimuksen tekohetkellä ei millään maalla ole operatiivisessa käytössä varsinaisia UCAV:eja. Kaikki tässä tutkielmassa mainitut UCAV:it ovat projekteja, joiden tarkoitus on tutkia erilaisia teknisiä ratkaisuja aikanaan valmistettaviin ilma-aluksiin. Johtopäätöksissä arvioidaan UCAV:ien käyttöönoton aikataulua ja niitä tehtäviä, mihin miehittämättömiä taisteluilma-aluksia voitaisiin käyttää.

UAV:n käyttö operaation Iraqi Freedom aikana John Wardenin kehäteorian näkökulmasta

UAV:t (Unmanned Aerial Vehicle, miehittämätön ilma-alus) ovat maasta ohjattavia tiedustelu-, valvonta- ja pommikoneita. Vuonna 2003 alkanut operaatio Iraqi Freedom toimi erinomaisena testikenttänä Yhdysvaltojen miehittämättömille ilma-aluksille. Tutkielman näkökulma rakentuu yhdysvaltalaisen ilmasodankäynnin teoreetikon John Wardenin kehäteorian ympärille, jonka avulla pyritään havainnoimaan UAV:iden suorittamia lentotehtäviä operaation aikana. Tämä tutkielma on laadullinen eli kvalitatiivinen tutkimus. Tutkimusmenetelmänä käytetään tapaustutkimusta. Sen avulla pyritään löytämään selityksiä tutkittavalle ilmiölle arkistolähteistä sekä muusta kirjallisuudesta. John Wardenin kehäteoria koostuu viidestä sisäkkäin olevasta kehästä, jotka rakentuvat eriarvoisista kohteista. UAV:t suorittivat operaation aikana tiedustelu- ja pommituslentoja jokaisella kehällä. Pääpaino oli sisimmällä kehällä, jossa UAV:illa tiedusteltiin Irakin johtamisjärjestelmän kohteita sekä suoritettiin pommituksia tutkakeskuksiin. Omia joukkoja tuettiin UAV:iden avulla siten, että ne tiedustelivat kulkureittejä sekä paikansivat vihollisen tykistö- ja ilmatorjuntakeskittymiä. Havainnot kohteista lähetettiin miehitetyille pommikoneille, jotka suorittivat sitten vaaditut ilmaiskut. Miehittämättömät ilma-alukset kykenivät toimimaan operaation aikana kaikilla teoriamallin kehillä vihollisen ilmatorjunnasta huolimatta. UAV:iden tiedustelutietojen avulla iskettiin täsmällisesti Irakin avainkohteita vastaan. Iskut johtivat lopulta vihollisorganisaation toiminnan lamaantumiseen. UAV on erittäin tehokas ja käytännöllinen ilma-ase, jota tullaan käyttämään enenevässä määrin tulevaisuuden ilmasodankäynnissä.

Länsimaisten SAR/GMTI-tutkien suorituskyky

SAR/GMTI-tutka (Synthetic Aperture Radar/Ground Moving Target Indicator) tuottaa tiedustelutietoa johtamisen, tiedustelun, valvonnan ja maalinosoituksen tueksi. SAR/GMTI -tutka on luotettava tiedusteluväline tutkataajuusalueella tapahtuvan tiedustelutiedon tuottamisen ansiosta, jolloin tutkan käyttö ja tiedustelutiedon tuottaminen onnistuvat huonoissakin sääolosuhteissa. SAR/GMTI-tutkien käyttö on yleistynyt sotilaskäytössä viimeisen kahdenkymmenen vuoden aikana ja niillä on ollut suuri merkitys kaikissa suuremmissa konflikteissa kylmän sodan loppumisen jälkeen. SAR-tutka käyttää lavettina liikkuvaa alustaa, useimmiten lentokonetta, muodostaakseen virtuaalisen antenniryhmän ja signaaliprosessoinnin avulla, jolloin vastaanottimeen palautuvat kaiut sijoitetaan kohdilleen ja muodostetaan SAR-kuvaa. Tarkimmillaan nykyisten SARtutkien resoluutio on muutaman kymmenen senttimetrin luokkaa ja mittausetäisyydet suurimmillaan satoja kilometrejä. GMTI-tutka havaitsee liikkuvat kohteet, kun liikkuvista kohteista palautuvat kaiuilla on eri taajuus kuin ympäröivästä maastosta palautuvilla kaiuilla ja kohteet pystytään erottelemaan välkkeen seasta. GMTI-tutkan toiminta perustuu doppler-ilmiöön. SAR-tutkaa pystytään useimmiten käyttämään GMTI-moodissa. Sotilaskäytössä olevat GMTI-tutkat pystyvät havaitsemaan keskimäärin noin henkilöauton kokoisen maalin, joka liikkuu noin 5 km/h nopeudella. SAR/GMTI-tutkia on käytetty menestyksellisesti molemmissa Irakin sodissa Yhdysvaltojen toimesta, kun tasainen aavikko ei aiheuttanut juurikaan ongelmia alueen valvontaan ilmasta käsin. Sen sijaan haasteita SAR/GMTI-tutkille ovat aiheuttaneet operaatiot Balkanilla ja Afganistanissa korkean vuoriston, peitteisen maaston ja kohteiden hankalan tunnistettavuuden takia. Suoraan taistelun tukemiseen liittyen GMTI-tutkat ovat olleet hyödyllisiä, kun valvontakoneilta saadut tiedot liikkuvista vihollisosastoista on voitu lähettää datalinkkien kautta lähestulkoon reaaliajassa. SAR-tutkat ovat olleet hyödyllisiä ennen taisteluiden alkua tiedustelutiedon keräämisessä ja vaikeakulkuisessa maastossa SAR-tutkia on käytetty esimerkiksi taisteluvaikutuksen jälkiarviointiin. SAR/GMTI-tutkien suorituskyky kehittyy jatkuvasti laitteiden resoluution ja koon pienentyessä. Datalinkeillä voidaan välittää tietoa alajohtoportaille ja SAR/GMTI-tutkia on voitu sijoittaa esimerkiksi UAV-lennokkeihin (Unmanned Aerial Vehicle), joilla on voitu suorittaa tarkempaa aluevalvontaa kuin mitä isomman kokoluokan valvontakoneilla voitaisiin toteuttaa.