System-on-chip field-programmable gate array design for onboard real-time hyperspectral unmixing

Hyperspectral instruments have been incorporated in satellite missions, providing large amounts of data of high spectral resolution of the Earth surface. This data can be used in remote sensing applications that often require a real-time or near-real-time response. To avoid delays between hyperspectral image acquisition and its interpretation, the last usually done on a ground station, onboard systems have emerged to process data, reducing the volume of information to transfer from the satellite to the ground station. For this purpose, compact reconfigurable hardware modules, such as field-programmable gate arrays (FPGAs), are widely used. This paper proposes an FPGA-based architecture for hyperspectral unmixing. This method based on the vertex component analysis (VCA) and it works without a dimensionality reduction preprocessing step. The architecture has been designed for a low-cost Xilinx Zynq board with a Zynq-7020 system-on-chip FPGA-based on the Artix-7 FPGA programmable logic and tested using real hyperspectral data. Experimental results indicate that the proposed implementation can achieve real-time processing, while maintaining the methods accuracy, which indicate the potential of the proposed platform to implement high-performance, low-cost embedded systems, opening perspectives for onboard hyperspectral image processing.

Vertex component analysis: a geometric-based approach to unmix hyperspectral data

Hyperspectral remote sensing exploits the electromagnetic scattering patterns of the different materials at specific wavelengths [2, 3]. Hyperspectral sensors have been developed to sample the scattered portion of the electromagnetic spectrum extending from the visible region through the near-infrared and mid-infrared, in hundreds of narrow contiguous bands [4, 5]. The number and variety of potential civilian and military applications of hyperspectral remote sensing is enormous [6, 7]. Very often, the resolution cell corresponding to a single pixel in an image contains several substances (endmembers) [4]. In this situation, the scattered energy is a mixing of the endmember spectra. A challenging task underlying many hyperspectral imagery applications is then decomposing a mixed pixel into a collection of reflectance spectra, called endmember signatures, and the corresponding abundance fractions [8–10]. Depending on the mixing scales at each pixel, the observed mixture is either linear or nonlinear [11, 12]. Linear mixing model holds approximately when the mixing scale is macroscopic [13] and there is negligible interaction among distinct endmembers [3, 14]. If, however, the mixing scale is microscopic (or intimate mixtures) [15, 16] and the incident solar radiation is scattered by the scene through multiple bounces involving several endmembers [17], the linear model is no longer accurate. Linear spectral unmixing has been intensively researched in the last years [9, 10, 12, 18–21]. It considers that a mixed pixel is a linear combination of endmember signatures weighted by the correspondent abundance fractions. Under this model, and assuming that the number of substances and their reflectance spectra are known, hyperspectral unmixing is a linear problem for which many solutions have been proposed (e.g., maximum likelihood estimation [8], spectral signature matching [22], spectral angle mapper [23], subspace projection methods [24,25], and constrained least squares [26]). In most cases, the number of substances and their reflectances are not known and, then, hyperspectral unmixing falls into the class of blind source separation problems [27]. Independent component analysis (ICA) has recently been proposed as a tool to blindly unmix hyperspectral data [28–31]. ICA is based on the assumption of mutually independent sources (abundance fractions), which is not the case of hyperspectral data, since the sum of abundance fractions is constant, implying statistical dependence among them. This dependence compromises ICA applicability to hyperspectral images as shown in Refs. [21, 32]. In fact, ICA finds the endmember signatures by multiplying the spectral vectors with an unmixing matrix, which minimizes the mutual information among sources. If sources are independent, ICA provides the correct unmixing, since the minimum of the mutual information is obtained only when sources are independent. This is no longer true for dependent abundance fractions. Nevertheless, some endmembers may be approximately unmixed. These aspects are addressed in Ref. [33]. Under the linear mixing model, the observations from a scene are in a simplex whose vertices correspond to the endmembers. Several approaches [34–36] have exploited this geometric feature of hyperspectral mixtures [35]. Minimum volume transform (MVT) algorithm [36] determines the simplex of minimum volume containing the data. The method presented in Ref. [37] is also of MVT type but, by introducing the notion of bundles, it takes into account the endmember variability usually present in hyperspectral mixtures. The MVT type approaches are complex from the computational point of view. Usually, these algorithms find in the first place the convex hull defined by the observed data and then fit a minimum volume simplex to it. For example, the gift wrapping algorithm [38] computes the convex hull of n data points in a d-dimensional space with a computational complexity of O(nbd=2cþ1), where bxc is the highest integer lower or equal than x and n is the number of samples. The complexity of the method presented in Ref. [37] is even higher, since the temperature of the simulated annealing algorithm used shall follow a log( ) law [39] to assure convergence (in probability) to the desired solution. Aiming at a lower computational complexity, some algorithms such as the pixel purity index (PPI) [35] and the N-FINDR [40] still find the minimum volume simplex containing the data cloud, but they assume the presence of at least one pure pixel of each endmember in the data. This is a strong requisite that may not hold in some data sets. In any case, these algorithms find the set of most pure pixels in the data. PPI algorithm uses the minimum noise fraction (MNF) [41] as a preprocessing step to reduce dimensionality and to improve the signal-to-noise ratio (SNR). The algorithm then projects every spectral vector onto skewers (large number of random vectors) [35, 42,43]. The points corresponding to extremes, for each skewer direction, are stored. A cumulative account records the number of times each pixel (i.e., a given spectral vector) is found to be an extreme. The pixels with the highest scores are the purest ones. N-FINDR algorithm [40] is based on the fact that in p spectral dimensions, the p-volume defined by a simplex formed by the purest pixels is larger than any other volume defined by any other combination of pixels. This algorithm finds the set of pixels defining the largest volume by inflating a simplex inside the data. ORA SIS [44, 45] is a hyperspectral framework developed by the U.S. Naval Research Laboratory consisting of several algorithms organized in six modules: exemplar selector, adaptative learner, demixer, knowledge base or spectral library, and spatial postrocessor. The first step consists in flat-fielding the spectra. Next, the exemplar selection module is used to select spectral vectors that best represent the smaller convex cone containing the data. The other pixels are rejected when the spectral angle distance (SAD) is less than a given thresh old. The procedure finds the basis for a subspace of a lower dimension using a modified Gram–Schmidt orthogonalizati on. The selected vectors are then projected onto this subspace and a simplex is found by an MV T pro cess. ORA SIS is oriented to real-time target detection from uncrewed air vehicles using hyperspectral data [46]. In this chapter we develop a new algorithm to unmix linear mixtures of endmember spectra. First, the algorithm determines the number of endmembers and the signal subspace using a newly developed concept [47, 48]. Second, the algorithm extracts the most pure pixels present in the data. Unlike other methods, this algorithm is completely automatic and unsupervised. To estimate the number of endmembers and the signal subspace in hyperspectral linear mixtures, the proposed scheme begins by estimating sign al and noise correlation matrices. The latter is based on multiple regression theory. The signal subspace is then identified by selectin g the set of signal eigenvalue s that best represents the data, in the least-square sense [48,49 ], we note, however, that VCA works with projected and with unprojected data. The extraction of the end members exploits two facts: (1) the endmembers are the vertices of a simplex and (2) the affine transformation of a simplex is also a simplex. As PPI and N-FIND R algorithms, VCA also assumes the presence of pure pixels in the data. The algorithm iteratively projects data on to a direction orthogonal to the subspace spanned by the endmembers already determined. The new end member signature corresponds to the extreme of the projection. The algorithm iterates until all end members are exhausted. VCA performs much better than PPI and better than or comparable to N-FI NDR; yet it has a computational complexity between on e and two orders of magnitude lower than N-FINDR. The chapter is structure d as follows. Section 19.2 describes the fundamentals of the proposed method. Section 19.3 and Section 19.4 evaluate the proposed algorithm using simulated and real data, respectively. Section 19.5 presents some concluding remarks.

Integração modular em visualizadores médicos e aposição da marcação CE do Dispositivo Médico

Neste documento ´e feita a descrição detalhada da integração modular de um script no software OsiriX. O objectivo deste script ´e determinar o diâmetro central da artéria aorta a partir de uma Tomografia Computorizada. Para tal são abordados conceitos relacionados com a temática do processamento de imagem digital, tecnologias associadas, e.g., a norma DICOM e desenvolvimento de software. Como estudo preliminar, são analisados diversos visualizadores de imagens médica, utilizados para investigação ou mesmo comercializados. Foram realizadas duas implementações distintas do plugin. A primeira versão do plugin faz a invocação do script de processamento usando o ficheiro de estudo armazenado em disco; a segunda versão faz a passagem de dados através de um bloco de memória partilhada e utiliza o framework Java Native Interface. Por fim, é demonstrado todo o processo de aposição da Marcação CE de um dispositivo médico de classe IIa e obtenção da declaração de conformidade por parte de um Organismo Notificado. Utilizaram-se os Sistemas Operativos Mac OS X e Linux e as linguagens de programação Java, Objective-C e Python.

Correction of spatial distortion in magnetic resonance imaging

Dissertation to Obtain the Degree of Master in Biomedical Engineering

Disposable solid state probe for optical screening of chlorpromazine

We are presenting a simple, low-cost and rapid solid-state optical probe for screening chlorpromazine (CPZ) in aquacultures. The method exploits the colourimetric reaction between CPZ and Fe(III) ion that occurs at a solid/liquid interface, the solid layer consisting of ferric iron entrapped in a layer of plasticized PVC. If solutions containing CPZ are dropped onto such a layer, a colour change occurs from light yellow to dark pink or even light blue, depending on the concentration of CPZ. Visual inspection enables the concentration of CPZ to be estimated. The resulting colouration was also monitored by digital image collection for a more accurate quantification. The three coordinates of the hue, saturation and lightness system were obtained by standard image processing along with mathematical data treatment. The parameters affecting colour were assessed and optimized. Studies were conducted by visible spectrophotometry and digital image acquisition, respectively. The response of the optimized probe towards the concentration of CPZ was tested for several mathematical transformations of the colour coordinates, and a linear relation was found for the sum of hue and luminosity. The limit of detection is 50 μM (corresponding to about 16 μg per mL). The probe enables quick screening for CPZ in real water samples with prior sample treatment.

Generalized Extraction of Real-Time Parameters for Homogeneous Synchronous Dataflow Graphs

23rd Euromicro International Conference on Parallel, Distributed, and Network-Based Processing (PDP 2015). 4 to 6, Mar, 2015. Turku, Finland.

A Real Time Vision System for Autonomous Systems: Characterization during a Middle Size Match

in RoboCup 2007: Robot Soccer World Cup XI

Aquisição e Processamento de Imagens de Microscopia em Balística Forense

As novas tecnologias aplicadas ao processamento de imagem e reconhecimento de padrões têm sido alvo de um grande progresso nas últimas décadas. A sua aplicação é transversal a diversas áreas da ciência, nomeadamente a área da balística forense. O estudo de evidências (invólucros e projeteis) encontradas numa cena de crime, recorrendo a técnicas de processamento e análise de imagem, é pertinente pelo facto de, aquando do disparo, as armas de fogo imprimirem marcas únicas nos invólucros e projéteis deflagrados, permitindo relacionar evidências deflagradas pela mesma arma. A comparação manual de evidências encontradas numa cena de crime com evidências presentes numa base de dados, em termos de parâmetros visuais, constitui uma abordagem demorada. No âmbito deste trabalho pretendeu-se desenvolver técnicas automáticas de processamento e análise de imagens de evidências, obtidas através do microscópio ótico de comparação, tendo por base algoritmos computacionais. Estes foram desenvolvidos com recurso a pacotes de bibliotecas e a ferramentas open-source. Para a aquisição das imagens de evidências balísticas foram definidas quatro modalidades de aquisição: modalidade Planar, Multifocus, Microscan e Multiscan. As imagens obtidas foram aplicados algoritmos de processamento especialmente desenvolvidos para o efeito. A aplicação dos algoritmos de processamento permite a segmentação de imagem, a extração de características e o alinhamento de imagem. Este último tem como finalidade correlacionar as evidências e obter um valor quantitativo (métrica), indicando o quão similar essas evidências são. Com base no trabalho desenvolvido e nos resultados obtidos, foram definidos protocolos de aquisição de imagens de microscopia, que possibilitam a aquisição de imagens das regiões passiveis de serem estudadas, assim como algoritmos que permitem automatizar o posterior processo de alinhamento de imagens de evidências, constituindo uma vantagem em relação ao processo de comparação manual.

Desenvolvimento de um fantoma cerebral para ressonância magnética

O controlo da qualidade em ressonância magnética (RM) passa pela realização de diversos testes ao equipamento e calibrações diárias, onde os fantomas desempenham um papel fundamental. Este trabalho teve como objetivo principal o desenvolvimento de um fantoma cerebral para um sistema de RM de intensidade 3.0 Tesla. Com base na literatura existente, escolheram-se como reagentes o cloreto de gadolínio (III) (GdCl3), a agarose, e o gelificante carragena, tendo sido ainda acrescentado o conservante químico azida de sódio (NaN3) de forma a inibir a degradação da solução. Realizaram-se vários testes com diferentes concentrações dos materiais selecionados até obter as misturas adequadas a suscetibilidade magnética das substâncias branca e cinzenta cerebrais. Os tempos de relaxação T1 das diversas substâncias desenvolvidas foram medidos, apresentando o fantoma final uns tempos de T1 de 702±10 ms, quando a concentração de GdCl3 foi de 100 µmol (substância branca) e 1179±23 ms quando a concentração foi de 15 µmol (substância cinzenta). Os valores de T1 do fantoma foram comparados estatisticamente com os tempos de relaxação conseguidos a partir de um cérebro humano, obtendo-se uma correlação de 0.867 com significância estatística. No intuito de demonstrar a aplicabilidade do fantoma, este foi sujeito a um protocolo de RM, do qual constaram as sequências habitualmente usadas no estudo cerebral. Como principais resultados constatou-se que, nas sequências ponderadas em T1, o fantoma apresenta uma forte associação positiva (rs > 0.700 p = 0.072) com o cérebro de referência, ainda que não sejam estatisticamente significativos. As sequências ponderadas em T2 demonstraram uma correlação positiva moderada e fraca, sendo a ponderação densidade protónica a única a apresentar uma associação negativa. Desta forma, o fantoma revelou-se um ótimo substituto do cérebro humano. Este trabalho culminou na criação de um modelo cerebral tridimensional onde foram individualizadas as regiões das substâncias branca e cinzenta, de forma a posteriormente serem preenchidas pelas correspondentes substâncias desenvolvidas, obtendo-se um fantoma cerebral antropomórfico.

A learning approach to swarm-based path detection and tracking

Dissertação para obtenção do Grau de Mestre em Engenharia Electrotécnica e de Computadores

Detecção e Quantificação de Neurónios em C.elegans

Nesta dissertação é apresentado um estudo dos sistemas de processamento automático de imagem em contexto de um problema relacionado com a individualização de neurónios em imagens da nematoda C. elegans durante estudos relacionados com a doença de Parkinson. Apresenta-se uma breve introdução à anatomia do verme, uma introdução à doença de Parkinson e uso do C. elegans em estudos relacionados e também é feita a análise de artigos em contexto de processamento de imagem para contextualizar a situação atual de soluções para o problema de extração de características e regiões específicas. Neste projeto é desenvolvida uma pipeline com o auxilio do software CellProfiler para procurar uma resposta para o problema em questão.

Automated segmentation, tracking and evaluation of bacteria in microscopy images

Dissertação para obtenção do Grau de Mestre em Engenharia Biomédica

Estudo da Delaminação em Compósitos de Epóxido Reforçado com Borracha e Fibras Naturais

Nos últimos anos, a utilização dos materiais compósitos tem vindo a tornar-se cada vez mais comum em várias indústrias, onde se verifica uma ascensão na procura pelos mesmos. Características como o baixo peso aliado à sua alta resistência e rigidez permitem que estes materiais possuam diversas aplicações em variadas áreas, desde a medicina, aeronáutica, indústria automóvel e aeroespacial, até à indústria eletrónica. Hoje em dia, o uso de desperdícios sólidos de borracha e fibras naturais na produção de materiais compósitos é, mais que uma opção, uma necessidade ambiental. De forma a reduzir as enormes quantidades de desperdícios, foi criado um material compósito constituído por uma resina termoendurecível reforçada com esses dois tipos de desperdícios. Parâmetros de fabrico como a percentagem de borracha, o tamanho das partículas de borracha, a percentagem de fibras de cana-de-açúcar e o comprimento dessas fibras foram variados, com o objetivo de estudar a influência destes dois materiais nas propriedades mecânicas do compósito. Apesar da maior parte dos compósitos serem fabricados na forma de uma peça funcional quase pronta a ser utilizada, por vezes é necessário recorrer à maquinação de furos. Apesar das muitas técnicas de furação existentes, os defeitos resultantes deste processo aplicado aos materiais compósitos são ainda muito comuns. Desses defeitos o que mais se destaca é sem dúvida a delaminação. Trinta e seis provetes de epóxido reforçado com borracha e fibra de cana-de-açúcar foram fabricados e furados, de modo a possibilitar o estudo das propriedades mecânicas do material compósito, assim como a análise da zona danificada durante a furação. Diferentes condições de furação, como tipos de broca e velocidades de avanço diferentes, foram impostas aos provetes de forma a variar o mais possível a zona de dano de uns furos para os outros. Parâmetros como a área de dano ou ainda o fator de delaminação provam ser muito úteis na caracterização e quantificação do dano na zona periférica de um furo. Recorrendo a técnicas de processamento de imagem foi possível obter esses parâmetros. O processamento e análise de imagem pode ser feito através de vários métodos. O método utilizado neste trabalho foi o software MATLAB® associado a ferramentas de processamento de imagem. Depois de feita a análise dos furos foram realizados ensaios de esmagamento a todos os provetes. Este passo permitiu assim avaliar de que forma os parâmetros de furação influenciam a resistência mecânica do material, e se a avaliação realizada aos furos é um método viável para a avaliação da extensão de dano nesses furos.

Detecting and evaluating land cover change in the eastern half of East Timor (1972-2011)

Dissertation submitted in partial fulfillment of the requirements for the Degree of Master of Science in Geospatial Technologies.

About using serious games to teach (Portuguese) sign language

Sign language is the form of communication used by Deaf people, which, in most cases have been learned since childhood. The problem arises when a non-Deaf tries to contact with a Deaf. For example, when non-Deaf parents try to communicate with their Deaf child. In most cases, this situation tends to happen when the parents did not have time to properly learn sign language. This dissertation proposes the teaching of sign language through the usage of serious games. Currently, similar solutions to this proposal do exist, however, those solutions are scarce and limited. For this reason, the proposed solution is composed of a natural user interface that is intended to create a new concept on this field. The validation of this work, consisted on the implementation of a serious game prototype, which can be used as a source for learning (Portuguese) sign language. On this validation, it was first implemented a module responsible for recognizing sign language. This first stage, allowed the increase of interaction and the construction of an algorithm capable of accurately recognizing sign language. On a second stage of the validation, the proposal was studied so that the pros and cons can be determined and considered on future works.