Deteção e acompanhamento de movimento através de uma câmara de vídeo

A deteção e seguimento de pessoas tem uma grande variedade de aplicações em visão computacional. Embora tenha sido alvo de anos de investigação, continua a ser um tópico em aberto, e ainda hoje, um grande desafio a obtenção de uma abordagem que inclua simultaneamente exibilidade e precisão. O trabalho apresentado nesta dissertação desenvolve um caso de estudo sobre deteção e seguimento automático de faces humanas, em ambiente de sala de reuniões, concretizado num sistema flexível de baixo custo. O sistema proposto é baseado no sistema operativo GNU's Not Unix (GNU) linux, e é dividido em quatro etapas, a aquisição de vídeo, a deteção da face, o tracking e reorientação da posição da câmara. A aquisição consiste na captura de frames de vídeo das três câmaras Internet Protocol (IP) Sony SNC-RZ25P, instaladas na sala, através de uma rede Local Area Network (LAN) também ele já existente. Esta etapa fornece os frames de vídeo para processamento à detecção e tracking. A deteção usa o algoritmo proposto por Viola e Jones, para a identificação de objetos, baseando-se nas suas principais características, que permite efetuar a deteção de qualquer tipo de objeto (neste caso faces humanas) de uma forma genérica e em tempo real. As saídas da deteção, quando é identificado com sucesso uma face, são as coordenadas do posicionamento da face, no frame de vídeo. As coordenadas da face detetada são usadas pelo algoritmo de tracking, para a partir desse ponto seguir a face pelos frames de vídeo subsequentes. A etapa de tracking implementa o algoritmo Continuously Adaptive Mean-SHIFT (Camshift) que baseia o seu funcionamento na pesquisa num mapa de densidade de probabilidade, do seu valor máximo, através de iterações sucessivas. O retorno do algoritmo são as coordenadas da posição e orientação da face. Estas coordenadas permitem orientar o posicionamento da câmara de forma que a face esteja sempre o mais próximo possível do centro do campo de visão da câmara. Os resultados obtidos mostraram que o sistema de tracking proposto é capaz de reconhecer e seguir faces em movimento em sequências de frames de vídeo, mostrando adequabilidade para aplicação de monotorização em tempo real.

Hybrid adaptive control of a dragonfly model

Dragonflies show unique and superior flight performances than most of other insect species and birds. They are equipped with two pairs of independently controlled wings granting an unmatchable flying performance and robustness. In this paper, it is presented an adaptive scheme controlling a nonlinear model inspired in a dragonfly-like robot. It is proposed a hybrid adaptive (HA) law for adjusting the parameters analyzing the tracking error. At the current stage of the project it is considered essential the development of computational simulation models based in the dynamics to test whether strategies or algorithms of control, parts of the system (such as different wing configurations, tail) as well as the complete system. The performance analysis proves the superiority of the HA law over the direct adaptive (DA) method in terms of faster and improved tracking and parameter convergence.

Demo: automatic personal identification system for security in critical services: a case study

The demonstration proposal moves from the capabilities of a wireless biometric badge [4], which integrates a localization and tracking service along with an automatic personal identification mechanism, to show how a full system architecture is devised to enable the control of physical accesses to restricted areas. The system leverages on the availability of a novel IEEE 802.15.4/Zigbee Cluster Tree network model, on enhanced security levels and on the respect of all the users' privacy issues.

Improving quality-of-service in wireless sensor networks by mitigating “Hidden-Node Collisions”

Wireless sensor networks (WSNs) emerge as underlying infrastructures for new classes of large-scale networked embedded systems. However, WSNs system designers must fulfill the quality-of-service (QoS) requirements imposed by the applications (and users). Very harsh and dynamic physical environments and extremely limited energy/computing/memory/communication node resources are major obstacles for satisfying QoS metrics such as reliability, timeliness, and system lifetime. The limited communication range of WSN nodes, link asymmetry, and the characteristics of the physical environment lead to a major source of QoS degradation in WSNs-the ldquohidden node problem.rdquo In wireless contention-based medium access control (MAC) protocols, when two nodes that are not visible to each other transmit to a third node that is visible to the former, there will be a collision-called hidden-node or blind collision. This problem greatly impacts network throughput, energy-efficiency and message transfer delays, and the problem dramatically increases with the number of nodes. This paper proposes H-NAMe, a very simple yet extremely efficient hidden-node avoidance mechanism for WSNs. H-NAMe relies on a grouping strategy that splits each cluster of a WSN into disjoint groups of non-hidden nodes that scales to multiple clusters via a cluster grouping strategy that guarantees no interference between overlapping clusters. Importantly, H-NAMe is instantiated in IEEE 802.15.4/ZigBee, which currently are the most widespread communication technologies for WSNs, with only minor add-ons and ensuring backward compatibility with their protocols standards. H-NAMe was implemented and exhaustively tested using an experimental test-bed based on ldquooff-the-shelfrdquo technology, showing that it increases network throughput and transmission success probability up to twice the values obtained without H-NAMe. H-NAMe effectiveness was also demonstrated in a target tracking application with mobile robots - over a WSN deployment.

On a test-bed application for the ART-WiSe framework

This report describes the development of a Test-bed Application for the ART-WiSe Framework with the aim of providing a means of access, validate and demonstrate that architecture. The chosen application is a kind of pursuit-evasion game where a remote controlled robot, navigating through an area covered by wireless sensor network (WSN), is detected and continuously tracked by the WSN. Then a centralized control station takes the appropriate actions for a pursuit robot to chase and “capture” the intruder one. This kind of application imposes stringent timing requirements to the underlying communication infrastructure. It also involves interesting research problems in WSNs like tracking, localization, cooperation between nodes, energy concerns and mobility. Additionally, it can be easily ported into a real-world application. Surveillance or search and rescue operations are two examples where this kind of functionality can be applied. This is still a first approach on the test-bed application and this development effort will be continuously pushed forward until all the envisaged objectives for the Art-WiSe architecture become accomplished.

Sistema de detecção e localização de veículos subaquáticos

Mestrado em Engenharia Electrotécnica e de Computadores.Área de Especialização de Sistemas Autónomos

Sistema visual para Ground Truth de sistemas autónomos

Este trabalho visa contribuir para o desenvolvimento de um sistema de visão multi-câmara para determinação da localização, atitude e seguimento de múltiplos objectos, para ser utilizado na unidade de robótica do INESCTEC, e resulta da necessidade de ter informação externa exacta que sirva de referência no estudo, caracterização e desenvolvimento de algoritmos de localização, navegação e controlo de vários sistemas autónomos. Com base na caracterização dos veículos autónomos existentes na unidade de robótica do INESCTEC e na análise dos seus cenários de operação, foi efectuado o levantamento de requisitos para o sistema a desenvolver. Foram estudados os fundamentos teóricos, necessários ao desenvolvimento do sistema, em temas relacionados com visão computacional, métodos de estimação e associação de dados para problemas de seguimento de múltiplos objectos . Foi proposta uma arquitectura para o sistema global que endereça os vários requisitos identi cados, permitindo a utilização de múltiplas câmaras e suportando o seguimento de múltiplos objectos, com ou sem marcadores. Foram implementados e validados componentes da arquitectura proposta e integrados num sistema para validação, focando na localização e seguimento de múltiplos objectos com marcadores luminosos à base de Light-Emitting Diodes (LEDs). Nomeadamente, os módulos para a identi cação dos pontos de interesse na imagem, técnicas para agrupar os vários pontos de interesse de cada objecto e efectuar a correspondência das medidas obtidas pelas várias câmaras, método para a determinação da posição e atitude dos objectos, ltro para seguimento de múltiplos objectos. Foram realizados testes para validação e a nação do sistema implementado que demonstram que a solução encontrada vai de encontro aos requisitos, e foram identi cadas as linhas de trabalho para a continuação do desenvolvimento do sistema global.

People counting system using existing surveillance video camera

The Casa da Música Foundation, responsible for the management of Casa da Música do Porto building, has the need to obtain statistical data related to the number of building’s visitors. This information is a valuable tool for the elaboration of periodical reports concerning the success of this cultural institution. For this reason it was necessary to develop a system capable of returning the number of visitors for a requested period of time. This represents a complex task due to the building’s unique architectural design, characterized by very large doors and halls, and the sudden large number of people that pass through them in moments preceding and proceeding the different activities occurring in the building. To achieve the technical solution for this challenge, several image processing methods, for people detection with still cameras, were first studied. The next step was the development of a real time algorithm, using OpenCV libraries and computer vision concepts,to count individuals with the desired accuracy. This algorithm includes the scientific and technical knowledge acquired in the study of the previous methods. The themes developed in this thesis comprise the fields of background maintenance, shadow and highlight detection, and blob detection and tracking. A graphical interface was also built, to help on the development, test and tunning of the proposed system, as a complement to the work. Furthermore, tests to the system were also performed, to certify the proposed techniques against a set of limited circumstances. The results obtained revealed that the algorithm was successfully applied to count the number of people in complex environments with reliable accuracy.

Sistema Multi-Agente de prestação de serviços de seguimento adaptados aos requisitos do utilizador

Mestrado em Engenharia Electrotécnica e de Computadores - Área de Especialização de Telecomunicações

Sistema de gestão de transporte de envios parcelares

No ambiente empresarial actual, cada vez mais competitivo e exigente, é um factor fundamental para o sucesso das empresas a sua capacidade de atingir e melhorar os níveis de satisfação exigidos pelos clientes. Para identificar as melhorias a implementar, as empresas devem ser capazes de monitorizar e controlar todas as suas actividades e processos. O acompanhamento realizado às actividades delegadas a empresas externas, como por exemplo o transporte de mercadorias, é dificultado quando os prestadores destes serviços não possuem ferramentas de apoio que disponibilizem informação necessária para o efeito. A necessidade de colmatar esta dificuldade na recolha da informação durante a distribuição de uma encomenda na empresa Caetano Parts, uma empresa de revenda de peças de substituição automóvel, levou ao desenvolvimento de uma ferramenta que permite fazer o seguimento de uma encomenda em todas as suas fases, permitindo ao responsável pelas operações acompanhar o estado da encomenda desde o instante em que a encomenda é colocada, passando pelo seu processamento dentro das instalações, até à sua entrega ao cliente. O sistema desenvolvido é composto por dois componentes, o front-end e o back-end. O front-end é composto por uma aplicação web, e por uma aplicação Android para dispositivos móveis. A aplicação web disponibiliza a gestão da base de dados, o acompanhamento do estado da encomenda e a análise das operações. A aplicação Android é disponibilizada às empresas responsáveis pelo transporte das encomendas e possibilita a actualização online da informação acerca do processo de entrega. O back-end é composto pela unidade de armazenamento e processamento da informação e encontra-se alojado num servidor com ligação à internet, disponibilizando uma interface com o serviço móvel do tipo serviço web. A concepção, desenvolvimento e descrição das funcionalidades desta ferramenta são abordadas ao longo do trabalho. Os testes realizados ao longo do desenvolvimento validaram o correcto funcionamento da ferramenta, estando pronta para a realização de um teste piloto.

Geo-localization System for People with Cognitive Disabilities

Technology is present in almost every simple aspect of the people’s daily life. As an instance, let us refer to the smartphone. This device is usually equipped with a GPS modulewhich may be used as an orientation system, if it carries the right functionalities. The problem is that these applications may be complex to operate and may not be within the bounds of everybody. Therefore, the main goal here is to develop an orientation system that may help people with cognitive disabilities in their day-to-day journeys, when the caregivers are absent. On the other hand, to keep paid helpers aware of the current location of the disable people, it will be also considered a localization system. Knowing their current locations, caregiversmay engage in others activities without neglecting their prime work, and, at the same time, turning people with cognitive disabilities more independent.

Análise de Desempenho e Recomendação para Soluções IVR

Mestrado em Engenharia Informática, Área de Especialização em Tecnologias do Conhecimento e da Decisão

Sistema de apoio ao utilizador de transportes públicos

Nos dias de hoje usar o transporte público para nos deslocarmos de uma determinada origem para um determinado destino é uma realidade na vida da maioria das pessoas. Muitas destas deslocações fazem parte da rotina diária do cidadão, que depende destes transportes para as suas atividades do dia-a-dia. Nos últimos anos, o número de cidadãos que usa os transportes públicos como meio de deslocação tem vindo a aumentar consideravelmente. Contudo, a maioria dos operadores de transportes públicos pecam pela falta de pontualidade dos seus serviços, e pela falta de informação disponível ao cidadão acerca dos horários dos mesmos em tempo real. Tendo este problema em conta, foi desenvolvida uma solução capaz de realizar uma previsão do tempo de chegada de um transporte público, ao longo de todo o seu serviço. Previsão essa que é atualizada ao longo do percurso de forma a reduzir a margem de erro da informação apresentada. Com esta informação o cidadão pode planear melhor o seu dia e decidir qual é a melhor altura para se deslocar para a paragem, evitando ao máximo a perda de tempo à espera do seu transporte público. A solução final foi desenvolvida com a ajuda da empresa BEWARE e teve como objetivo a criação de uma aplicação web capaz de apresentar os tempos de espera dos autocarros em diferentes tipos de vista, bem como o acompanhamento do mesmo ao longo do percurso. Toda a informação utilizada na aplicação web foi criada por dois serviços de apoio que efetuam o controlo do autocarro ao longo do percurso, bem como os cálculos da previsão dos tempos de espera. O projeto foi dividido em quatro constituintes que foram repetidas durante o desenvolvimento da solução. A primeira constou na análise do problema, no levantamento e definição dos requisitos. A segunda incluiu o desenvolvimento de um algoritmo capaz de validar a posição do autocarro ao longo do seu percurso, detetando a paragem onde este se encontra e a hora de chegada à mesma. A terceira abrangeu o desenvolvimento de um algoritmo capaz de prever o tempo de chegada de um autocarro às paragens definidas na sua rota, recorrendo ao histórico de viagens realizadas anteriormente. A quarta consistiu no desenvolvimento da aplicação web, implementando todas as funcionalidades necessárias para que a aplicação consiga realizar o acompanhamento do autocarro no percurso, a consulta dos tempos de chegada e da previsão dos tempos às paragens seguintes recorrendo a três tipos de vistas diferentes, e a possibilidade de agendar notificações de forma a receber no email as previsões dos tempos de chegada nos dias e horas mais significativos para o utilizador.

Análise e identificação do sinal de aceleração num pé

Com a massificação do uso da tecnologia no dia-a-dia, os sistemas de localização têm vindo a aumentar a sua popularidade, devido à grande diversidade de funcionalidades que proporcionam e aplicações a que se destinam. No entanto, a maior parte dos sistemas de posicionamento não funcionam adequadamente em ambientes indoor, impedindo o desenvolvimento de aplicações de localização nestes ambientes. Os acelerómetros são muito utilizados nos sistemas de localização inercial, pelas informações que fornecem acerca das acelerações sofridas por um corpo. Para tal, neste trabalho, recorrendo à análise do sinal de aceleração provindo de um acelerómetro, propõe-se uma técnica baseada na deteção de passos para que, em aplicações futuras, possa constituir-se como um recurso a utilizar para calcular a posição do utilizador dentro de um edifício. Neste sentido, este trabalho tem como objetivo contribuir para o desenvolvimento da análise e identificação do sinal de aceleração obtido num pé, por forma a determinar a duração de um passo e o número de passos dados. Para alcançar o objetivo de estudo foram analisados, com recurso ao Matlab, um conjunto de 12 dados de aceleração (para marcha normal, rápida e corrida) recolhidos por um sistema móvel (e provenientes de um acelerómetro). A partir deste estudo exploratório tornou-se possível apresentar um algoritmo baseado no método de deteção de pico e na utilização de filtros de mediana e Butterworth passa-baixo para a contagem de passos, que apresentou bons resultados. Por forma a validar as informações obtidas nesta fase, procedeu-se, seguidamente, à realização de um conjunto de testes experimentais a partir da recolha de 33 novos dados para a marcha e corrida. Identificaram-se o número de passos efetuados, o tempo médio de passo e da passada e a percentagem de erro como as variáveis em estudo. Obteve-se uma percentagem de erro igual a 1% para o total dos dados recolhidos de 20, 100, 500 e 1000 passos com a aplicação do método proposto para a contagem do passo. Não obstante as dificuldades observadas na análise dos sinais de aceleração relativos à corrida, o algoritmo proposto mostrou bom desempenho, conseguindo valores próximos aos esperados. Os resultados obtidos permitem afirmar que foi possível atingir-se o objetivo de estudo com sucesso. Sugere-se, no entanto, o desenvolvimento de futuras investigações de forma a alargar estes resultados em outras direções.

Multidimensional Scaling Visualization using Parametric Similarity Indices

In this paper, we apply multidimensional scaling (MDS) and parametric similarity indices (PSI) in the analysis of complex systems (CS). Each CS is viewed as a dynamical system, exhibiting an output time-series to be interpreted as a manifestation of its behavior. We start by adopting a sliding window to sample the original data into several consecutive time periods. Second, we define a given PSI for tracking pieces of data. We then compare the windows for different values of the parameter, and we generate the corresponding MDS maps of ‘points’. Third, we use Procrustes analysis to linearly transform the MDS charts for maximum superposition and to build a global MDS map of “shapes”. This final plot captures the time evolution of the phenomena and is sensitive to the PSI adopted. The generalized correlation, the Minkowski distance and four entropy-based indices are tested. The proposed approach is applied to the Dow Jones Industrial Average stock market index and the Europe Brent Spot Price FOB time-series.