Exploração da Point Cloud Library aplicada à percepção em sistemas autónomos

A navegação e a interpretação do meio envolvente por veículos autónomos em ambientes não estruturados continua a ser um grande desafio na actualidade. Sebastian Thrun, descreve em [Thr02], que o problema do mapeamento em sistemas robóticos é o da aquisição de um modelo espacial do meio envolvente do robô. Neste contexto, a integração de sistemas sensoriais em plataformas robóticas, que permitam a construção de mapas do mundo que as rodeia é de extrema importância. A informação recolhida desses dados pode ser interpretada, tendo aplicabilidade em tarefas de localização, navegação e manipulação de objectos. Até à bem pouco tempo, a generalidade dos sistemas robóticos que realizavam tarefas de mapeamento ou Simultaneous Localization And Mapping (SLAM), utilizavam dispositivos do tipo laser rangefinders e câmaras stereo. Estes equipamentos, para além de serem dispendiosos, fornecem apenas informação bidimensional, recolhidas através de cortes transversais 2D, no caso dos rangefinders. O paradigma deste tipo de tecnologia mudou consideravelmente, com o lançamento no mercado de câmaras RGB-D, como a desenvolvida pela PrimeSense TM e o subsequente lançamento da Kinect, pela Microsoft R para a Xbox 360 no final de 2010. A qualidade do sensor de profundidade, dada a natureza de baixo custo e a sua capacidade de aquisição de dados em tempo real, é incontornável, fazendo com que o sensor se tornasse instantaneamente popular entre pesquisadores e entusiastas. Este avanço tecnológico deu origem a várias ferramentas de desenvolvimento e interacção humana com este tipo de sensor, como por exemplo a Point Cloud Library [RC11] (PCL). Esta ferramenta tem como objectivo fornecer suporte para todos os blocos de construção comuns que uma aplicação 3D necessita, dando especial ênfase ao processamento de nuvens de pontos de n dimensões adquiridas a partir de câmaras RGB-D, bem como scanners laser, câmaras Time-of-Flight ou câmaras stereo. Neste contexto, é realizada nesta dissertação, a avaliação e comparação de alguns dos módulos e métodos constituintes da biblioteca PCL, para a resolução de problemas inerentes à construção e interpretação de mapas, em ambientes indoor não estruturados, utilizando os dados provenientes da Kinect. A partir desta avaliação, é proposta uma arquitectura de sistema que sistematiza o registo de nuvens de pontos, correspondentes a vistas parciais do mundo, num modelo global consistente. Os resultados da avaliação realizada à biblioteca PCL atestam a sua viabilidade, para a resolução dos problemas propostos. Prova da sua viabilidade, são os resultados práticos obtidos, da implementação da arquitectura de sistema proposta, que apresenta resultados de desempenho interessantes, como também boas perspectivas de integração deste tipo de conceitos e tecnologia em plataformas robóticas desenvolvidas no âmbito de projectos do Laboratório de Sistemas Autónomos (LSA).

People counting system using existing surveillance video camera

The Casa da Música Foundation, responsible for the management of Casa da Música do Porto building, has the need to obtain statistical data related to the number of building’s visitors. This information is a valuable tool for the elaboration of periodical reports concerning the success of this cultural institution. For this reason it was necessary to develop a system capable of returning the number of visitors for a requested period of time. This represents a complex task due to the building’s unique architectural design, characterized by very large doors and halls, and the sudden large number of people that pass through them in moments preceding and proceeding the different activities occurring in the building. To achieve the technical solution for this challenge, several image processing methods, for people detection with still cameras, were first studied. The next step was the development of a real time algorithm, using OpenCV libraries and computer vision concepts,to count individuals with the desired accuracy. This algorithm includes the scientific and technical knowledge acquired in the study of the previous methods. The themes developed in this thesis comprise the fields of background maintenance, shadow and highlight detection, and blob detection and tracking. A graphical interface was also built, to help on the development, test and tunning of the proposed system, as a complement to the work. Furthermore, tests to the system were also performed, to certify the proposed techniques against a set of limited circumstances. The results obtained revealed that the algorithm was successfully applied to count the number of people in complex environments with reliable accuracy.

Análise de Desempenho e Recomendação para Soluções IVR

Mestrado em Engenharia Informática, Área de Especialização em Tecnologias do Conhecimento e da Decisão

Towards a Mobile Three-dimensional Modelling System for Underground Structures

Robotica 2012: 12th International Conference on Autonomous Robot Systems and Competitions April 11, 2012, Guimarães, Portugal

Application of Visual-Inertial SLAM for 3D Mapping of Underground Environments

The underground scenarios are one of the most challenging environments for accurate and precise 3d mapping where hostile conditions like absence of Global Positioning Systems, extreme lighting variations and geometrically smooth surfaces may be expected. So far, the state-of-the-art methods in underground modelling remain restricted to environments in which pronounced geometric features are abundant. This limitation is a consequence of the scan matching algorithms used to solve the localization and registration problems. This paper contributes to the expansion of the modelling capabilities to structures characterized by uniform geometry and smooth surfaces, as is the case of road and train tunnels. To achieve that, we combine some state of the art techniques from mobile robotics, and propose a method for 6DOF platform positioning in such scenarios, that is latter used for the environment modelling. A visual monocular Simultaneous Localization and Mapping (MonoSLAM) approach based on the Extended Kalman Filter (EKF), complemented by the introduction of inertial measurements in the prediction step, allows our system to localize himself over long distances, using exclusively sensors carried on board a mobile platform. By feeding the Extended Kalman Filter with inertial data we were able to overcome the major problem related with MonoSLAM implementations, known as scale factor ambiguity. Despite extreme lighting variations, reliable visual features were extracted through the SIFT algorithm, and inserted directly in the EKF mechanism according to the Inverse Depth Parametrization. Through the 1-Point RANSAC (Random Sample Consensus) wrong frame-to-frame feature matches were rejected. The developed method was tested based on a dataset acquired inside a road tunnel and the navigation results compared with a ground truth obtained by post-processing a high grade Inertial Navigation System and L1/L2 RTK-GPS measurements acquired outside the tunnel. Results from the localization strategy are presented and analyzed.

Método de correspondência para sistemas de visão multi-câmara

Os sistemas de perceção visual são das principais fontes de informação sensorial utilizadas pelos robôs autónomos, para localização e navegação em diferentes meios de operação. O objetivo passa por obter uma grande quantidade de informação sobre o ambiente que a câmara está a visualizar, processar e extrair informação que permita realizar as tarefas de uma forma e ciente. Uma informação em particular que os sistemas de visão podem fornecer, e a informação tridimensional acerca do meio envolvente. Esta informação pode ser adquirida recorrendo a sistemas de visão monoculares ou com múltiplas câmaras. Nestes sistemas a informação tridimensional pode ser obtida recorrendo a técnica de triangulação, tirando partido do conhecimento da posição relativa entre as câmaras. No entanto, para calcular as coordenadas de um ponto tridimensional no referencial da câmara e necessário existir correspondência entre pontos comuns às imagens adquiridas pelo sistema. No caso de más correspondências a informação 3D e obtida de forma incorreta. O problema associado à correspondência de pontos pode ser agravado no caso das câmaras do sistema terem características intrínsecas diferentes nomeadamente: resolução, abertura da lente, distorção. Outros fatores como as orientações e posições das câmaras também podem condicionar a correspondência de pontos. Este trabalho incide sobre problemática de correspondência de pontos existente no processo de cálculo da informação tridimensional. A presente dissertação visa o desenvolvimento de uma abordagem de correspondência de pontos para sistemas de visão no qual é conhecida a posição relativa entre câmaras.

Ampliação e Reconstrução de um Edifício Unifamiliar

Pretende-se com este trabalho apresentar os Projectos de estruturas, de Comportamento Térmico e de Abastecimento de Água e Drenagem de Águas Pluviais e Residuais de uma habitação unifamiliar. Trata-se de um edifício situado no concelho de Ponte Lima que será reconstruído e ampliado de forma a se constituir uma habitação de tipologia T3. Uma vez que a realidade da actividade do projecto de estruturas actual é baseada na aplicação de ferramentas de processo automático de dados, foi naturalmente utilizado um programa de cálculo na modelação do edifício. No entanto, foram igualmente aplicados métodos tradicionais, nomeadamente na fase de pré-dimensionamento, na validação do modelo e no dimensionamento do edifício existente. O Estudo do Comportamento Térmico teve como objectivo primordial optar por soluções construtivas que permitissem, aos ocupantes da habitação, um conforto térmico com o mínimo esforço energético possível. Desta forma, analisaram-se as plantas de arquitectura, definiram-se os elementos da envolvente e os equipamentos necessários, e procedeu-a à avaliação térmica segundo o disposto na Legislação Nacional Para culminar o trabalho, desenvolveu-se o Projecto de Abastecimento de Água e Drenagem de Águas Pluviais e Residuais, dispondo os elementos e acessórios das redes segundo as regras de implantação e dimensionamento previstas na regulamentação em vigor.

Shopping center tracking and recommendation systems

Shopping centers present a rich and heterogeneous environment, where IT systems can be implemented in order to support the needs of its actors. However, due to the environment complexity, several feasibility issues emerge when designing both the logical and physical architecture of such systems. Additionally, the system must be able to cope with the individual needs of each actor, and provide services that are easily adopted by them, taking into account several sociological and economical aspects. In this sense, we present an overview of current support systems for shopping center environments. From this overview, a high-level model of the domain (involving actors and services) is described along with challenges and possible features in the context of current Semantic Web, mobile device and sensor technologies.

The Moving Text. Localization, translation and distribution

For some years now, translation theorist and educator Anthony Pym has been trying to establish a dialogue between the academic tradition he comes from and the world of the language industries into which he is meant to introduce his students: in other words, between the Translation Studies discipline and the localisation sector. This rapprochement is also the stated aim of his new book The Moving Text (p. 159). Rather than collect and synthesise what was previously dispersed over several articles, Pym has rewritten his material completely, both literally and conceptually, all in the light of the more than three decades of research he has conducted into the field of cross--cultural communication. The theoretical arguments are ably supported by a few short but telling and well-exploited examples.

Optimized near real-time remote device tracking and monitoring system

Os serviços baseados em localização vieram dar um novo alento à criatividade dos programadores de aplicações móveis. A vulgarização de dispositivos com capacidades de localização integradas deu origem ao desenvolvimento de aplicações que gerem e apresentam informação baseada na posição do utilizador. Desde então, o mercado móvel tem assistido ao aparecimento de novas categorias de aplicações que tiram proveito desta capacidade. Entre elas, destaca-se a monitorização remota de dispositivos, que tem vindo a assumir uma importância crescente, tanto no sector particular como no sector empresarial. Esta dissertação começa por apresentar o estado da arte sobre os diferentes sistemas de posicionamento, categorizados pela sua eficácia em ambientes internos ou externos, assim como diferentes protocolos de comunicação em tempo quase-real. É também feita uma análise ao estado actual do mercado móvel. Actualmente o mercado possui diferentes plataformas móveis com características únicas que as fazem rivalizar entre si, com vista a expandirem a sua quota de mercado. É por isso elaborado um breve estudo sobre os sistemas operativos móveis mais relevantes da actualidade. É igualmente feita uma abordagem mais profunda à arquitectura da plataforma móvel da Apple - o iOS – que serviu de base ao desenvolvimento de uma solução optimizada para localização e monitorização de dispositivos móveis. A monitorização implica uma utilização intensiva de recursos energéticos e de largura de banda que os dispositivos móveis da actualidade não estão aptos a suportar. Dado o grande consumo energético do GPS face à precária autonomia destes dispositivos, é apresentado um estudo em que se expõem soluções que permitem gerir de forma optimizada a utilização do GPS. O elevado custo dos planos de dados facultados pelas operadoras móveis é também considerado, pelo que são exploradas soluções que visam minimizar a utilização de largura de banda. Deste trabalho, nasce a aplicação EyeGotcha, que para além de permitir localizar outros utilizadores de dispositivos móveis de forma optimizada, permite também monitorizar as suas acções baseando-se num conjunto de regras pré-definidas. Estas acções são reportadas às entidades monitoras, de modo automatizado e sob a forma de alertas. Visionando-se a comercialização da aplicação, é portanto apresentado um modelo de negócio que permite obter receitas capazes de cobrirem os custos de manutenção de serviços, aos quais o funcionamento da aplicação móvel está subjugado.

Engineering a search and rescue application with a wireless sensor network - based localization mechanism

The advent of Wireless Sensor Network (WSN) technologies is paving the way for a panoply of new ubiquitous computing applications, some of them with critical requirements. In the ART-WiSe framework, we are designing a two-tiered communication architecture for supporting real-time and reliable communications in WSNs. Within this context, we have been developing a test-bed application, for testing, validating and demonstrating our theoretical findings - a search&rescue/pursuit-evasion application. Basically, a WSN deployment is used to detect, localize and track a target robot and a station controls a rescuer/pursuer robot until it gets close enough to the target robot. This paper describes how this application was engineered, particularly focusing on the implementation of the localization mechanism.

A lightweight indoor localization model based on motley-keenan and COST

This paper presents a novel approach to WLAN propagation models for use in indoor localization. The major goal of this work is to eliminate the need for in situ data collection to generate the Fingerprinting map, instead, it is generated by using analytical propagation models such as: COST Multi-Wall, COST 231 average wall and Motley- Keenan. As Location Estimation Algorithms kNN (K-Nearest Neighbour) and WkNN (Weighted K-Nearest Neighbour) were used to determine the accuracy of the proposed technique. This work is based on analytical and measurement tools to determine which path loss propagation models are better for location estimation applications, based on Receive Signal Strength Indicator (RSSI).This study presents different proposals for choosing the most appropriate values for the models parameters, like obstacles attenuation and coefficients. Some adjustments to these models, particularly to Motley-Keenan, considering the thickness of walls, are proposed. The best found solution is based on the adjusted Motley-Keenan and COST models that allows to obtain the propagation loss estimation for several environments.Results obtained from two testing scenarios showed the reliability of the adjustments, providing smaller errors in the measured values values in comparison with the predicted values.

Geo-localization System for People with Cognitive Disabilities

Technology is present in almost every simple aspect of the people’s daily life. As an instance, let us refer to the smartphone. This device is usually equipped with a GPS modulewhich may be used as an orientation system, if it carries the right functionalities. The problem is that these applications may be complex to operate and may not be within the bounds of everybody. Therefore, the main goal here is to develop an orientation system that may help people with cognitive disabilities in their day-to-day journeys, when the caregivers are absent. On the other hand, to keep paid helpers aware of the current location of the disable people, it will be also considered a localization system. Knowing their current locations, caregiversmay engage in others activities without neglecting their prime work, and, at the same time, turning people with cognitive disabilities more independent.

Localization system for pedestrians based on sensor and information fusion

Nowadays there is an increase of location-aware mobile applications. However, these applications only retrieve location with a mobile device's GPS chip. This means that in indoor or in more dense environments these applications don't work properly. To provide location information everywhere a pedestrian Inertial Navigation System (INS) is typically used, but these systems can have a large estimation error since, in order to turn the system wearable, they use low-cost and low-power sensors. In this work a pedestrian INS is proposed, where force sensors were included to combine with the accelerometer data in order to have a better detection of the stance phase of the human gait cycle, which leads to improvements in location estimation. Besides sensor fusion an information fusion architecture is proposed, based on the information from GPS and several inertial units placed on the pedestrian body, that will be used to learn the pedestrian gait behavior to correct, in real-time, the inertial sensors errors, thus improving location estimation.

Adaptation and Localization of Open Source ERPs - The case of Parties in OFBiz

O software tem vindo a tornar-se uma parte importante de qualquer empresa, cobrindo várias áreas funcionais, tais como manufaturação, vendas ou recursos humanos. O facto de uma empresa possuir um software capaz de ligar todas ou a maior parte das suas áreas funcionais e de acomodar as suas regras de negócio permite que estas tenham acesso a dados em tempo real nos quais se podem basear para tomar decisões. Estes tipos de software podem ser categorizados como Enterprise resource planning (ERP). Tendo em conta que estes tipos de software têm um papel importante dentro de uma empresa, a aquisição dos mesmos é algo que deve ser bem estudado. As grandes empresas normalmente optam pela aquisição de soluções comerciais uma vez que estas tendem a ter mais funcionalidades, maior suporte e certificações. Os ERPs comerciais representam, no entanto, um esforço elevado para que a sua compra possa ser feita, o que limita a possibilidade de aquisição dos mesmos por parte de pequenas ou médias empresas. No entanto, tal como acontece com a maior parte dos tipos de software, existem alternativas open-source. Se nos colocássemos na posição de uma pequena empresa, a tentar iniciar o seu negócio em Portugal, que tipo de ERP seria suficiente para os nossos requisitos? Teríamos que optar por comprar uma solução comercial, ou uma solução open-source seria suficiente? E se optássemos por desenvolver uma solução à medida? Esta tese irá responder a estas questões focando-se apenas num dos componentes base de qualquer ERP, a gestão de entidades. O componente de gestão de entidades é responsável por gerir todas as entidades com as quais a empresa interage abrangindo colaboradores, clientes, fornecedores, etc. A nível de funcionalidades será feita uma comparação entre um ERP comercial e um ERP open-source. Como os ERPs tendem a ser soluções muito genéricas é comum que estes não implementem todos os requisitos de um negócio em particular, como tal os ERPs precisam de ser extensíveis e adaptáveis. Para perceber até que ponto a solução open-source é extensível será feita uma análise técnica ao seu código fonte e será feita uma implementação parcial de um gerador de ficheiros de auditoria requerido pela lei Portuguesa, o SAF-T (PT). Ao estudar e adaptar a solução open-source podemos especificar o que teria que ser desenvolvido para podermos criar uma solução à medida de raiz.