People counting system using existing surveillance video camera

The Casa da Música Foundation, responsible for the management of Casa da Música do Porto building, has the need to obtain statistical data related to the number of building’s visitors. This information is a valuable tool for the elaboration of periodical reports concerning the success of this cultural institution. For this reason it was necessary to develop a system capable of returning the number of visitors for a requested period of time. This represents a complex task due to the building’s unique architectural design, characterized by very large doors and halls, and the sudden large number of people that pass through them in moments preceding and proceeding the different activities occurring in the building. To achieve the technical solution for this challenge, several image processing methods, for people detection with still cameras, were first studied. The next step was the development of a real time algorithm, using OpenCV libraries and computer vision concepts,to count individuals with the desired accuracy. This algorithm includes the scientific and technical knowledge acquired in the study of the previous methods. The themes developed in this thesis comprise the fields of background maintenance, shadow and highlight detection, and blob detection and tracking. A graphical interface was also built, to help on the development, test and tunning of the proposed system, as a complement to the work. Furthermore, tests to the system were also performed, to certify the proposed techniques against a set of limited circumstances. The results obtained revealed that the algorithm was successfully applied to count the number of people in complex environments with reliable accuracy.

Ajustes posturais para o alcance funcional dos membros superiores - migração do centro de pressão na posição de sentado

Objetivos: Pretende-se verificar as modificações neuromotoras após uma intervenção baseada no conceito de Bobath ao nível dos ajustes posturais durante o alcance funcional dos membros superiores, em três crianças com paralisia cerebral. Pretende-se também, verificar o efeito desta abordagem nas atividades e participação, bem como destacar os aspetos individuais das mesmas crianças com a capacidade de mudança após a intervenção. Metodologia: A avaliação foi realizada antes e três meses após a intervenção em fisioterapia segundo o conceito de Bobath. Optou-se por um registo observacional com uma Máquina Fotográfica Digital, um sistemas de Câmaras de Vídeo, uma Plataforma de Forças e, utilizaram-se ainda instrumentos como o Gross Motor Functional Measure– versão 88 itens, o Gross Motor Function Classification System, o Teste de Alcance Funcional Modificado e a ferramenta, Classificação Internacional de Funcionalidade, Incapacidade e Saúde – crianças e jovens. Resultados: Verificou-se um progresso nos ajustes posturais e na funcionalidade em geral, o que se repercutiu na restrição da participação e na limitação da actividade. A postura na posição de sentado, o deslocamento do centro de pressão, a capacidade de deslocamento no sentido anterior, bem como as capacidades motoras grosseiras modificaram-se em todas as crianças, tendo a criança B apresentado a maior e a criança A a menor capacidade de mudança após a intervenção. Conclusão: A intervenção segundo o Conceito de Bobath promoveu modificações neuromotoras, o que levaram a uma melhoria da funcionalidade geral, da mobilidade e do controlo postural da criança, refletindo-se nos ajustes posturais durante o alcance funcional dos membros superiores na posição de sentado. Verificou-se ainda, uma melhoria na restrição da participação e na limitação da actividade diária.

Automatização de sistema de medição múltiplo de ensaio de manómetros analógicos

A dissertação em apreço resultou da necessidade em otimizar os recursos técnicos, mas sobretudo humanos, afetos às verificações de instrumentos de medição, no âmbito do Controlo Metrológico Legal. Estas verificações, realizadas nos termos do cumprimento das competências outrora atribuídas à Direção de Serviços da Qualidade da então Direção Regional da Economia do Norte, eram operacionalizadas pela Divisão da Qualidade e Licenciamento, na altura dirigida pelo subscritor da presente tese, nomeadamente no que respeita aos ensaios efetuados, em laboratório, a manómetros analógicos. O objetivo principal do trabalho foi alcançado mediante o desenvolvimento de um automatismo, materializado pela construção de um protótipo, cuja aplicação ao comparador de pressão múltiplo, dantes em utilização, permitiria realizar a leitura da indicação de cada manómetro analógico através de técnicas de processamento de imagem, função esta tradicionalmente efetuada manualmente por um operador especializado. As metodologias de comando, controlo e medição desse automatismo foram realizadas através de um algoritmo implementado no software LabVIEW® da National Intruments, particularmente no que respeita ao referido processamento das imagens adquiridas por uma câmara de vídeo USB. A interface com o hardware foi concretizada recorrendo a um módulo de Aquisição de Dados Multifuncional (DAQ) USB-6212, do mesmo fabricante. Para o posicionamento horizontal e vertical da câmara de vídeo USB, recorreu-se a guias lineares acionadas por motores de passo, sendo que estes dispositivos foram igualmente empregues no acionamento do comparador de pressão. Por último, procedeu-se à aquisição digital da leitura do padrão, recorrendo à respetiva virtualização, bem como a uma aplicação desenvolvida neste projeto, designada appMAN, destinada à gestão global do referido automatismo, nomeadamente no que se refere ao cálculo do resultado da medição, erro e incerteza associada, e emissão dos respetivos documentos comprovativos.

Behind video lectures in a MOOC

The year 2012 was the “boom year” in MOOC and all its outstanding growth until now, made us move forward in designing the first MOOC in our Institution (and the third in our country, Portugal). Most MOOC are video lectured based and the learning analytic process to these ones is just taking its first steps. Designing a video-lecture seems, at a first glance, very easy: one can just record a live lesson or lecture and turn it, directly, into a video-lecture (even here one may experience some “sound” and “camera” problems); but developing some engaging, appealing video-lecture, that motivates students to embrace knowledge and that really contributes to the teaching/learning process, it is not an easy task. Therefore questions like: “What kind of information can induce knowledge construction, in a video-lecture?”, “How can a professor interact in a video-lecture when he is not really there?”, “What are the video-lectures attributes that contribute the most to viewer’s engagement?”, “What seems to be the maximum “time-resistance” of a viewer?”, and many others, raised in our minds when designing video-lectures to a Mathematics MOOC from the scratch. We believe this technological resource can be a powerful tool to enhance students' learning process. Students that were born in digital/image era, respond and react slightly different to outside stimulus, than their teachers/professors ever did or do. In this article we will describe just how we have tried to overcome some of the difficulties and challenges we tackled when producing our own video-math-lectures and in what way, we feel, videos can contribute to the teaching and learning process at higher education level.

Video-­‐monitorization system for a realistic driving simulator

Nos últimos anos, o ISEP em colaboração com a FEUP e outras Universidades, criou um simulador realista de condução chamado DRIS, que tem como objectivo ajudar em trabalhos de investigação de diferentes áreas, como engenharia civil, computação gráfica, psicologia, educação, etc. O resultado deste trabalho pretende ajudar os profissionais a analisarem os dados recolhidos em cada experiência de condução, a fim de permitir o estudo das reações do motorista em diferentes obstáculos durante um percurso. O simulador DRIS é constituído por uma tela branca, onde os ambientes de simulação são projetados; um carro real, onde é feita a experiência de condução e quatro câmaras colocadas no carro. Destas quatro câmaras, três estão dentro do carro e uma fora do carro. Cada câmara está focada estrategicamente, em partes críticas da condução: a estrada, o motorista, os pedais e os controles (mudança de marcha, volante, os comandos do limpador, etc). Cada uma das câmaras grava um vídeo, que é guardado em um computador colocado em uma das salas de controlo, dentro do Laboratório de Análise de Tráfego na FEUP. Além disso, um arquivo de texto é guardado no mesmo computador. Este arquivo de texto contém algumas informações sobre a experiência do motorista, como as coordenadas do carro, a velocidade do carro, o tempo, etc O trabalho desta Tese surge com a finalidade de melhorar a forma de os profissionais analisar e interpretar os dados recolhidos a partir de uma experiência de condução no DRIS. Para o efeito, foi criado um sistema de vídeo-­‐monitorização, que consiste em uma aplicação de vídeo, que permite a visualização de quatro vídeos simultaneamente, e ler um arquivo de texto, que contém todos os dados recolhidos na experiência. Ambos (vídeo e texto) têm de estar sincronizados com o mesmo tempo de forma a permitir ao utilizador, navegar backward e forward com a ajuda de um cursor. Além disso, como qualquer reprodutor de vídeo básico, contém alguns botões para controlar o status do vídeo (Play, Stop, Pause) e permiti que os profissionais analisem com detalhe os dados dos quatro vídeos. Aproveitando os avanços no desenvolvimento de software, a aplicação foi feita em C++ usando a biblioteca Qt, em ambiente de desenvolvimento integrado do Qt Creator, o que tornou mais fácil a implementação. No fim deste relatório (capítulo 4) é anexado um manual do usuário, a fim de explicar e ajudar os profissionais a usar a aplicação.

Sistema de visão para percepção e navegação de um UAV Quadrotor

Mestrado em Engenharia Electrotécnica e de Computadores

Deteção e acompanhamento de movimento através de uma câmara de vídeo

A deteção e seguimento de pessoas tem uma grande variedade de aplicações em visão computacional. Embora tenha sido alvo de anos de investigação, continua a ser um tópico em aberto, e ainda hoje, um grande desafio a obtenção de uma abordagem que inclua simultaneamente exibilidade e precisão. O trabalho apresentado nesta dissertação desenvolve um caso de estudo sobre deteção e seguimento automático de faces humanas, em ambiente de sala de reuniões, concretizado num sistema flexível de baixo custo. O sistema proposto é baseado no sistema operativo GNU's Not Unix (GNU) linux, e é dividido em quatro etapas, a aquisição de vídeo, a deteção da face, o tracking e reorientação da posição da câmara. A aquisição consiste na captura de frames de vídeo das três câmaras Internet Protocol (IP) Sony SNC-RZ25P, instaladas na sala, através de uma rede Local Area Network (LAN) também ele já existente. Esta etapa fornece os frames de vídeo para processamento à detecção e tracking. A deteção usa o algoritmo proposto por Viola e Jones, para a identificação de objetos, baseando-se nas suas principais características, que permite efetuar a deteção de qualquer tipo de objeto (neste caso faces humanas) de uma forma genérica e em tempo real. As saídas da deteção, quando é identificado com sucesso uma face, são as coordenadas do posicionamento da face, no frame de vídeo. As coordenadas da face detetada são usadas pelo algoritmo de tracking, para a partir desse ponto seguir a face pelos frames de vídeo subsequentes. A etapa de tracking implementa o algoritmo Continuously Adaptive Mean-SHIFT (Camshift) que baseia o seu funcionamento na pesquisa num mapa de densidade de probabilidade, do seu valor máximo, através de iterações sucessivas. O retorno do algoritmo são as coordenadas da posição e orientação da face. Estas coordenadas permitem orientar o posicionamento da câmara de forma que a face esteja sempre o mais próximo possível do centro do campo de visão da câmara. Os resultados obtidos mostraram que o sistema de tracking proposto é capaz de reconhecer e seguir faces em movimento em sequências de frames de vídeo, mostrando adequabilidade para aplicação de monotorização em tempo real.

Personalisation of Networked Video

Following targeted advertising and product placement, TV and online media needs more personalised methods of engaging viewers by integrating advertising and informational messages into playout content, whether real-time broadcast or on-demand. Future advertising solutions need adaptivity to individuals or on-line groups to respond to the commercial requirements of clients and agencies.

Personalised placement in networked video

Personalised video can be achieved by inserting objects into a video play-out according to the viewer's profile. Content which has been authored and produced for general broadcast can take on additional commercial service features when personalised either for individual viewers or for groups of viewers participating in entertainment, training, gaming or informational activities. Although several scenarios and use-cases can be envisaged, we are focussed on the application of personalised product placement. Targeted advertising and product placement are currently garnering intense interest in the commercial networked media industries. Personalisation of product placement is a relevant and timely service for next generation online marketing and advertising and for many other revenue generating interactive services. This paper discusses the acquisition and insertion of media objects into a TV video play-out stream where the objects are determined by the profile of the viewer. The technology is based on MPEG-4 standards using object based video and MPEG-7 for metadata. No proprietary technology or protocol is proposed. To trade the objects into the video play-out, a Software-as-a-Service brokerage platform based on intelligent agent technology is adopted. Agencies, libraries and service providers are represented in a commercial negotiation to facilitate the contractual selection and usage of objects to be inserted into the video play-out.

TV Recommendation and Personalization Systems: Integrating Broadcast and Video On-demand Services

he expansion of Digital Television and the convergence between conventional broadcasting and television over IP contributed to the gradual increase of the number of available channels and on demand video content. Moreover, the dissemination of the use of mobile devices like laptops, smartphones and tablets on everyday activities resulted in a shift of the traditional television viewing paradigm from the couch to everywhere, anytime from any device. Although this new scenario enables a great improvement in viewing experiences, it also brings new challenges given the overload of information that the viewer faces. Recommendation systems stand out as a possible solution to help a watcher on the selection of the content that best fits his/her preferences. This paper describes a web based system that helps the user navigating on broadcasted and online television content by implementing recommendations based on collaborative and content based filtering. The algorithms developed estimate the similarity between items and users and predict the rating that a user would assign to a particular item (television program, movie, etc.). To enable interoperability between different systems, programs characteristics (title, genre, actors, etc.) are stored according to the TV-Anytime standard. The set of recommendations produced are presented through a Web Application that allows the user to interact with the system based on the obtained recommendations.

Social Media Integration in Video Games: A Social Overlay for Desktop Games

Simpósio de Informática (INForum 2015), Covilhã, Portugal. Notes: Best paper award nominee.

Designing video lectures for MOOC

Educational videos differ from other teaching and learning technologies as they allow the benefit of using visual perception. Video lectures are not new to education, however with the use of innovative video technologies they can improve academic outcomes and extend the reach of education. They may offer extraordinary new experiences for higher education institutions (HEI). Through them lecturers can provide information and contents to students, and if used creatively, video lectures can become a powerful technological tool in education, inside and outside classrooms. Inside a classroom it can motivate students and improve topics’ debate and outside it is a good support for students’ self- learning. In some cases they can be used to work some subjects standing behind, but needed to support actual courses contents, that students do not remember (or were not even taught), opening an “in front to the past door” that backs students self-study. The student-educator dynamic is changing. Students are expecting exceptional instruction and educators are expecting students to be more and more well informed about subjects from online viewing.This article explores some of the potential benefits and challenges associated with the use of video lectures in the teaching and learning process at higher education. We will also discuss some thoughts and examples for the use of teaching materials to enhance student’s learning and try to understand how video can act as powerful and innovative to enlighten teaching and learning (note that unfortunately, sometimes, the opposite is happening).

Thermographic and visible spectrum camera calibration for marine robotic target detection

Oceans - San Diego, 2013

Reconstrução de Superfícies usando um Scanner 3D de Luz Estruturada

Ao longo dos últimos anos, os scanners 3D têm tido uma utilização crescente nas mais variadas áreas. Desde a Medicina à Arqueologia, passando pelos vários tipos de indústria, ´e possível identificar aplicações destes sistemas. Essa crescente utilização deve-se, entre vários factores, ao aumento dos recursos computacionais, à simplicidade e `a diversidade das técnicas existentes, e `as vantagens dos scanners 3D comparativamente com outros sistemas. Estas vantagens são evidentes em áreas como a Medicina Forense, onde a fotografia, tradicionalmente utilizada para documentar objectos e provas, reduz a informação adquirida a duas dimensões. Apesar das vantagens associadas aos scanners 3D, um factor negativo é o preço elevado. No âmbito deste trabalho pretendeu-se desenvolver um scanner 3D de luz estruturada económico e eficaz, e um conjunto de algoritmos para o controlo do scanner, para a reconstrução de superfícies de estruturas analisadas, e para a validação dos resultados obtidos. O scanner 3D implementado ´e constituído por uma câmara e por um projector de vídeo ”off-the-shelf”, e por uma plataforma rotativa desenvolvida neste trabalho. A função da plataforma rotativa consiste em automatizar o scanner de modo a diminuir a interação dos utilizadores. Os algoritmos foram desenvolvidos recorrendo a pacotes de software open-source e a ferramentas gratuitas. O scanner 3D foi utilizado para adquirir informação 3D de um crânio, e o algoritmo para reconstrução de superfícies permitiu obter superfícies virtuais do crânio. Através do algoritmo de validação, as superfícies obtidas foram comparadas com uma superfície do mesmo crânio, obtida por tomografia computorizada (TC). O algoritmo de validação forneceu um mapa de distâncias entre regiões correspondentes nas duas superfícies, que permitiu quantificar a qualidade das superfícies obtidas. Com base no trabalho desenvolvido e nos resultados obtidos, é possível afirmar que foi criada uma base funcional para o varrimento de superfícies 3D de estruturas, apta para desenvolvimento futuro, mostrando que é possível obter alternativas aos métodos comerciais usando poucos recursos financeiros.

Proposta de solução de videovigilância para locais remotos

Desde tempos remotos que homens faziam a vigilância de bens e mercadorias e mais recentemente também de pessoas com o intuito de dissuadir roubos, atos de vandalismo e de violência. Nos últimos anos, com a evolução das novas tecnologias verificou-se a sua adoção para auxílio da vigilância. Os atos de terrorismo que têm acontecido um pouco por todo o mundo trouxeram um clima de insegurança à população mundial. Este fenómeno, juntamente com o elevado número de roubos e atos de violência levou à expansão de utilização dos meios de videovigilância de forma a dissuadir estes tipos de crime podendo mesmo, nalguns casos servir como prova para punir os autores dos mesmos. Em Portugal tem-se verificado uma escalada de crimes nas zonas mais rurais não só de bens como as alfaias agrícolas mas também de frutos e mesmo de animais. Estes crimes predominam em locais rurais, relativamente distantes das povoações e em locais onde não existem (ou são praticamente inexistentes) infraestruturas necessárias para implementar meios de videovigilância como a falta de rede elétrica e internet o que torna quase inviável a existência de sistemas de videovigilância nesses locais. Dotar esses locais das infra estruturas necessárias poderia tornar-se demasiado dispendioso e os vigilantes humanos poderiam correr riscos no meio dos montes ou noutros locais remotos para além dos seus elevados custos. Para além do problema dos roubos, existe um outro flagelo relacionado com os incêndios na floresta portuguesa, que todos os anos é dizimada pelo fogo devido a incêndios que surgem na sua maioria causados pelo homem sendo uma parte significativa os de origem criminosa. Para dar resposta a estes problemas e no sentido de vigiar e dissuadir estes tipos de crimes, iniciamos um estudo que pretende propor um protótipo de um sistema de videovigilância para locais remotos (SVR - Sistema de Videovigilância Remota) de baixo custo de forma a diminuir o número de crimes e assim minimizar os prejuízos económico e sociais causados pelos mesmos. Pretendemos estudar o problema e analisar tecnologias com potencial para propor uma solução que possa auxiliar a vigilância nesse tipo de locais com o pressuposto de poder vir a contribuir para a diminuição deste tipo de crimes devido ao seu efeito dissuasor pelo facto de se poder divulgar que estes locais já têm uma solução de vigilância oculta. A solução proposta contempla um sistema de videovigilância com uma camara construída com base num Raspberry Pi onde o vídeo é transmitido em streaming via Web através de comunicações móveis. A alimentação do sistema nestes espaços sem energia elétrica é feita através de um painel fotovoltaico. É proporcionado ao utilizador uma interface para visualizar o vídeo transmitido e um mecanismo de notificações por email. É ainda possível a visualização de imagens gravadas num cartão de memória relativas a ocorrências de deteção de movimentos. Foram realizados inúmeros testes ao protótipo SVR sendo os resultados obtidos aqui descritos.