Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Web GIS to support irrigation management: a prototype for SAGRA network, Alentejo Portugal

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial Technologies

ALSMon: sistema para monitorizar ALS

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e de Computadores

Implementação de um Array de detetores de radiação ionizante

Atualmente, as radiações ionizantes desempenham um papel fundamental nas áreas de diagnóstico e terapia, estando omnipresentes em ambientes hospitalares. Contudo, devido aos efeitos biológicos adversos da radiação, torna-se essencial a protecção dos profissionais de saúde e pacientes. Consequentemente, um array de detetores capazes de produzir um sinal acústico, aquando da presença de radiação ionizante excedendo determinados valores limite e transmissão via wireless das leituras para um sistema central _e de grande interesse prático. Nesta dissertação, foi implementado um sistema capaz de alimentar um array de sensores de radiação para monitorização de diferentes espaços e transmissão das leituras efetuadas via wireless. A aquisição de dados foi realizada, recorrendo à utilização de um conversor analógico-digital. Vários testes de validação foram realizados, através de vários passos para alcançar a concretização do sistema final, nomeadamente testes relativos ao circuito de detecção, módulos de comunicação wireless, bem como o uso de diferentes ambientes de desenvolvimento integrados (IDE). Os resultados destes testes mostram a visualização e gravação adequadas dos dados relativos aos níveis de radiação, bem como a transmissão de dados de forma viável, permitindo a monitorização de espaços sujeitos à presença de radiação ionizante. Desta forma, um array de contadores Geiger-Müller, ligados a módulos wireless XBee open-source e uma placa Arduino, possibilitou a implementação de um sistema viável e de baixo custo para monitorização de radiação ionizante e registar esses mesmos dados para posterior análise.

Sensors on mobile devices for AAL

Com o envelhecimento da população, as preocupações com a garantia do seu bem-estar aumentam criando a necessidade de desenvolver ferramentas que permitam monitorizar em permanência este sector da população. A utilização de smartphones pelos mais velhos pode ser crucial no seu bem-estar e na sua autonomia contribuindo para a recolha de informação importante já que estes estão muitas vezes equipados com sensores que podem dar indicações preciosas ao cuidador sobre o estado atual do paciente. Os sensores podem fornecer dados sobre a atividade física do paciente, bem como detetar quedas ou calcular a sua posição, com a ajuda do acelerómetro, do giroscópio e do sensor de campo magnético. No entanto, funcionalidades como essas requerem, obrigatoriamente, uma frequência de amostragem mínima por parte dos sensores que permita a implementação de algoritmos, que determinarão esses parâmetros da forma mais exata possível. Dado que nem sempre os pacientes se fazem acompanhar do seu smartphone quando estão na sua residência, a criação de ambientes de AAL (Ambient Assisted Living) com recurso a dispositivos externos que podem ser “vestidos” pelos pacientes pode também ser uma solução adequada. Estes contêm normalmente os mesmos sensores que os smartphones e comunicam com estes através de tecnologias sem fios, como é o caso do Bluetooth Low Energy. Neste trabalho, avaliou-se a possibilidade de alteração da frequência dos sensores em diferentes sistemas operativos, tendo sido efectuadas modificações nas instalações por defeito de alguns sistemas operativos abertos. Com o objectivo de permitir a criação de uma solução de AAL com recurso a um dispositivo externo implementaram-se serviços e perfis num dispositivo externo, o SensorTag.

Meios de partilha de recursos educativos digitais: LMS, CMS e Cloud Computing

Para muitos, o ato de ensinar, era e continua a ser uma “arte”, em que os professores e os grandes mestres mais eficientes são aqueles que têm a capacidade e a arte de fazer passar as suas mensagens e conhecimentos, de forma simples e apelativa, independentemente da área de estudo. A informação relacionada com a aula, é cada vez mais digital, sendo importante, por parte dos docentes, o domínio de tecnologias de criação, organização e disponibilização de conteúdos. Essa partilha foi inicialmente possível pelas páginas Web e mais tarde pelas plataformas LMS (Learning Management System). Criar um Website era uma tarefa complicada quer ao nível do seu custo quer ao nível do domínio da tecnologia Web e era por vezes necessário contratar profissionais para o efeito. Surgiram então as CMS (Content Management System) que são tecnologias Open Source, que permitem a gestão de conteúdos. Neste sentido foi realizado um estudo com o objetivo de aferir sobre as competências dos professores no domínio da partilha de Gestão de Conteúdos Digitais. O presente estudo permitiu retirar conclusões sobre o potencial e aplicabilidade das CMS no ensino. O principal objetivo do presente estudo incidiu no potencial de distribuição e partilha de Recursos Educativos Digitais organizados sobre o ponto de vista pedagógico aos alunos. Foi ainda analisado e estudado o papel do Cloud Computing no processo de partilha colaborativa de documentos. Foi delineado como suporte à presente investigação um curso modelo que por sua vez foi implementado nas três principais CMS da atualidade e avaliado o potencial de cada uma neste contexto. Finalmente foram apresentadas as conclusões retiradas do presente estudo.

Optimization of multi-stage amplifiers in deep-submicron CMOS using a distributed/parallel genetic algorithm

IEEE International Symposium on Circuits and Systems, pp. 724 – 727, Seattle, EUA

From cheating to teaching: a path for conversion of illegal gambling machines

Video poker machines, a former symbol of fraud and gambling in Brazil, are now being converted into computer-based educational tools for Brazilian public primary schools and also for governmental and non-governmental institutions dealing with communities of poverty and social exclusion, in an attempt to reduce poverty risks (decrease money spent on gambling) and promote social inclusion (increase access and motivation to education). Thousands of illegal gambling machines are seized by federal authorities, in Brazil, every year, and usually destroyed at the end of the criminal apprehension process. This paper describes a project developed by the University of Southern Santa Catarina, Brazil, responsible for the conversion process of gambling machines, and the social inclusion opportunities derived from it. All project members worked on a volunteer basis, seeking to promote social inclusion of Brazilian young boys and girls, namely through digital inclusion. So far, the project has been able to convert over 200 gambling machines and install them in over 40 public primary schools, thus directly benefiting more than 12,000 schoolchildren. The initial motivation behind this project was technology based, however the different options arising from the conversion process of the gambling machines have also motivated a rather innovative and unique experience in allowing schoolchildren and young people with special (educational) needs to access to computer-based pedagogical applications. The availability of these converted machines also helps to place Information and Communication Technologies (ICT) in the very daily educational environment of these children and youngsters, thus serving social and cultural inclusion aspects, by establishing a dialogue with the community and their technological expectations, and also directly contributing to their digital literacy.

Towards Active Course Marks for Autonomous Sailing Competitions

This paper describes the environmental monitoring / regatta beacon buoy under development at the Laboratory of Autonomous Systems (LSA) of the Polytechnic Institute of Porto. On the one hand, environmentalmonitoring of open water bodies in real or deferred time is essential to assess and make sensible decisions and, on the other hand, the broadcast in real time of position, water and wind related parameters allows autonomous boats to optimise their regatta performance. This proposal, rather than restraining the boats autonomy, fosters the development of intelligent behaviour by allowing the boats to focus on regatta strategy and tactics. The Nautical and Telemetric Application (NAUTA) buoy is a dual mode reconfigurable system that includes communications, control, data logging, sensing, storage and power subsystems. In environmental monitoring mode, the buoy gathers and stores data from several underwater and above water sensors and, in regatta mode, the buoy becomes an active course mark for the autonomous sailing boats in the vicinity. During a race, the buoy broadcasts its position, together with the wind and the water current local conditions, allowing autonomous boats to navigate towards and round the mark successfully. This project started with the specification of the requirements of the dual mode operation, followed by the design and building of the buoy structure. The research is currently focussed on the development of the modular, reconfigurable, open source-based control system. The NAUTA buoy is innovative, extensible and optimises the on board platform resources.

Monitorização automática de redes de computadores: estudo e proposta de uma nova solução

Dissertação apresentada na Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa para obtenção do grau de Mestre em Engenharia Electrotécnica e de Computadores

Implementação de um sistema de informação geográfica numa autarquia utilizando software livre e de código aberto

Dissertação apresentada como requisito parcial para obtenção do grau de Mestre em Ciência e Sistemas de Informação Geográfica.

Teaching and learning with social software in higher education: content management systems integrated with Web-based applications as a key factor for success

The change of paradigm imposed by the Bologna process, in which the student will be responsible for their own learning, and the presence of a new generation of students with higher technological skills, represent a huge challenge for higher education institutions. The use of new Web Social concepts in teaching process, supported by applications commonly called Web 2.0, with which these new students feel at ease, can bring benefits in terms of motivation and the frequency and quality of students' involvement in academic activities. An e-learning platform with web-based applications as a complement can significantly contribute to the development of different skills in higher education students, covering areas which are usually in deficit.

Identificação forense de ossadas por tomografia computorizada

A antropologia forense é uma disciplina das ciências forenses que trata da análise de restos cadavéricos humanos para fins legais. Uma das suas aplicações mais populares é a identificação forense que consiste em determinar o perfil biológico (idade, sexo, ancestralidade e estatura) de um indivíduo. No entanto, este processo muitas vezes é dificultado quando o corpo se encontra em avançado estado de decomposição apenas existindo restos esqueléticos. Neste caso, áreas médicas comummente utilizadas na identificação de cadáveres, como a patologia, tem de ser descartadas e surge a necessidade de aplicar outras técnicas. Neste contexto, muitos métodos antropométricos são propostos de forma a caracterizar uma pessoa através do seu esqueleto. Contudo, constata-se que a maioria dos procedimentos sugeridos é baseada em equipamentos básicos de medição, não usufruindo da tecnologia contemporânea. Assim, em parceria com a Delegação Norte do NMLCF, I. P., esta Tese teve na sua génese a criação de um sistema computacional baseado em imagens de Tomografia Computorizada (TC) de ossadas que, através de ferramentas open source, permita a realização de identificação forense. O trabalho apresentado baseia-se no processo de gestão de informação, aquisição, processamento e visualização de imagens TC. No decorrer da realização da presente Tese foi desenvolvida uma base de dados que permite organizar a informação de cada ossada e foram implementados algoritmos que levam a uma extracção de características muito mais vasta que a efetuada manualmente com os equipamentos de medição clássicos. O resultado final deste estudo consistiu num conjunto de técnicas que poderão ser englobadas num sistema computacional de identificação forense e deste modo criar uma aplicação com vantagens tecnológicas evidentes.

Análise da evolução de software com séries temporais

Trabalho apresentado no âmbito do Mestrado em Engenharia Informática, como requisito parcial para obtenção do grau de Mestre em Engenharia Informática

Modelação e identificação de motor DC

O modelo matemático de um sistema real permite o conhecimento do seu comportamento dinâmico e é geralmente utilizado em problemas de engenharia. Por vezes os parâmetros utilizados pelo modelo são desconhecidos ou imprecisos. O envelhecimento e o desgaste do material são fatores a ter em conta pois podem causar alterações no comportamento do sistema real, podendo ser necessário efetuar uma nova estimação dos seus parâmetros. Para resolver este problema é utilizado o software desenvolvido pela empresa MathWorks, nomeadamente, o Matlab e o Simulink, em conjunto com a plataforma Arduíno cujo Hardware é open-source. A partir de dados obtidos do sistema real será aplicado um Ajuste de curvas (Curve Fitting) pelo Método dos Mínimos Quadrados de forma a aproximar o modelo simulado ao modelo do sistema real. O sistema desenvolvido permite a obtenção de novos valores dos parâmetros, de uma forma simples e eficaz, com vista a uma melhor aproximação do sistema real em estudo. A solução encontrada é validada com recurso a diferentes sinais de entrada aplicados ao sistema e os seus resultados comparados com os resultados do novo modelo obtido. O desempenho da solução encontrada é avaliado através do método das somas quadráticas dos erros entre resultados obtidos através de simulação e resultados obtidos experimentalmente do sistema real.