Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Machine learning Vasicek model calibration with Gaussian processes

In this article, we calibrate the Vasicek interest rate model under the risk neutral measure by learning the model parameters using Gaussian processes for machine learning regression. The calibration is done by maximizing the likelihood of zero coupon bond log prices, using mean and covariance functions computed analytically, as well as likelihood derivatives with respect to the parameters. The maximization method used is the conjugate gradients. The only prices needed for calibration are zero coupon bond prices and the parameters are directly obtained in the arbitrage free risk neutral measure.

Extending access to remote labs from mobile devices in educational contexts

This paper describes how to extend the access to remote experiments from mobile devices, aiming to better engage digital native students who expect a more interactive and ubiquitous access mode. The extension is based on features of HTML5 and the jQuery Mobile framework, which allow accessing the experiments from different operating systems via the browser or native applications. As a result, users have a richer interaction mode with the experiments, which includes access from simple hand-held devices such as smartphones and PDAs. Extending the access to remote experiments, from simple devices, enables its use in other educational stages, such as high schools, where teachers struggle to engage students in STEM learning. By enabling students to use their everyday "technological companions", e.g. cellular phones, to access remote experiments, we seek to increase the educational value of this technology-enhanced learning resource.

Educational application of remote experimentation for mobile devices

In this article the authors describe the application development RExMobile and the importance of remote experimentation via mobile devices, especially smartphones simple, beyond the space provided for this application in education. The article deals the creation, software and hardware that provide an interactive and dynamic way to attract more students to use these experiments remote, serving as support to teachers to science teaching from its initial series. The ease and availability of smartphones, even these students of basic education, permits the reach of new users and in different places. Thus, the practice of remote experimentation in mobile devices enables new spaces for access and interaction. Are used for developing software free or low cost, HTML5 and jQuery Mobile framework, that enable the creation of pages compatible with different mobile operating systems such as iOS, Android, Windows Phone, some Symbian, among others. Also are demonstrated patterns layouts that allow greater accessibility.

Otimização do processo produtivo de extrusão de pisos na E06

O presente trabalho foi elaborado no âmbito da Dissertação Final de Mestrado do curso de Engenharia Mecânica – Gestão Industrial do Instituto Superior de Engenharia do Porto. Este foi realizado numa empresa da indústria de pneus, a Continental Mabor S.A.. Nos dias atuais, a indústria esta cada vez mais competitiva, os custos e os prazos da entrega são cada vez mais reduzidos e a qualidade cada vez mais exigente, assim sendo, é imprescindível uma constante melhoria do sistema produtivo. Este fato fez com que o presente trabalho tivesse como principal objetivo determinar o estado atual e delinear um plano de melhoria para um equipamento (Extrusora de pisos nº6), recentemente instalado na fábrica mas oriundo de outra fábrica do grupo, recorrendo para tal ao Lean Manufacturing e a ferramentas que lhe estão associadas. Inicialmente realizou-se uma análise e diagnóstico ao processo de extrusão de pisos na Extrusora nº6, com o intuito de avaliar todas as suas ineficiências e ainda formular um plano de melhorias para a ineficiência de maior impacto no sistema produtivo. Esta análise foi realizada em diferentes turnos e diferentes equipas de trabalho de forma a se obter uma amostra mais representativa da realidade global. Após esta análise verificou-se que as principais ineficiências eram Setup, conformidade do material, dimensões e encravamentos, entre outros. Sendo que os Setup provocam um tempo de paragem de 101 minutos por turno, escolheu-se esta perturbação como o foco do plano de melhorias a realizar posteriormente. De forma a reduzir os tempos de mudança (Setup), o autor no presente trabalho utilizou ferramentas Lean Manufacturing, principalmente o SMED. Conjuntamente com o SMED ainda foram utilizadas outras ferramentas Lean Manufacturing tais como: 5S, Gestão Visual, Problem Solving e Normalização do Método de Trabalho. Após a implementação de todas estas ferramentas obteve-se uma redução de tempos de mudança de 43% com 1 operador e 71% com 2 operadores, ou seja, reduziu-se de 40,5 minutos gastos por turno para a mudança de fieira para 23,13 min e 11,79 min respetivamente, o que corresponde a um ganho monetário anual de 63.621€ ou 105.045€, respetivamente. Com este trabalho conclui-se que a utilização de ferramentas Lean Manufacturing contribuem para a redução dos desperdícios do processo produtivo. Por isso, espera-se que este estudo seja aplicado na Extrusora nº6 e nas restantes Extrusoras de pisos existentes na fábrica, e num futuro próximo que se realize estudos semelhantes em máquinas com diferentes funções.

Linux based mobile: operating systems

Trabalho de Projeto para obtenção do grau de Mestre em Engenharia Informática e de Computadores

Real time mobile system for support in firefighting environments

Dissertação apresentada na Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa para a obtenção do grau de Mestre em Engenharia Electrotécnica e de Computadores

Remote and mobile experimentation: pushing the boundaries of an ubiquitous learning place

Concepts like E-learning and M-learning are changing the traditional learning place. No longer restricted to well-defined physical places, education on Automation and other Engineering areas is entering the so-called ubiquitous learning place, where even the more practical knowledge (acquired at lab classes) is now moving into, due to emergent concepts such as Remote Experimentation or Mobile Experimentation. While Remote Experimentation is traditionally regarded as the remote access to real-world experiments through a simple web browser running on a PC connected to the Internet, Mobile Experimentation may be seen as the access to those same (or others) experiments, through mobile devices, used in M-learning contexts. These two distinct client types (PCs versus mobile devices) pose specific requirements for the remote lab infrastructure, namely the ability to tune the experiment interface according to the characteristics (e.g. display size) of the accessing device. This paper addresses those requirements, namely by proposing a new architecture for the remote lab infrastructure able to accommodate both Remote and Mobile Experimentation scenarios.

EduMCA: an approach to Educational Mobile Content Adaptation

As the variety of mobile devices connected to the Internet growts there is a correponding increase in the need to deliver content tailored to their heterogeneous characteristics. At the same time, we watch to the increase of e-learning in universities through the adoption of electronic platforms and standards. Not surprisingly, the concept of mLearning (Mobile Learning) appeared in recent years decreasing the limitation of learning location with the mobility of general portable devices. However, this large number and variety of Web-enabled devices poses several challenges for Web content creators who want to automatic get the delivery context and adapt the content to the client mobile devices. In this paper we analyze several approaches to defining delivery context and present an architecture for deliver uniform mLearning content to mobile devices denominated eduMCA - Educational Mobile Content Adaptation. With the eduMCA system the Web authors will not need to create specialized pages for each kind of device, since the content is automatically transformed to adapt to any mobile device capabilities from WAP to XHTML MP-compliant devices.

Sensors on mobile devices for AAL

Com o envelhecimento da população, as preocupações com a garantia do seu bem-estar aumentam criando a necessidade de desenvolver ferramentas que permitam monitorizar em permanência este sector da população. A utilização de smartphones pelos mais velhos pode ser crucial no seu bem-estar e na sua autonomia contribuindo para a recolha de informação importante já que estes estão muitas vezes equipados com sensores que podem dar indicações preciosas ao cuidador sobre o estado atual do paciente. Os sensores podem fornecer dados sobre a atividade física do paciente, bem como detetar quedas ou calcular a sua posição, com a ajuda do acelerómetro, do giroscópio e do sensor de campo magnético. No entanto, funcionalidades como essas requerem, obrigatoriamente, uma frequência de amostragem mínima por parte dos sensores que permita a implementação de algoritmos, que determinarão esses parâmetros da forma mais exata possível. Dado que nem sempre os pacientes se fazem acompanhar do seu smartphone quando estão na sua residência, a criação de ambientes de AAL (Ambient Assisted Living) com recurso a dispositivos externos que podem ser “vestidos” pelos pacientes pode também ser uma solução adequada. Estes contêm normalmente os mesmos sensores que os smartphones e comunicam com estes através de tecnologias sem fios, como é o caso do Bluetooth Low Energy. Neste trabalho, avaliou-se a possibilidade de alteração da frequência dos sensores em diferentes sistemas operativos, tendo sido efectuadas modificações nas instalações por defeito de alguns sistemas operativos abertos. Com o objectivo de permitir a criação de uma solução de AAL com recurso a um dispositivo externo implementaram-se serviços e perfis num dispositivo externo, o SensorTag.

ESEIG Mobile: an m-learning approach in a superior school

In recent years, mobile learning has emerged as an educational approach to decrease the limitation of learning location and adapt the teaching-learning process to all type of students. However, the large number and variety of Web-enabled devices poses challenges for Web content creators who want to automatic get the delivery context and adapt the content to mobile devices. In this paper we study several approaches to adapt the learning content to mobile phones. We present an architecture for deliver uniform m-Learning content to students in a higher School. The system development is organized in two phases: firstly enabling the educational content to mobile devices and then adapting it to all the heterogeneous mobile platforms. With this approach, Web authors will not need to create specialized pages for each kind of device, since the content is automatically transformed to adapt to any mobile device capabilities from WAP to XHTML MP-compliant devices.

Using mobile device detection approaches to augment the accuracy of web delivery content

Recent studies of mobile Web trends show a continuous explosion of mobile-friendly content. However, the increasing number and heterogeneity of mobile devices poses several challenges for Web programmers who want to automatically get the delivery context and adapt the content to mobile devices. In this process, the devices detection phase assumes an important role where an inaccurate detection could result in a poor mobile experience for the enduser. In this paper we compare the most promising approaches for mobile device detection. Based on this study, we present an architecture for a system to detect and deliver uniform m-Learning content to students in a Higher School. We focus mainly on the devices capabilities repository manageable and accessible through an API. We detail the structure of the capabilities XML Schema that formalizes the data within the devices capabilities XML repository and the REST Web Service API for selecting the correspondent devices capabilities data according to a specific request. Finally, we validate our approach by presenting the access and usage statistics of the mobile web interface of the proposed system such as hits and new visitors, mobile platforms, average time on site and rejection rate.

Moxtra ‘o meu’, ‘o teu’, ‘o nosso’, ‘o vosso’ mobile learning

Neste workshop pretende-se apresentar uma aplicação móvel (Moxtra) que integra uma experiência de inovação pedagógica no âmbito do mobile-learning que está em pleno desenvolvimento, com a participação ativa dos estudantes e docentes das unidades curriculares de Hematologia Laboratorial I e II do curso de Ciências Biomédicas Laboratoriais. A adesão dos estudantes ao projeto mobile-learning é inédita no nosso país e tem sido muito positiva. O workshop terá dois objetivos: a) Conhecer os principais atributos da aplicação Moxtra; b) Construir um modelo de gestão de aprendizagem para uma unidade curricular.