Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Interfaces inovadores para a aprendizagem musical

Mestrado em Engenharia Informática

Modelos e interfaces gráficos para objectos de aprendizagem na área da saúde

A educação é uma área bastante importante no desenvolvimento humano e tem vindo a adaptar-se às novas tecnologias. Tentam-se encontrar novas maneiras de ensinar de modo a obter um rendimento cada vez maior na aprendizagem das pessoas. Com o aparecimento de novas tecnologias como os computadores e a Internet, a concepção de aplicações digitais educativas cresceu e a necessidade de instruir cada vez melhor os alunos leva a que estas aplicações precisem de um interface que consiga leccionar de uma maneira rápida e eficiente. A combinação entre o ensino com o auxílio dessas novas tecnologias e a educação à distância deu origem ao e-Learning (ensino à distância). Através do ensino à distância, as possibilidades de aumento de conhecimento dos alunos aumentaram e a informação necessária tornou-se disponível a qualquer hora em qualquer lugar com acesso à Internet. Mas os cursos criados online tinham custos altos e levavam muito tempo a preparar o que gerou um problema para quem os criava. Para recuperar o investimento realizado decidiu-se dividir os conteúdos em módulos capazes de serem reaproveitados em diferentes contextos e diferentes tipos de utilizadores. Estes conteúdos modulares foram denominados Objectos de Aprendizagem. Nesta tese, é abordado o estudo dos Objectos de Aprendizagem e a sua evolução ao longo dos tempos em termos de interface com o utilizador. A concepção de um interface que seja natural e simples de utilizar nem sempre é fácil e independentemente do contexto em que se insere, requer algum conhecimento de regras que façam com que o utilizador que use determinada aplicação consiga trabalhar com um mínimo de desempenho. Na concepção de Objectos de Aprendizagem, áreas de complexidade elevada como a Medicina levam a que professores ou doutores sintam alguma dificuldade em criar um interface com conteúdos educativos capaz de ensinar com eficiência os alunos, devido ao facto de grande parte deles desconhecerem as técnicas e regras que levam ao desenvolvimento de um interface de uma aplicação. Através do estudo dessas regras e estilos de interacção torna-se mais fácil a criação de um bom interface e ao longo desta tese será estudado e proposto uma ferramenta que ajude tanto na criação de Objectos de Aprendizagem como na concepção do respectivo interface.

Construção de interfaces em Flex para sistemas de experimentação remota

Os laboratórios de experimentação remota estão normalmente associados a tecnologias ou soluções proprietárias, as quais restringem a sua utilização a determinadas plataformas e obrigam ao uso de software específico no lado do cliente. O ISEP possui um laboratório de experimentação remota, baseado em instrumentação virtual, usado no apoio ao ensino da electrónica e construído sobre uma plataforma NIELVIS da National Instruments. O software de controlo da plataforma recorre à linguagem gráfica de programação LabVIEW. Esta é uma ferramenta desenvolvida pela National Instruments que facilita o desenvolvimento de aplicações de sistemas de experimentação remota, mas que possui várias limitações, nomeadamente a necessidade de instalação do lado do cliente de um plug-in, cuja disponibilidade se encontra limitada a determinadas versões de sistemas operativos e de Web Browsers. A experiência anterior demonstrou que estas questões limitam o número de clientes com possibilidade de acesso ao laboratório remoto, para além de, em alguns casos, se ter verificado não ser transparente a sua instalação e utilização. Neste contexto, o trabalho de investigação consistiu no desenvolvimento de uma solução que permite a geração de interfaces que possibilitam o controlo remoto do sistema implementado, e que, ao mesmo tempo, são independentes da plataforma usada pelo cliente.

Projecto de avaliação de interfaces – PAI

Para obtenção do grau de Doutor pela Universidade de Vigo com menção internacional Departamento de Informática

SketchyDynamics apoio à produção de sistemas baseados em interfaces caligráficas para a simulação da dinâmica de corpos rígidos

Mestrado em Engenharia Informática - Área de Especialização em Sistemas Gráficos e Multimédia

Uso de Interfaces Cérebro-computador na comunicação de pessoas com Síndrome de Encarceramento

Os avanços nas Interfaces Cérebro-máquina, resultantes dos avanços no tratamento de sinal e da inteligência artificial, estão a permitir-nos aceder à atividade cerebral, descodificá-la, e usála para comandar dispositivos, sejam eles braços artificiais ou computadores. Isto é muito mais importante quando os utilizadores são pessoas que perderam a capacidade de comunicar, embora mantenham as suas capacidades cognitivas intactas. O caso mais extremo desta situação é o das pessoas afetadas pela Síndrome de Encarceramento. Este trabalho pretende contribuir para a melhoria da qualidade de vida das pessoas afetadas por esta síndrome, disponibilizando-lhes um meio de comunicação adaptado às suas limitações. É essencialmente um estudo de usabilidade aplicada a um tipo de utilizador extremamente diminuído na sua capacidade de interação. Nesta investigação começamos por compreender a Síndrome de Encarceramento e as limitações e capacidades das pessoas afetadas por ela. Abordamos a neuroplasticidade, o que é, e em que medida é importante para a utilização das Interfaces Cérebro-máquina. Analisamos o funcionamento destas interfaces, e os fundamentos científicos que o suportam. Finalmente, com todo este conhecimento em mãos, investigamos e desenvolvemos métodos que nos permitissem otimizar as limitadas capacidades do utilizador na sua interação com o sistema, minimizando o esforço e maximizando o desempenho. Foi para o efeito desenhado e implementado um protótipo que nos permitisse validar as soluções encontradas.

Modelo de avaliação da usabilidade de interfaces Web

A investigação aqui descrita explora a avaliação da usabilidade de interfaces de sítios Web sustentada nos fundamentos da IHC e apresenta um novo metamodelo universal de avaliação da usabilidade, designado por UsaWeb, aplicável a qualquer interface Web, sendo uma proposta completa e coerente que representa um novo paradigma de avaliação da usabilidade de interfaces Web.

Utilização do Kinect no apoio ao ensino/ aprendizagem dos fundamentos da Matemática

A interação humano-computador passou a desempenhar um papel fundamental no mundo atual. Esta forma de comunicar continua a evoluir, introduzindo novas formas de interação, como por exemplo, a interação natural. Este estilo de interação começou por estar presente na área de jogos. No entanto, atualmente está a ser explorada noutras áreas. Esta dissertação tem como propósito investigar a utilidade das interfaces naturais encontradas em consolas de jogos e conjugar com a área educativa, nomeadamente, o ensino e a aprendizagem dos fundamentos de Matemática. O desenvolvimento deste projeto baseou-se no estudo dos conteúdos programáticos de Matemática referentes ao 1º ciclo do ensino básico, de várias aplicações já existentes que estão relacionadas com o tema abordado e de alguns dispositivos de interação natural. De forma a avaliar a ideia proposta, foi desenvolvido um protótipo, designado Matemática Interativa, no sentido de permitir ao utilizador enriquecer a aprendizagem e também o interesse pela disciplina. São descritas, de uma forma mais aprofundada, as funcionalidades do dispositivo escolhido, o Kinect, de modo a tirar proveito das suas potencialidades e desenvolver um motor de reconhecimento de gestos e respetiva avaliação. Por fim, é feita uma discussão dos resultados de uma avaliação de usabilidade com o objetivo de validar a aplicação Matemática Interativa. Os resultados desta avaliação sugerem que a aplicação foi bem-sucedida e revelam ainda capacidades de melhoria.

Interfaces Cérebro-Computador Utilização do Emotiv EPOC para controlar software lúdico

Uma interface cérebro-computador (BCI) não é mais do que um dispositivo que lê e analisa ondas cerebrais e as converte em ações sobre um computador. Com a evolução das BCI e a possibilidade de acesso às mesmas por parte do público começou a ser possível o uso de BCIs para fins lúdicos. Nesse sentido nesta tese foi feito um estudo sobre interfaces cérebro-computador, o que são, que tipos de BCI existem, o seu uso para entretenimento, as suas limitações e o futuro deste tipo de interfaces. Foi ainda criado um software lúdico controlado por BCI (Emotiv EPOC) que é composto por um jogo tipo Pong e um reprodutor de música. O reprodutor de música através de BCI classifica e recomenda músicas ao utilizador. Com esta tese foi possível chegar à conclusão que é possível utilizar BCI para entretenimento (jogos e recomendação de conteúdos) apesar de se ter verificado que para jogos os dispositivos tradicionais de controlo (rato e teclado) ainda têm uma precisão muito superior.

A Avaliação da usabilidade de um sistema médico inteligente: BCCT.core

A avaliação estética da mama é um requisito em diversas aplicações médicas, nomeadamente no tratamento conservador do cancro da mama. Para ultrapassar as limitações de reprodutibilidade e praticabilidade dos métodos subjectivos correntes, foi recentemente desenvolvido um sistema inovador, assistido por computador para uso médico, denominado BCCT.core (Breast Cancer Conservative Treatment.cosmetic results), que prevê, automaticamente, o resultado estético do tratamento conservador do cancro da mama após intervenção [1]. Um dos grandes desafios no desenvolvimento de qualquer sistema computacional é desenhar interfaces de utilizador eficazes — fáceis de aprender, efectivas e que conduzam a uma experiência agradável. Neste trabalho, analisamos alguns dos aspectos mais importantes do desenho da interface do BCCT.core, relacionados com o estudo da interacção com o utilizador, em relação à funcionalidade e usabilidade, através de um questionário dirigido a utilizadores reais dentro do domínio da aplicação. O desempenho do sistema pôde assim ser avaliado por critérios claros, apoiado numa base sólida que permitiu avaliar a percepção humana relativamente à interface, conduzindo ao desenvolvimento de um sistema que apoia efectivamente os utilizadores na realização de tarefas. De uma forma geral pode concluir-se que a utilização de técnicas de interacção homem-computador na avaliação da funcionalidade e usabilidade do BCCT.core foram essenciais no sentido de o tornar mais usável, eficiente e com elevado grau de satisfação, neste caso particular, para o utilizador médico.

Estudo preliminar para a avaliação da acessibilidade de um sítio Web

O avanço e difusão da tecnologia, em particular da Internet, obrigaram à disponibilização de informação com qualidade e facilmente acessível. Tais exigências vêm confirmar a relevância do papel da interface como elemento principal na interacção do utilizador com os sistemas de informação. É, por isso, fundamental que a interface seja fácil de usar e que vá ao encontro das expectativas e necessidades de todos os utilizadores. O desenvolvimento de interfaces que satisfaçam utilizadores com necessidades distintas, independentemente das suas capacidades motoras e perceptivas, culturais e sociais não é uma tarefa que possa se considerada simples [1]. De acordo com vários especialistas em Interacção Homem-Computador, [1], [2] e [3] as interfaces devem ser construídas respeitando os princípios de desenho centrado no utilizador, visando um elevado grau de usabilidade e em conformidade com directrizes de acessibilidade básicas. Este trabalho apresenta uma metodologia para avaliação da acessibilidade de um sítio Web, baseado num documento disponibilizado pela Web Accessibility Initiative, WAI, [4], a ser aplicada à secretaria on-line de uma escola do ensino superior.

Training control centers' operators in incident diagnosis and power restoration using intelligent tutoring systems

The activity of Control Center operators is important to guarantee the effective performance of Power Systems. Operators’ actions are crucial to deal with incidents, especially severe faults like blackouts. In this paper, we present an Intelligent Tutoring approach for training Portuguese Control Center operators in tasks like incident analysis and diagnosis, and service restoration of Power Systems. Intelligent Tutoring System (ITS) approach is used in the training of the operators, having into account context awareness and the unobtrusive integration in the working environment. Several Artificial Intelligence techniques were criteriously used and combined together to obtain an effective Intelligent Tutoring environment, namely Multiagent Systems, Neural Networks, Constraint-based Modeling, Intelligent Planning, Knowledge Representation, Expert Systems, User Modeling, and Intelligent User Interfaces.

Towards the wide implementation of standards IEC 61968/70 (CIM) and IEC 61850 in the distribution system (CIGRÉ C6-105_2010)

Currently, power systems (PS) already accommodate a substantial penetration of distributed generation (DG) and operate in competitive environments. In the future, as the result of the liberalisation and political regulations, PS will have to deal with large-scale integration of DG and other distributed energy resources (DER), such as storage and provide market agents to ensure a flexible and secure operation. This cannot be done with the traditional PS operational tools used today like the quite restricted information systems Supervisory Control and Data Acquisition (SCADA) [1]. The trend to use the local generation in the active operation of the power system requires new solutions for data management system. The relevant standards have been developed separately in the last few years so there is a need to unify them in order to receive a common and interoperable solution. For the distribution operation the CIM models described in the IEC 61968/70 are especially relevant. In Europe dispersed and renewable energy resources (D&RER) are mostly operated without remote control mechanisms and feed the maximal amount of available power into the grid. To improve the network operation performance the idea of virtual power plants (VPP) will become a reality. In the future power generation of D&RER will be scheduled with a high accuracy. In order to realize VPP decentralized energy management, communication facilities are needed that have standardized interfaces and protocols. IEC 61850 is suitable to serve as a general standard for all communication tasks in power systems [2]. The paper deals with international activities and experiences in the implementation of a new data management and communication concept in the distribution system. The difficulties in the coordination of the inconsistent developed in parallel communication and data management standards - are first addressed in the paper. The upcoming unification work taking into account the growing role of D&RER in the PS is shown. It is possible to overcome the lag in current practical experiences using new tools for creating and maintenance the CIM data and simulation of the IEC 61850 protocol – the prototype of which is presented in the paper –. The origin and the accuracy of the data requirements depend on the data use (e.g. operation or planning) so some remarks concerning the definition of the digital interface incorporated in the merging unit idea from the power utility point of view are presented in the paper too. To summarize some required future work has been identified.

Bancada laboratorial remota para o ensino da electrónica

Mestrado em Engenharia Electrotécnica e de Computadores