Extensão do SDK do Kinect: criação de uma biblioteca de gestos

As interfaces naturais têm ganho atenção crescente por parte da comunidade científica. Esta interação, nomeadamente baseada em gestos e voz, tem sido progressivamente mais usada para estabelecer a comunicação entre o homem e a máquina de forma natural. Em paralelo, têm surgido no marcado alguns novos dispositivos com o objetivo de suportar estas formas naturais de interface, entre eles, sensores de movimento. Esta dissertação tem como objetivo a proposta de algoritmos projetados para auxiliar o programador no reconhecimento de gestos, especificamente em dispositivos conhecidos como sensores de movimentos. Atualmente o programador tem o trabalho de desenvolver todo o código para adicionar reconhecimento de gestos à sua aplicação. A solução apresentada neste documento propõe um novo conjunto de métodos que visam a criação de uma biblioteca de gestos e a consequente capacidade de reconhecimento de gestos anteriormente armazenados. A validação deste trabalho consistiu na extensão do Software Development Kit (SDK) do dispositivo Kinect, de forma a adicionar ferramentas complementares, que permitam simplificar a definição e reconhecimento de gestos. A primeira parte consiste na captação e armazenamento de gestos, através do mapeamento de pontos, modelando os gestos e armazenando tal modelo. Esta primeira fase permite no desenvolvimento de um sistema a criação de uma biblioteca de gestos pré-definidos, como por exemplo os gestos da Língua Gestual Portuguesa. Numa segunda fase, a extensão do SDK auxilia também as tarefas de reconhecimento de gestos em tempo real, isto é, deteção do gesto que o utilizador de uma aplicação esteja a fazer e procura desse gesto na biblioteca.

A SDK improvement towards gesture support

Human-Computer Interaction have been one of the main focus of the technological community, specially the Natural User Interfaces (NUI) field of research as, since the launch of the Kinect Sensor, the goal to achieve fully natural interfaces just got a lot closer to reality. Taking advantage of this conditions the following research work proposes to compute the hand skeleton in order to recognize Sign Language Shapes. The proposed solution uses the Kinect Sensor to achieve a good segmentation and image analysis algorithms to extend the skeleton from the extraction of high-level features. In order to recognize complex hand shapes the current research work proposes the redefinition of the hand contour making it immutable to translation, rotation and scaling operations, and a set of tools to achieve a good recognition. The validation of the proposed solution extended the Kinects Software Development Kit to allow the developer to access the new set of inferred points and created a template-matching based platform that uses the contour to define the hand shape, this prototype was tested in a set of predefined conditions and showed to have a good success ration and has proven to be eligible for real-time scenarios.

Kinect-sign

A nova era da informação que se está a assistir tem possibilitado a criação de novas e vastas coleções de intelecto virtual, como por exemplo o Wikipedia, Corsera, entre outros. Estas ferramentas vieram possibilitar a procura por cultura, resoluções de problemas do quotidiano, novos métodos de aprendizagem, por parte da sociedade em geral. Porém, como é habitual, tem-se vindo a verificar uma certa dificuldade inerente por parte de certas minorias sociais, que não possuem as mesmas capacidades de um indivíduo “normal“. Esta dissertação tem como objetivo a criação de uma ferramenta, em formato de jogo sério, para apoiar o ensino de Língua Gestual Portuguesa a um público ouvinte o -“Kinect Sign”. Com este estudo pretende-se explorar as mais recentes ferramentas de desenvolvimento de jogos, mais conhecidas como Authoring Tools e a sua integração com Natural User interfaces, concretamente o sensor Kinect. A solução apresentada neste documento propõe a utilização desta ferramenta a todos os indivíduos iniciantes que necessitem de uma introdução a esta forma de comunicação, para tornar um pouco menos agressiva a entrada no complexo mundo da linguagem gestual. A validação deste trabalho consistiu no desenvolvimento de um jogo protótipo que incentive os jogadores a aprenderem enquanto jogam. Analisaram-se problemas e tecnologias atuais para se chegar a uma estruturação semelhante a um jogo comum disponível em qualquer superfície comercial e websites dedicados ao género. Posterior apresentação a uma população selecionada a fim de analisar a sua opinião e utilidade do modelo desenvolvido, seguindo-se a resposta a um pequeno questionário.

Paradigmas de interfaces dos novos media: desafios para o design

Trabalho de Projecto de Mestrado em Ciências da Comunicação Variante Novos Media e Práticas Web

About using serious games to teach (Portuguese) sign language

Sign language is the form of communication used by Deaf people, which, in most cases have been learned since childhood. The problem arises when a non-Deaf tries to contact with a Deaf. For example, when non-Deaf parents try to communicate with their Deaf child. In most cases, this situation tends to happen when the parents did not have time to properly learn sign language. This dissertation proposes the teaching of sign language through the usage of serious games. Currently, similar solutions to this proposal do exist, however, those solutions are scarce and limited. For this reason, the proposed solution is composed of a natural user interface that is intended to create a new concept on this field. The validation of this work, consisted on the implementation of a serious game prototype, which can be used as a source for learning (Portuguese) sign language. On this validation, it was first implemented a module responsible for recognizing sign language. This first stage, allowed the increase of interaction and the construction of an algorithm capable of accurately recognizing sign language. On a second stage of the validation, the proposal was studied so that the pros and cons can be determined and considered on future works.