Extensão do SDK do Kinect: criação de uma biblioteca de gestos

As interfaces naturais têm ganho atenção crescente por parte da comunidade científica. Esta interação, nomeadamente baseada em gestos e voz, tem sido progressivamente mais usada para estabelecer a comunicação entre o homem e a máquina de forma natural. Em paralelo, têm surgido no marcado alguns novos dispositivos com o objetivo de suportar estas formas naturais de interface, entre eles, sensores de movimento. Esta dissertação tem como objetivo a proposta de algoritmos projetados para auxiliar o programador no reconhecimento de gestos, especificamente em dispositivos conhecidos como sensores de movimentos. Atualmente o programador tem o trabalho de desenvolver todo o código para adicionar reconhecimento de gestos à sua aplicação. A solução apresentada neste documento propõe um novo conjunto de métodos que visam a criação de uma biblioteca de gestos e a consequente capacidade de reconhecimento de gestos anteriormente armazenados. A validação deste trabalho consistiu na extensão do Software Development Kit (SDK) do dispositivo Kinect, de forma a adicionar ferramentas complementares, que permitam simplificar a definição e reconhecimento de gestos. A primeira parte consiste na captação e armazenamento de gestos, através do mapeamento de pontos, modelando os gestos e armazenando tal modelo. Esta primeira fase permite no desenvolvimento de um sistema a criação de uma biblioteca de gestos pré-definidos, como por exemplo os gestos da Língua Gestual Portuguesa. Numa segunda fase, a extensão do SDK auxilia também as tarefas de reconhecimento de gestos em tempo real, isto é, deteção do gesto que o utilizador de uma aplicação esteja a fazer e procura desse gesto na biblioteca.

Kinect-sign

A nova era da informação que se está a assistir tem possibilitado a criação de novas e vastas coleções de intelecto virtual, como por exemplo o Wikipedia, Corsera, entre outros. Estas ferramentas vieram possibilitar a procura por cultura, resoluções de problemas do quotidiano, novos métodos de aprendizagem, por parte da sociedade em geral. Porém, como é habitual, tem-se vindo a verificar uma certa dificuldade inerente por parte de certas minorias sociais, que não possuem as mesmas capacidades de um indivíduo “normal“. Esta dissertação tem como objetivo a criação de uma ferramenta, em formato de jogo sério, para apoiar o ensino de Língua Gestual Portuguesa a um público ouvinte o -“Kinect Sign”. Com este estudo pretende-se explorar as mais recentes ferramentas de desenvolvimento de jogos, mais conhecidas como Authoring Tools e a sua integração com Natural User interfaces, concretamente o sensor Kinect. A solução apresentada neste documento propõe a utilização desta ferramenta a todos os indivíduos iniciantes que necessitem de uma introdução a esta forma de comunicação, para tornar um pouco menos agressiva a entrada no complexo mundo da linguagem gestual. A validação deste trabalho consistiu no desenvolvimento de um jogo protótipo que incentive os jogadores a aprenderem enquanto jogam. Analisaram-se problemas e tecnologias atuais para se chegar a uma estruturação semelhante a um jogo comum disponível em qualquer superfície comercial e websites dedicados ao género. Posterior apresentação a uma população selecionada a fim de analisar a sua opinião e utilidade do modelo desenvolvido, seguindo-se a resposta a um pequeno questionário.