Combinação de dispositivos de baixo custo para rastreamento de gestos

Pós-graduação em Ciência da Computação - IBILCE

Some researches show that combination of more than one sensor technology can improve tracking, making it more precise or making possible the development of systems that use complex movements, such as in sign languages. The combination of commercial tracking devices allows the development of low cost and easy to use systems. The Kinect, the Wii Remote and the 5DT Data Glove Ultra are devices that use technologies that give complementary information of arms and hands tracking, are easy to manipulate, have low cost and free development tools, among other advantages. To evaluate the combination of these devices for human communication gesture tracking, a system was developed having two main modules, one for device processing with initialization and movements union, and other that provides the visualization of Virtual Human movements of executed tracking. This system use the glove to provide hands configuration capture, the Wii Remote to give forearms rotation and a Kinect to track arms and forearms pitch. Tests were done for different movements, and the results of each devices data were processed and tracked movement was displayed by the Virtual Human in real time successfully

Algumas pesquisas mostram que a combinação de mais de uma tecnologia de sensor pode melhorar o rastreamento de movimentos, tornando-o mais preciso ou permitindo a implementação de aplicações que usam movimentos complexos, como nas línguas de sinais por exemplo. A combinação de dispositivos de rastreamento de movimentos vendidos comercialmente permite desenvolver sistemas de baixo custo e de fácil utilização. O Kinect, o Wii Remote e a 5DT Data Glove Ultra são dispositivos que usam tecnologias que fornecem informações complementares de rastreamento de braços e mãos, são fáceis de usar, têm baixo custo e possuem bibliotecas de desenvolvimento gratuitas, entre outras vantagens. Para avaliar a combinação desses dispositivos para rastreamento de gestos, foi desenvolvido um sistema de rastreamento que contém dois módulos principais, um de tratamento dos dispositivos, com inicialização e junção dos movimentos, e outro com a visualização da movimentação do Humano Virtual para o rastreamento feito. Este sistema utiliza a luva para a captura da configuração das mãos, o Wii Remote para fornecer a rotação dos antebraços e o Kinect para o rastreamento dos braços e da inclinação dos antebraços. Foram executados testes para vários movimentos, e os resultados obtidos relativos a cada dispositivo foram tratados e o rastreamento reproduzido em tempo real no Humano Virtual com sucesso