Reconhecimento de língua gestual

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Informática e Computadores

As Línguas Gestuais são o canal privilegiado para a comunicação de quem sofre de incapacidade auditiva total ou parcial. Devido ao facto destas Línguas Gestuais terem surgido por força da necessidade de comunicação de grupos de indivíduos por todo o mundo levou a que pessoas de regiões distintas utilizassem gestos diferentes para as mesmas palavras. Ao longo dos anos a comunidade científica tem tentado desenvolver sistemas que tentam automatizar o reconhecimento destas línguas. Devido à complexidade intrínseca das línguas, pela diversidade física dos executores ou pelas limitações tecnológicas, até aos dias de hoje, não é conhecida nenhuma solução óptima ou que resolva o problema na íntegra. Com o surgir e o aperfeiçoamento de dispositivos sensoriais de profundidade, surgem novas possibilidades para abordar o problema. Nesta tese, foram definidas, desenvolvidas e testadas propostas de soluções que se acredita serem uma mais-valia para o problema do reconhecimento automático de gestos aplicado à Língua Gestual Portuguesa. Para o efeito, foi adoptado um sensor de profundidade para a aquisição de gestos naturais do ser humano, adoptadas técnicas de extracção de características e implementados algoritmos de classificação para resolver o problema do reconhecimento de gestos estáticos e dinâmicos de forma contínua em tempo real.

Abstract: The sign languages are a privileged channel for communication for those who suffer from total or partial hearing loss. Because these signs languages were developed by the need of communication of groups of individuals throughout the world, people from different regions use different gestures for the same words. Over the years the scientific community has tried to develop systems that attempt to automate the recognition of these languages. Due to the intrinsic complexity of the language, the physical diversity of the users or technological limitations, to this day, it is not known an optimal solution that totally solves this problem. With the rise and improvement of depth sensory devices, new possibilities emerge to address the problem. In this thesis, proposals were defined, developed and tested for solutions that we believe will be an asset to the problem of automatic recognition gestures for the Portuguese Sign Language. To this end, a depth sensor device for acquiring natural stimuli of the human being has been adapted, featuring extraction techniques and classification algorithms were implemented to solve the problem of the recognition of static and dynamic gestures in a continuous form and in real time.