Interface caligráfica de escrita no ar


Autoria(s): Leitão, Pedro Miguel Oliveira
Contribuinte(s)

Pereira, João P.

Castro, António Abel Vieira de

Data(s)

05/06/2014

05/06/2014

2012

Resumo

Na atualidade, está a emergir um novo paradigma de interação, designado por Natural User Interface (NUI) para reconhecimento de gestos produzidos com o corpo do utilizador. O dispositivo de interação Microsoft Kinect foi inicialmente concebido para controlo de videojogos, para a consola Xbox360. Este dispositivo demonstra ser uma aposta viável para explorar outras áreas, como a do apoio ao processo de ensino e de aprendizagem para crianças do ensino básico. O protótipo desenvolvido visa definir um modo de interação baseado no desenho de letras no ar, e realizar a interpretação dos símbolos desenhados, usando os reconhecedores de padrões Kernel Discriminant Analysis (KDA), Support Vector Machines (SVM) e $N. O desenvolvimento deste projeto baseou-se no estudo dos diferentes dispositivos NUI disponíveis no mercado, bibliotecas de desenvolvimento NUI para este tipo de dispositivos e algoritmos de reconhecimento de padrões. Com base nos dois elementos iniciais, foi possível obter uma visão mais concreta de qual o hardware e software disponíveis indicados à persecução do objetivo pretendido. O reconhecimento de padrões constitui um tema bastante extenso e complexo, de modo que foi necessária a seleção de um conjunto limitado deste tipo de algoritmos, realizando os respetivos testes por forma a determinar qual o que melhor se adequava ao objetivo pretendido. Aplicando as mesmas condições aos três algoritmos de reconhecimento de padrões permitiu avaliar as suas capacidades e determinar o $N como o que apresentou maior eficácia no reconhecimento. Por último, tentou-se averiguar a viabilidade do protótipo desenvolvido, tendo sido testado num universo de elementos de duas faixas etárias para determinar a capacidade de adaptação e aprendizagem destes dois grupos. Neste estudo, constatou-se um melhor desempenho inicial ao modo de interação do grupo de idade mais avançada. Contudo, o grupo mais jovem foi revelando uma evolutiva capacidade de adaptação a este modo de interação melhorando progressivamente os resultados.

A new interaction paradigm, designated by Natural User Interface (NUI), for the recognition of gestures produced with the user’s body, is emerging. The interaction device Microsoft Kinect was originally designed to control video games, for console Xbox360. This device proves to be a viable wager to explore other areas such as support to the teaching and learning process for children of elementary school. The developed prototype aims to define a mode of interaction for drawing letters in the air, and perform the interpretation of the symbols by means of the pattern recognizers Kernel Discriminant Analysis (KDA), Support Vector Machines (SVM) and $ N. The development of this project was based on the study of different NUI devices available on the market, development libraries NUI for this type of devices and algorithms for pattern recognition. Based on the two initial elements, it was possible to get a more concrete vision of which of the available hardware and software adequate to achieve the intended goal. The pattern recognition is a very extensive and complex subject, so that it was necessary to select a limited set of such algorithms and perform tests to determine which one was the best suited to the intended purpose. Applying the same conditions to the three pattern recognition algorithms, it allowed to evaluate their skills and determine the $ N as the highest efficiency in recognition. Finally, the prototype’s underlying ideas were tested in a universe of elements from two age groups in order to determine the ability of adaptation and learning of these two groups. In this study, it was found an initial better perform to mode of interaction of the older age group. However, the younger group was revealing an evolutionary adaptability to this mode of interaction improving results progressively.

Identificador

http://hdl.handle.net/10400.22/4502

Idioma(s)

por

Publicador

Instituto Politécnico do Porto. Instituto Superior de Engenharia do Porto

Direitos

openAccess

Palavras-Chave #Classificadores estatísticos #NUI #Kinect #Nuvens de pontos #Interação baseada em gestos #Calibração de dispositivos NUI #Interação natural #Interação caligráfica #Reconhecimento de padrões #Statistical classifiers #Clouds of points #Gesture based interaction #Calibration of NUI devices #Natural interaction #Calligraphic interaction #Patterns recognition
Tipo

masterThesis