Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Hand gesture recognition system based in computer vision and machine learning

"Lecture notes in computational vision and biomechanics series, ISSN 2212-9391, vol. 19"

Hand gesture recognition system based in computer vision and machine learning: Applications on human-machine interaction

Tese de Doutoramento em Engenharia de Eletrónica e de Computadores

Hand gesture recognition based on morphologic features

Comunicación presentada en el IX Simposium Nacional de Reconocimiento de Formas y Análisis de Imágenes, Benicàssim, Mayo, 2001.

Generic system for human-computer gesture interaction: applications on sign language recognition and robotic soccer refereeing

Hand gestures are a powerful way for human communication, with lots of potential applications in the area of human computer interaction. Vision-based hand gesture recognition techniques have many proven advantages compared with traditional devices, giving users a simpler and more natural way to communicate with electronic devices. This work proposes a generic system architecture based in computer vision and machine learning, able to be used with any interface for human-computer interaction. The proposed solution is mainly composed of three modules: a pre-processing and hand segmentation module, a static gesture interface module and a dynamic gesture interface module. The experiments showed that the core of visionbased interaction systems could be the same for all applications and thus facilitate the implementation. For hand posture recognition, a SVM (Support Vector Machine) model was trained and used, able to achieve a final accuracy of 99.4%. For dynamic gestures, an HMM (Hidden Markov Model) model was trained for each gesture that the system could recognize with a final average accuracy of 93.7%. The proposed solution as the advantage of being generic enough with the trained models able to work in real-time, allowing its application in a wide range of human-machine applications. To validate the proposed framework two applications were implemented. The first one is a real-time system able to interpret the Portuguese Sign Language. The second one is an online system able to help a robotic soccer game referee judge a game in real time.

Generic system for human-computer gesture interaction

Hand gestures are a powerful way for human communication, with lots of potential applications in the area of human computer interaction. Vision-based hand gesture recognition techniques have many proven advantages compared with traditional devices, giving users a simpler and more natural way to communicate with electronic devices. This work proposes a generic system architecture based in computer vision and machine learning, able to be used with any interface for humancomputer interaction. The proposed solution is mainly composed of three modules: a pre-processing and hand segmentation module, a static gesture interface module and a dynamic gesture interface module. The experiments showed that the core of vision-based interaction systems can be the same for all applications and thus facilitate the implementation. In order to test the proposed solutions, three prototypes were implemented. For hand posture recognition, a SVM model was trained and used, able to achieve a final accuracy of 99.4%. For dynamic gestures, an HMM model was trained for each gesture that the system could recognize with a final average accuracy of 93.7%. The proposed solution as the advantage of being generic enough with the trained models able to work in real-time, allowing its application in a wide range of human-machine applications.

Desempenho na grafia e na direção grafológica em função da postura e da dominância manual em destros e canhotos em famílias de renda baixa e média

Há três teorias distintas que buscam explicar a origem da postura invertida (INV) em canhotos. O Modelo genético de McKeever postula que o traço esteja ligado ao sexo, sendo transmitido via cromossomo X, através das mães, o que explica a prevalência maior da postura INV entre o sexo masculino. De acordo com o modelo patológico a postura invertida decorre de fatores neuropatológicos, enquanto a teoria de adaptação técnica considera a postura INV como um ajuste manual para enfrentar as exigências abdutivas implícitas no sistema ortográfico romano. Muitos partidários da última teoria julgam a postura INV como prejudicial, resultando em problemas físicos e em escrita ilegível, recomendando que a mesma seja substituída pela postura não invertida (NI). Um estudo prévio foi realizado entre 96 adolescentes de classe socioeconômica (CSE) baixa, sendo 48 canhotos e 48 destros, subdivididos por sexo e postura para escrever. A presente investigação representa uma extensão deste estudo, através da avaliação de 106 alunos da CSE média, sendo 68 destros e 66 canhotos. Os objetivos principais foram averiguar se a postura invertida estava associada a problemas físicos, complicações no parto, padrões diferentes de direção grafológica, desempenho caligráfico inferior e verificar se as mesmas características variavam em função do nível da CSE. Os resultados não indicaram nenhuma relação entre postura invertida e problemas físicos e pré-natais no estímulo grafológico. Os canhotos com postura INV mais do que os canhotos NI e destros tenderam a desenhar as linhas horizontais na direção direita para esquerda; nas outras tarefas de desenhos grafológicos não diferiram dos outros grupos. Nas tarefas cursivas e letras de forma o desempenho das alunas foi consistentemente superior ao dos alunos de modo geral. Os canhotos emitiram mais erros quando escreveram em letras de forma, mas não na escrita cursiva. O tempo de resposta foi à única variável dependente relacionada a CSE: alunos da CSE média escreveram as frases em letras cursivas e letras de forma mais rapidamente do que os alunos da CSE baixa. De modo geral, esses resultados não apóiam a afirmação de que a postura invertida acarreta problemas físicos, desempenho caligráfico inferior e não justifica a prática pedagógica em desencorajar o uso da postura INV.

Padrões de dominância manual, podálica e performance motora em gêmeos

O método de gêmeos envolve a análise diferencial de gêmeos monozigóticos (MZs) e dizigóticos (DZs) a fim de determinar a proporção de variância em um determinado traço atribuível a fatores genéticos e ambientais. Sendo geneticamente idênticos, os gêmeos MZs tendem a apresentar alto índice de concordância em vários atributos comportamentais, enquanto que, os DZs, compartilham 50 % da carga genética, manifestando um reduzido grau de concordância. Todavia, pesquisadores têm investigado possíveis mecanismos genéticos subjacentes do desenvolvimento cerebral para dominância manual e, não têm encontrado utilidade no método de gêmeos, pois, desde 1924, em todos os estudos de dominância manual em gêmeos, a taxa de discordância para o canhotismo e destrimanismo têm sido similares em MZs e DZs. Além disso, frequentemente gêmeos mostram taxa mais alta de prevalência para o canhotismo que os não gêmeos. O objetivo deste estudo foi investigar as possíveis diferenças entre gêmeos destros e canhotos (MZs e DZs combinados) e não gêmeos em variáveis fenótipicas específicas relacionadas à dominância manual, incluindo dominância podálica (chute de penalty), consistência de dominância manual, canhotismo familiar (CF+), postura manual e medidas de habilidades motoras em três testes : Batidas digitais, Tabuleiro de Annett e Pontilhar Pontinhos. Foram avaliados 286 gêmeos ( 255 destros, 34 canhotos) e, 251 não gêmeos (141 destros e 110 canhotos). A análise dos dados revelou o aumento de canhotismo no sexo masculino em três vezes mais do que no feminino. Além disto, destros e canhotos gêmeos foram mais mistos em suas dominâncias manuais e apontaram alta incidência de CF+ entre parentes de primeiro grau que não gêmeos canhotos e destros. Em concordância com estudos anteriores, a frequência de chute contralateral foi mais alta nos mistos do que nos que apresentaram consistência na dominância manual, especialmente entre os canhotos. No que diz respeito à habilidade manual, não foram encontradas diferenças significativas nos três testes de habilidade manual. Conforme as expectativas, destros e canhotos foram mais proficientes na manipulação do estímulo com suas mãos dominantes. Em todas as três medidas, em contraste com os destros, os canhotos (gêmeos e não gêmeos) apresentaram redução entre as assimetrias manuais. Por extensão, o aumento da prevalência de canhotismo entre gêmeos não poderia ser atribuída a influências patológicas, inversão de assimetria ou ordem de nascimento. É possível, levar em consideração, observando a diferença robusta em dominância manual mista que, o padrão de lateralização neuromotora, pode ser mais difusamente organizado nos hemisférios dos gêmeos que em não gêmeos, mas, esta sugestão requer evidência direta, pelo menos a partir de testes de neuro-imagem.

Postura da mão e imagética motora: um estudo sobre reconhecimento de partes do corpo

OBJETIVOS: Assim como a imagética motora, o reconhecimento de partes do corpo aciona representações somatosensoriais específicas. Essas representações são ativadas implicitamente para comparar o corpo com o estímulo. No presente estudo, investigou-se a influência da informação proprioceptiva da postura no reconhecimento de partes do corpo (mãos) e propõe-se a utilização dessa tarefa na reabilitação de pacientes neurológicos. MATERIAIS E MÉTODOS: Dez voluntários destros participaram do experimento. A tarefa era reconhecer a lateralidade de figuras da mão apresentada, em várias perspectivas e em vários ângulos de orientação. Para a figura da mão direita, o voluntário pressionava a tecla direita e para a figura da mão esquerda, a tecla esquerda. Os voluntários realizavam duas sessões: uma com as mãos na postura prona e outra com as mãos na postura supina. RESULTADOS: Os tempos de reação manual (TRM) eram maiores para as vistas e orientações, nas quais é difícil realizar o movimento real, mostrando que durante a tarefa, existe um acionamento de representações motoras para comparar o corpo com o estímulo. Além disso, existe uma influência da postura do sujeito em vistas e ângulos específicos. CONCLUSÕES: Estes resultados mostram que representações motoras são ativadas para comparar o corpo com o estímulo e que a postura da mão influencia esta ressonância entre estímulo e parte do corpo.

Bimanual coordination: constraints imposed by the relative timing of homologous muscle activation

It has often been supposed that patterns of rhythmic bimanual coordination in which homologous muscles are engaged simultaneously, are performed in a more stable manner than those in which the same muscles are activated in an alternating fashion. In order to assess the efficacy of this constraint, the present study investigated the effect of forearm posture (prone or supine) on bimanual abduction-adduction movements of the wrist in isodirectional and non-isodirectional modes of coordination. Irrespective of forearm posture, non-isodirectional coordination was observed to be more stable than isodirectional coordination. In the latter condition, there was a more severe deterioration of coordination accuracy/stability as a function of cycling frequency than in the former condition. With elevations in cycling frequency, the performers recruited extra mechanical degrees of freedom, principally via flexion-extension of the wrist, which gave rise to increasing motion in the vertical plane. The increases in movement amplitude in the vertical plane were accompanied by decreasing amplitude in the horizontal plane. In agreement with previous studies, the present findings confirm that the relative timing of homologous muscle activation acts as a principal constraint upon the stability of interlimb coordination. Furthermore, it is argued that the use of manipulations of limb posture to investigate the role of other classes of constraint (e.g. perceptual) should be approached with caution because such manipulations affect the mapping between muscle activation patterns, movement dynamics and kinematics.

Hierarchical organisation of neuro-anatomical constraints in interlimb coordination

Based on the observation that bimanual finger tapping movements tend toward mirror symmetry with respect to the body midline, despite the synchronous activation of non-homologous muscles, F. Mechsner, D. Kerzel, G. Knoblich, and W. Prinz (2001) [Perceptual basis of bimanual coordination. Nature, 414, 69-73] suggested that the basis of rhythmic coordination is purely spatial/perceptual in nature, and independent of the neuro-anatomical constraints of the motor system. To investigate this issue further, we employed a four finger tapping task similar to that used by F. Mechsner and G. Knoblich (2004) [Do muscle matter in bimanual coordination? Journal of Experimental Psychology: Human Perception and Performance, 30, 490-503] in which six male participants were required to alternately tap combinations of adjacent pairs of index (1), middle (M) and ring (R) fingers of each hand in time with an auditory metronome. The metronome pace increased continuously from 1 Hz to 3 Hz over the course of a 30-s trial. Each participant performed three blocks of trials in which finger combination for each hand (IM or MR) and mode of coordination (mirror or parallel) were presented in random order. Within each block, the right hand was placed in one of three orientations; prone, neutral and supine. The order of blocks was counterbalanced across the six participants. The left hand maintained a prone position throughout the experiment. On the basis of discrete relative phase analyses between synchronised taps, the time at which the initial mode of coordination was lost was determined for each trial. When the right hand was prone, transitions occurred only from parallel symmetry to mirror symmetry, regardless of finger combination. In contrast, when the right hand was supine, transitions occurred only from mirror symmetry to parallel but no transitions were observed in the opposite direction. In the right hand neutral condition, mirror and parallel symmetry are insufficient to describe the modes of coordination since the hands are oriented orthogonally. When defined anatomically, however, the results in each of the three right hand orientations are consistent. That is, synchronisation of finger tapping is deter-mined by a hierarchy of control of individual fingers based on their intrinsic neuro-mechanical properties rather than on the basis of their spatial orientation. (c) 2005 Elsevier B.V. All rights reserved.

A practical posture for hand grip dynamometry in the clinical setting

The optimal testing position for hand grip strength, which is a useful functional measure of nutritional status, is open to debate. We therefore examined the systematic difference between different postures in order to establish a methodology that is clinically relevant, easy to perform and reproducible.

Body context and posture affect mental imagery of hands.

Different visual stimuli have been shown to recruit different mental imagery strategies. However the role of specific visual stimuli properties related to body context and posture in mental imagery is still under debate. Aiming to dissociate the behavioural correlates of mental processing of visual stimuli characterized by different body context, in the present study we investigated whether the mental rotation of stimuli showing either hands as attached to a body (hands-on-body) or not (hands-only), would be based on different mechanisms. We further examined the effects of postural changes on the mental rotation of both stimuli. Thirty healthy volunteers verbally judged the laterality of rotated hands-only and hands-on-body stimuli presented from the dorsum- or the palm-view, while positioning their hands on their knees (front postural condition) or behind their back (back postural condition). Mental rotation of hands-only, but not of hands-on-body, was modulated by the stimulus view and orientation. Additionally, only the hands-only stimuli were mentally rotated at different speeds according to the postural conditions. This indicates that different stimulus-related mechanisms are recruited in mental rotation by changing the bodily context in which a particular body part is presented. The present data suggest that, with respect to hands-only, mental rotation of hands-on-body is less dependent on biomechanical constraints and proprioceptive input. We interpret our results as evidence for preferential processing of visual- rather than kinesthetic-based mechanisms during mental transformation of hands-on-body and hands-only, respectively.

Optokinetic stimulation induces illusory movement of both out-of-the-body and on-the-body hand-held visual objects

The coding of body part location may depend upon both visual and proprioceptive information, and allows targets to be localized with respect to the body. The present study investigates the interaction between visual and proprioceptive localization systems under conditions of multisensory conflict induced by optokinetic stimulation (OKS). Healthy subjects were asked to estimate the apparent motion speed of a visual target (LED) that could be located either in the extrapersonal space (visual encoding only, V), or at the same distance, but stuck on the subject's right index finger-tip (visual and proprioceptive encoding, V-P). Additionally, the multisensory condition was performed with the index finger kept in position both passively (V-P passive) and actively (V-P active). Results showed that the visual stimulus was always perceived to move, irrespective of its out- or on-the-body location. Moreover, this apparent motion speed varied consistently with the speed of the moving OKS background in all conditions. Surprisingly, no differences were found between V-P active and V-P passive conditions in the speed of apparent motion. The persistence of the visual illusion during the active posture maintenance reveals a novel condition in which vision totally dominates over proprioceptive information, suggesting that the hand-held visual stimulus was perceived as a purely visual, external object despite its contact with the hand.

Validity of hand-to-foot measurement of bioimpedance: Standing compared with lying position

Objective: To assess the reliability of the standing measurement of hand-to-foot bioimpedance compared with measurements made in the lying position.Research Methods and Procedures: In 205 volunteers 6 to 89 years of age, 111 males and 94 females from six ethnic groups, effects of posture, time, and age on hand-to-foot resistance were studied over a range of body size. The effect of time in a position on resistance was also recorded in a small subset (n = 10), and repeat measurements over 3 days at the same time of the day were recorded in another subset (n = 12).Results: Lying impedance was consistently higher than standing, with the relationship (resistance lying/resistance standing) for the children (5 to 14 years) being 1.031, progressing to a ratio of 1.016 in those >60 years. The time spent static in either position did change resistance measurements - a decrease of up to 9 Omega (mean 5 Omega, 1.0%) over 10 minutes of standing and an increase of up to 7 Omega (mean 3 Omega, 0.7%) with lying.Discussion: In the field, measurements of hand-to-foot bioimpedance can be made in the standing position, and, with appropriate adjustment, previously validated recumbent equations can be used. Given that errors in the measurement of height and weight also affect the reliability of the derivation of body fat from bioelectrical conductance, the errors that may arise from a more practical standing measurement rather than lying are minimal.