Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Da infância para o mundo: as leituras que educam para os valores e formam o carácter

Neste artigo, pretende-se reflectir sobre a importância da leitura de contos para o desenvolvimento moral e ético da e na infância. A partir da confusão entre valores e opiniões assim como das dificuldades em balizar uma educação para os valores, face à proliferação, no mundo actual, de contravalores, comenta-se a relevância da leitura enquanto trégua na agitação quotidiana e vector de emoção. Sugerem-se exemplos de contos que podem servir de âncora à formação do carácter, decisiva na infância, inferindo, neste contexto, da importância do ritual da história à hora de dormir e da “Hora do Conto” e focando o papel terapêutico de alguns contos – através das linguagens simbólica e dos afectos. Defende-se que a reflexão e a consciencialização que advêm da leitura permitem a aquisição de referências sólidas no âmbito duma “ética de salvaguarda”: de si, dos outros, da natureza e do mundo. Finalmente, refere-se a existência de alguns projectos no âmbito da educação para os valores que visam o crescimento mais responsável e mais feliz das crianças, não esquecendo que, para tornarmos real o mundo, temos de tornar possível – e perene – a infância.

Contribuição para o estudo do"breve aparelho e modo facil pera ajudar a bem morrer hum christão" (1671)

Polissema: Revista de Letras do ISCAP 2002/N.º 2 Linguagens

Work in progress: representar o «outro» segundo o pensamento antropofágico casos de estudo - Hans Staden e Les Maîtres Fous

O presente artigo analisa o filme de Luis Alberto Pereira «Hans Staden» (1999), baseado no livro de Hans Staden «Duas Viagens ao Brasil» (1557), e o documentário/filme «Les Maîtres Fous» (1955) de Jean Rouch, tendo em consideração o pensamento antropofágico. Estas obras focalizam o choque cultural entre “civilizado” e “selvagem”, entre ritual canibal e ritual antropofágico, entre o «Nós» e os «Outros», encontros que permitem uma análise mais concreta à concepção de alteridade. A representação cinematográfica permite uma aproximação ao conceito antropofágico de apropriação da cultura externa, para posteriormente a reproduzir numa interpretação segundo a concepção ocidental do que figuram os rituais em questão. O Movimento Antropófago, pelo seu carácter vanguardista, concilia a matriz fundadora brasileira e ao mesmo tempo enaltece a irreverência de análise, e neste artigo serve de fundamento teórico e prático à decomposição dos exemplos. O pensamento antropófago e a sua aplicabilidade aos exemplos seleccionados permitem também aprofundar o estudo sobre o imaginário europeu enquanto recriação de relatos datados de viajantes ou colonizadores, pois a manutenção de um acervo estereotipado historicamente serve como forma de “legitimar” concepções. As duas obras focalizam a representação indígena e africana - o “selvagem” - na construção do imaginário ocidental - “civilizado” - dicotomia que nos permite desmistificar relações interculturais.

A performance e o desfazimento do logocentrismo nas artes cénicas

Neste artigo, pretende-se analisar a performance como um gênero artístico que exige uma reflexão em torno do ritual e das transposições dos atos cotidianos para o campo da arte, mas principalmente como uma manifestação que implica a inevitável consideração de que é um recurso cênico não mais calcado na palavra, funcionando como fator determinante para o teatro pós-modernista, que faz constante recusa ao texto em prol do chamado teatro pós-dramático.

Influência de um programa de exercícios específicos em estudantes de violino

Introdução: A elevada prevalência de problemas musculosqueléticos relacionados com a performance musical (PMRPM) em estudantes universitários de música, sobretudo violinistas, justifica uma abordagem preventiva junto destes, nomeadamente, através do exercício. Este deve ser específico e baseado nos padrões de movimento durante a performance musical do violinista. Objetivos: verificar a influência de um programa de exercícios específicos (PEE) nos sintomas relacionados com a prática musical, na incapacidade funcional e na autoperceção da performance física e musical, em estudantes universitários de violino. Métodos: estudo quase-experimental baseado num estudo piloto com 24 estudantes para pesquisa da sintomatologia, e 4 para análise cinemática e cinética do gesto técnico. No estudo principal participaram 22 violinistas divididos equitativamente, e por disponibilidade, entre grupo experimental (GE) e grupo de controlo (GC). O GE realizou o PEE bissemanalmente, durante 8 semanas. No momento inicial e após 8 semanas, os participantes preencheram: Questionário de Performance (incluiu Escala Visual Analógica), Disabilities of the Arm, Shoulder and Hand, Oswestry Disability Index versão 2.0, Pain Catastrophizing Scale e Escala de Borg Modificada. Resultados: do estudo piloto constatou-se que os sintomas mais frequentes, dor e fadiga, localizavam-se na cintura escapular, ombros e coluna lombar; os ombros aparentavam maior risco de PMRPM; era necessário aumentar a endurance dos mobilizadores dos membros superiores (principalmente deltóide) e relaxar os estabilizadores da coluna cervical (sobretudo trapézio superior). No final do PEE, o GE apresentou significativamente melhores pontuações do que o GC na percentagem de violinistas com “dor na coluna lombar esquerda” (p=0,007), frequência da dor (U=8,5; W=29,5; p=0,016), número de locais com sintomas (U=18; W=84; p=0,003) e amplificação (U=26; W=92; p=0,021). Conclusão: Um PEE pode produzir efeitos positivos na diminuição dos sintomas relacionados com a prática musical e incapacidade funcional, e na melhoria de alguns parâmetros da performance física autoreportada, em estudantes universitários de violino.

Da infância para o mundo: as leituras que educam para os valores e formam o carácter

Neste artigo pretende-se reflectir sobre a importância da leitura de contos para o desenvolvimento moral e ético na infância. Partindo da confusão entre valores e opiniões e das dificuldades em educar para os valores num mundo anti-ético, comenta-se a relevância do ritual da ―Hora do Conto‖ – tanto à hora de dormir como durante o dia – e da terapia através dos contos. Defende-se ainda que a reflexão e a consciencialização que advêm da leitura de alguns contos – de que se sugerem exemplos – permitem a aquisição de referências sólidas no âmbito duma ―ética de salvaguarda‖: de si, dos outros, da natureza e do mundo.

Magnetic resonance imaging of the vocal tract: techniques and applications

Magnetic resonance (MR) imaging has been used to analyse and evaluate the vocal tract shape through different techniques and with promising results in several fields. Our purpose is to demonstrate the relevance of MR and image processing for the vocal tract study. The extraction of contours of the air cavities allowed the set - up of a number of 3D reconstruction image stacks by means of the combination of orthogonally oriented sets of slices for e ach articulatory gesture, as a new approach to solve the expected spatial under sampling of the imaging process. In result these models give improved information for the visualization of morphologic and anatomical aspects and are useful for partial measure ments of the vocal tract shape in different situations. Potential use can be found in Medical and therapeutic applications as well as in acoustic articulatory speech modelling.

Interface caligráfica de escrita no ar

Na atualidade, está a emergir um novo paradigma de interação, designado por Natural User Interface (NUI) para reconhecimento de gestos produzidos com o corpo do utilizador. O dispositivo de interação Microsoft Kinect foi inicialmente concebido para controlo de videojogos, para a consola Xbox360. Este dispositivo demonstra ser uma aposta viável para explorar outras áreas, como a do apoio ao processo de ensino e de aprendizagem para crianças do ensino básico. O protótipo desenvolvido visa definir um modo de interação baseado no desenho de letras no ar, e realizar a interpretação dos símbolos desenhados, usando os reconhecedores de padrões Kernel Discriminant Analysis (KDA), Support Vector Machines (SVM) e $N. O desenvolvimento deste projeto baseou-se no estudo dos diferentes dispositivos NUI disponíveis no mercado, bibliotecas de desenvolvimento NUI para este tipo de dispositivos e algoritmos de reconhecimento de padrões. Com base nos dois elementos iniciais, foi possível obter uma visão mais concreta de qual o hardware e software disponíveis indicados à persecução do objetivo pretendido. O reconhecimento de padrões constitui um tema bastante extenso e complexo, de modo que foi necessária a seleção de um conjunto limitado deste tipo de algoritmos, realizando os respetivos testes por forma a determinar qual o que melhor se adequava ao objetivo pretendido. Aplicando as mesmas condições aos três algoritmos de reconhecimento de padrões permitiu avaliar as suas capacidades e determinar o $N como o que apresentou maior eficácia no reconhecimento. Por último, tentou-se averiguar a viabilidade do protótipo desenvolvido, tendo sido testado num universo de elementos de duas faixas etárias para determinar a capacidade de adaptação e aprendizagem destes dois grupos. Neste estudo, constatou-se um melhor desempenho inicial ao modo de interação do grupo de idade mais avançada. Contudo, o grupo mais jovem foi revelando uma evolutiva capacidade de adaptação a este modo de interação melhorando progressivamente os resultados.

A atividade dos estabilizadores da omoplata e movimento compensatório do tronco no gesto de alcance em indivíduos pós AVE

Introdução: Lesões como o AVE interferem com a capacidade de recrutar níveis adequados de atividade muscular, podendo levar ao aparecimento de movimentos compensatórios como a excessiva translação anterior do tronco, associada ao gesto de alcance. Objetivos: Descrever a relação entre a atividade dos estabilizadores da omoplata e o movimento compensatório do tronco no gesto de alcance, em 4 indivíduos pós AVE. Pretendeu-se também analisar o papel dos estabilizadores da omoplata na função do membro superior. Métodos: Quatro indivíduos com diagnóstico de AVE, que apresentavam alterações no nível de actividade dos estabilizadores da omoplata contralesional, foram sujeitos a uma avaliação realizada em três momentos, antes (M0), durante (M1) e após (M2) e a um período de intervenção, segundo os princípios do Conceito de Bobath. Recorreu-se à electromiografia de superfície para avaliar a atividade e o timming dos músculos grande dorsal, trapézio superior e trapézio inferior do hemicorpo contralesional e ao software de Avaliação Postural (SAPO) para analisar o deslocamento do tronco no sentido anterior, associados à realização do gesto de alcance. Foram aplicadas as escalas RPS e MESUPES para avaliar as componentes de movimento do gesto de alcance e a função do membro superior, respetivamente. Recorreu-se ao registo fotográfico para análise dos componentes de movimento na posição de sentado e em pé.Resultados: Os dados eletromiográficos registam atividade dos estabilizadores da omoplata unicamente num indivíduo em M2. A análise do deslocamento anterior do tronco revela melhorias em M1 em todos os indivíduos, sendo que em M2 essa evolução positiva não foi observada em três dos participantes. Entre M0 e M2, na escala RPS registam-se melhorias de 7 a 9 pontos no alvo próximo e de 5 a 10 pontos no alvo distante. Na escala MESUPES verificam-se melhorias entre 5 a 18 pontos na sub-escala braço e entre 5 a 8 pontos na sub-escala mão, em M2. A avaliação do registo fotográfico revela modificações nos componentes de movimento dos quatro indivíduos, nomeadamente na integração dos MI na base de suporte, na atividade do tronco inferior e superior e no alinhamento do MS contralesional. Conclusão: A melhoria do nível da atividade dos estabilizadores dinâmicos da omoplata sugere ter influência na diminuição do movimento compensatório do tronco no gesto de alcance e parece ter um papel na melhoria da eficácia distal do MS do mesmo lado.

Utilização do Kinect no apoio ao ensino/ aprendizagem dos fundamentos da Matemática

A interação humano-computador passou a desempenhar um papel fundamental no mundo atual. Esta forma de comunicar continua a evoluir, introduzindo novas formas de interação, como por exemplo, a interação natural. Este estilo de interação começou por estar presente na área de jogos. No entanto, atualmente está a ser explorada noutras áreas. Esta dissertação tem como propósito investigar a utilidade das interfaces naturais encontradas em consolas de jogos e conjugar com a área educativa, nomeadamente, o ensino e a aprendizagem dos fundamentos de Matemática. O desenvolvimento deste projeto baseou-se no estudo dos conteúdos programáticos de Matemática referentes ao 1º ciclo do ensino básico, de várias aplicações já existentes que estão relacionadas com o tema abordado e de alguns dispositivos de interação natural. De forma a avaliar a ideia proposta, foi desenvolvido um protótipo, designado Matemática Interativa, no sentido de permitir ao utilizador enriquecer a aprendizagem e também o interesse pela disciplina. São descritas, de uma forma mais aprofundada, as funcionalidades do dispositivo escolhido, o Kinect, de modo a tirar proveito das suas potencialidades e desenvolver um motor de reconhecimento de gestos e respetiva avaliação. Por fim, é feita uma discussão dos resultados de uma avaliação de usabilidade com o objetivo de validar a aplicação Matemática Interativa. Os resultados desta avaliação sugerem que a aplicação foi bem-sucedida e revelam ainda capacidades de melhoria.

Tradutor da língua gestual portuguesa modelo de tradução bidireccional

O projeto tem como objetivo desenvolver e avaliar um modelo que facilita o acesso para pessoas surdas ou com deficiência auditiva, o acesso ao conteúdo digital - em particular o conteúdo educacional e objetos de aprendizagem – a criação de condições para uma maior inclusão social de surdos e deficientes auditivos. Pretende-se criar um modelo bidirecional, em que permite a pessoas com deficiências auditivas, possam se comunicar com outras pessoas, com a tradução da Língua Gestual Portuguesa (LGP) para a Língua Portuguesa (LP) e que outras pessoas não portadoras de qualquer deficiência auditiva possam por sua vez comunicar com os surdos ou deficientes auditivos através da tradução da LP para a LGP. Há um conjunto de técnicas que poderíamos nos apoiar para desenvolver o modelo e implementar a API de tradução da LGP em LP. Muitos estudos são feitos com base nos modelos escondidos de Markov (HMM) para efetuar o reconhecimento. Recentemente os estudos estão a caminhar para o uso de técnicas como o “Dynamic Time Warping” (DTW), que tem tido mais sucesso do que outras técnicas em termos de performance e de precisão. Neste projeto optamos por desenvolver a API e o Modelo, com base na técnica de aprendizagem Support Vector Machines (SVM) por ser uma técnica simples de implementar e com bons resultados demonstrados em reconhecimento de padrões. Os resultados obtidos utilizando esta técnica de aprendizagem foram bastante ótimos, como iremos descrever no decorrer do capítulo 4, mesmo sabendo que utilizamos dois dispositivos para capturar dados de descrição de cada gesto. Toda esta tese integra-se no âmbito do projeto científico/ investigação a decorrer no grupo de investigação GILT, sob a coordenação da professora Paula Escudeiro e suportado pela Fundação para Ciência e Tecnologia (FCT).