Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Interface caligráfica de escrita no ar

Na atualidade, está a emergir um novo paradigma de interação, designado por Natural User Interface (NUI) para reconhecimento de gestos produzidos com o corpo do utilizador. O dispositivo de interação Microsoft Kinect foi inicialmente concebido para controlo de videojogos, para a consola Xbox360. Este dispositivo demonstra ser uma aposta viável para explorar outras áreas, como a do apoio ao processo de ensino e de aprendizagem para crianças do ensino básico. O protótipo desenvolvido visa definir um modo de interação baseado no desenho de letras no ar, e realizar a interpretação dos símbolos desenhados, usando os reconhecedores de padrões Kernel Discriminant Analysis (KDA), Support Vector Machines (SVM) e $N. O desenvolvimento deste projeto baseou-se no estudo dos diferentes dispositivos NUI disponíveis no mercado, bibliotecas de desenvolvimento NUI para este tipo de dispositivos e algoritmos de reconhecimento de padrões. Com base nos dois elementos iniciais, foi possível obter uma visão mais concreta de qual o hardware e software disponíveis indicados à persecução do objetivo pretendido. O reconhecimento de padrões constitui um tema bastante extenso e complexo, de modo que foi necessária a seleção de um conjunto limitado deste tipo de algoritmos, realizando os respetivos testes por forma a determinar qual o que melhor se adequava ao objetivo pretendido. Aplicando as mesmas condições aos três algoritmos de reconhecimento de padrões permitiu avaliar as suas capacidades e determinar o $N como o que apresentou maior eficácia no reconhecimento. Por último, tentou-se averiguar a viabilidade do protótipo desenvolvido, tendo sido testado num universo de elementos de duas faixas etárias para determinar a capacidade de adaptação e aprendizagem destes dois grupos. Neste estudo, constatou-se um melhor desempenho inicial ao modo de interação do grupo de idade mais avançada. Contudo, o grupo mais jovem foi revelando uma evolutiva capacidade de adaptação a este modo de interação melhorando progressivamente os resultados.

Análise da tradução e legendagem da sátira no mockumentary

O presente trabalho foi elaborado no âmbito da dissertação do Mestrado em Tradução e Interpretação Especializadas, e tem como objectivo estudar o formato mockumentary, no qual se baseia a minha análise, e compreender as especificidades da tradução do elemento satírico de que este híbrido se pode revestir, enquanto elemento potenciador de comicidade. A Tradução Audiovisual é um fenómeno com que nos deparamos diariamente, seja a partir de uma televisão, de um ecrã de computador ou de um dispositivo móvel, em que estamos perante um conjunto de elementos semióticos diversos, para os quais concorre uma combinação essencial de quatro canais, a saber, o canal visual, acústico, verbal e não-verbal. O tradutor deve ter em consideração não só o código verbal, como também os elementos que não são estritamente linguísticos, como gestos, música, expressões faciais, etc. Dado que Uma Família Muito Moderna, sobre a qual baseei a minha análise, é uma série humorística com um forte pendor satírico, afigurou-se como primeiro objecto de estudo por descrever o mockumentary e analisar como esse humor se verifica na versão portuguesa. Deste modo, impõe-se abordar a questão da tradução do humor, neste caso de trocadilhos (wordplay), puns e casos de polissemia, bem como da tradução de referências culturais e intertextuais. Para esse efeito, procedi a uma análise contrastiva entre o texto original, em língua inglesa, e verificar a recuperação do tom satírico potenciador de humor nas legendas, na língua de chegada, em língua portuguesa. Em conjunto, estes elementos concorrem para a construção de um texto que, no caso deste mockumentary, se reveste de um forte tom satírico - mock - para a criação de humor, apresentando uma série que, apesar de indubitavelmente fictícia, revela determinados traços associados a formatos televisivos informativos - documentary - , transmitindo ao espectador uma ilusão de realidade e de factualidade.

Metamorfoses musicais em concerto

Uma transcrição musical consiste numa composição adaptada de uma obra original para outra instrumentação, que não a inicialmente definida pelo compositor. Nestas, o conteúdo original tende a permanecer o mais fiel possível (De Vente, 2005). A partir do século XIX esta prática tornou-se corrente e prolífica. Atualmente, o uso de transcrições é bastante comum, especialmente quando destinado a instrumentos musicais com uma história recente devido à sua falta de repertório canónico. Um instrumento característico deste último grupo é o saxofone para o qual se tem transcrito uma grande quantidade de obras com especial ênfase nos períodos barroco e romântico. Nesta monografia detalho uma abordagem metodológica à transcrição musical que visa expandir o repertório para saxofone para além dos períodos barroco e romântico, assim como instrumentações e desafios diversos no processo de adaptação tais como: adaptar obras polifónicas para um instrumento monofónico, transcrever gestos técnicos e específicos de um instrumento de corda e criar continuidades sonoras típicas do uso do pedal no piano no saxofone. O processo de transcrição descrito nesta monografia impõe uma metamorfose timbrica às obras originais e oferece ao ouvinte uma perspectiva diferente sobre o conteúdo musical assim como questiona conceitos de autenticidade e autoria. Quatro composições que seguem a atual proposta de transcrição são apresentadas e documentadas. De ressaltar a diversidade de escolhas do repertório transcrito em termos de estilo, e instrumentação que se traduzem num grande desafio na adaptação ao saxofone, entre estas: Dream, John Cage, Chaccone em Sol menor, Tomaso Vitali, Fratres, Arvo Pärt e o Inverno das Quatro Estações, Antonio Vivaldi.