Extensão do SDK do Kinect: criação de uma biblioteca de gestos

As interfaces naturais têm ganho atenção crescente por parte da comunidade científica. Esta interação, nomeadamente baseada em gestos e voz, tem sido progressivamente mais usada para estabelecer a comunicação entre o homem e a máquina de forma natural. Em paralelo, têm surgido no marcado alguns novos dispositivos com o objetivo de suportar estas formas naturais de interface, entre eles, sensores de movimento. Esta dissertação tem como objetivo a proposta de algoritmos projetados para auxiliar o programador no reconhecimento de gestos, especificamente em dispositivos conhecidos como sensores de movimentos. Atualmente o programador tem o trabalho de desenvolver todo o código para adicionar reconhecimento de gestos à sua aplicação. A solução apresentada neste documento propõe um novo conjunto de métodos que visam a criação de uma biblioteca de gestos e a consequente capacidade de reconhecimento de gestos anteriormente armazenados. A validação deste trabalho consistiu na extensão do Software Development Kit (SDK) do dispositivo Kinect, de forma a adicionar ferramentas complementares, que permitam simplificar a definição e reconhecimento de gestos. A primeira parte consiste na captação e armazenamento de gestos, através do mapeamento de pontos, modelando os gestos e armazenando tal modelo. Esta primeira fase permite no desenvolvimento de um sistema a criação de uma biblioteca de gestos pré-definidos, como por exemplo os gestos da Língua Gestual Portuguesa. Numa segunda fase, a extensão do SDK auxilia também as tarefas de reconhecimento de gestos em tempo real, isto é, deteção do gesto que o utilizador de uma aplicação esteja a fazer e procura desse gesto na biblioteca.

Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Hand gesture recognition system based in computer vision and machine learning: Applications on human-machine interaction

Tese de Doutoramento em Engenharia de Eletrónica e de Computadores

Group Sequential Communication (GSC): Especificação e Análise de Desempenho de umMecanismo de Comunicação de Tempo Real Compatível ao Padrão IEEE 802.11/11e Aplicado à Automação Industrial

This thesis proposes the specification and performance analysis of a real-time communication mechanism for IEEE 802.11/11e standard. This approach is called Group Sequential Communication (GSC). The GSC has a better performance for dealing with small data packets when compared to the HCCA mechanism by adopting a decentralized medium access control using a publish/subscribe communication scheme. The main objective of the thesis is the HCCA overhead reduction of the Polling, ACK and QoS Null frames exchanged between the Hybrid Coordinator and the polled stations. The GSC eliminates the polling scheme used by HCCA scheduling algorithm by using a Virtual Token Passing procedure among members of the real-time group to whom a high-priority and sequential access to communication medium is granted. In order to improve the reliability of the mechanism proposed into a noisy channel, it is presented an error recovery scheme called second chance algorithm. This scheme is based on block acknowledgment strategy where there is a possibility of retransmitting when missing real-time messages. Thus, the GSC mechanism maintains the real-time traffic across many IEEE 802.11/11e devices, optimized bandwidth usage and minimal delay variation for data packets in the wireless network. For validation purpose of the communication scheme, the GSC and HCCA mechanisms have been implemented in network simulation software developed in C/C++ and their performance results were compared. The experiments show the efficiency of the GSC mechanism, especially in industrial communication scenarios.

Equipamento microprocessado para geração de sinal de correção diferencial, em tempo real, para GPS

This work presents the development of low cost microprocessor-based equipment for generation of differential GPS correction signal, in real time, and configuration and supervision of the GPS base. The developed equipment contains a dedicated microcontroller connected to the GPS receiver, alphanumeric display and multifunction keyboard for configuration and operation of the system and communication interfaces. The electronic circuit has the function of receiving the information from GPS base; interpret them, converting the sentence in the RTCM SC-104 protocol. The microcontroller software makes the conversion of the signal received by the GPS base from the specific format to RTCM SC-104 protocol. The processing main board has two serials RS-232C standard interfaces. One of them is used for configuration and receiving the information generated by the GPS base. The other operates as output, sending the differential correction signal for the transmission system. The development of microprocessor-based equipment showed that it is possible the construction of a low cost private station for real time generation of differential GPS correction signal.

Determinação em tempo real da magnitude de danos físicos por impacto em linhas de beneficiamento e em condições de laboratório e seus efeitos na qualidade de tomate

Tomatoes are one of the most important vegetable crops grown in Brazil and are among the crops that have one of the highest post-harvest losses indexes in the country. The present work aimed at evaluating impact damage observed in packing lines of fresh tomatoes as well as to determine, under laboratory conditions, quality alterations of tomato fruits submitted to impact damage in different surface types. Critical points evaluation was accomplished using an instrumented sphere. Critical transference points found showed variations in acceleration levels from 30 to 129 G (m s-2). Tests carried out under laboratory conditions showed that padded surfaces reduced up to 31% impact damage. Incidence of severe internal physical damage was evaluated by a subjective scale and increased by 79% on hard surfaces for the highest fall drop. On the other hand, it was observed an effective reduction in physical damage on fruits when padded surfaces were used. When a 10-cm drop was performed, the maximum reduction measured was 10% for hard surfaces and 5% for previously padded surfaces. For quality parameters, it was observed for high drops on hard surfaces, highest values for weight loss, total acidity, lower values for vitamin C and Soluble Solids.

Modelo de análise técnico-tática do jogo de handebol : necessidades, perspectivas e implicações de um modelo de interpretação das situações de jogo em tempo real

Universidade Estadual de Campinas . Faculdade de Educação Física

A importância da personagem virtual no contexto da animação 3D em tempo real

O desenvolvimento de personagens digitais tridimensionais1 na área da animação, a constante procura por soluções tecnológicas convincentes, aliado a uma estética própria, tem contribuído para o sucesso e afirmação da animação tridimensional, na indústria do entretenimento. Contudo, toda a obra que procura ou explora a vertente digital/3D, torna-se ‘vitima’ das limitações do render2 aplicado a uma sequência de imagens, devido ao aumento dos custos financeiros e humanos, assim como da influência e dificuldade implicadas no cumprimento dos objectivos e prazos. O tempo real tem assumido, cada vez mais, um papel predominante na indústria da animação interactiva. Com a evolução da tecnologia surgiu a necessidade de procurar a metodologia apropriada que sirva de alavanca para o desenvolvimento de animações 3D em tempo real, através de softwares open-source ou de baixo orçamento, para a redução de custos, que possibilite simultaneamente descartar qualquer dependência do render na animação 3D. O desenvolvimento de personagens em tempo real, possibilita o surgimento de uma nova abordagem: a interactividade na arte de animar. Esta possibilita a introdução de um vasto leque de novas aplicações e consequentemente, contribui para o aumento do interesse e curiosidade por parte do espectador. No entanto, a inserção, implementação e (ab)uso da tecnologia na área da animação, levanta questões atuais sobre qual o papel do animador. Esta dissertação procura analisar estes aspectos, dando apoio ao projecto de animação 3D em tempo real, denominado ‘PALCO’.

Sistema de contagem de tráfego e classificação automática de veículos, em tempo real e sem fios

Esta tese tem por objectivo o desenho e avaliação de um sistema de contagem e classificação de veículos automóveis em tempo-real e sem fios. Pretende, também, ser uma alternativa aos actuais equipamentos, muito intrusivos nas vias rodoviárias. Esta tese inclui um estudo sobre as comunicações sem fios adequadas a uma rede de equipamentos sensores rodoviários, um estudo sobre a utilização do campo magnético como meio físico de detecção e contagem de veículos e um estudo sobre a autonomia energética dos equipamentos inseridos na via, com recurso, entre outros, à energia solar. O projecto realizado no âmbito desta tese incorpora, entre outros, a digitalização em tempo real da assinatura magnética deixada pela passagem de um veículo, no campo magnético da Terra, o respectivo envio para servidor via rádio e WAN, Wide Area Network, e o desenvolvimento de software tendo por base a pilha de protocolos ZigBee. Foram desenvolvidas aplicações para o equipamento sensor, para o coordenador, para o painel de controlo e para a biblioteca de Interface de um futuro servidor aplicacional. O software desenvolvido para o equipamento sensor incorpora ciclos de detecção e digitalização, com pausas de adormecimento de baixo consumo, e a activação das comunicações rádio durante a fase de envio, assegurando assim uma estratégia de poupança energética. Os resultados obtidos confirmam a viabilidade desta tecnologia para a detecção e contagem de veículos, assim como para a captura de assinatura usando magnetoresistências. Permitiram ainda verificar o alcance das comunicações sem fios com equipamento sensor embebido no asfalto e confirmar o modelo de cálculo da superfície do painel solar bem como o modelo de consumo energético do equipamento sensor.

Remoção hierárquica de geometria por oclusão em simulações em tempo real

Mestrado em Engenharia Electrotécnica e de Computadores

Análise do padrão motor em pessoas com diagnóstico de esquizofrenia: uma abordagem em tempo real

A esquizofrenia é uma perturbação mental grave caracterizada pela coexistência de sintomas positivos, negativos e de desorganização do pensamento e do comportamento. As alterações motoras são consistentemente observadas mas, ainda pouco estudadas na esquizofrenia, sendo relevantes para o seu diagnóstico. Neste quadro, o presente estudo tem como objetivo verificar se os indivíduos com esquizofrenia apresentam alterações na coordenação motora, comparativamente com o grupo sem esquizofrenia, bem como analisar se as disfunções dos sinais neurológicos subtis (SNS) motores se encontram correlacionadas com o funcionamento executivo e com os domínios psicopatológicos da perturbação. No total participaram 29 indivíduos (13 com diagnóstico de esquizofrenia e 16 sem diagnóstico) equivalentes em termos de idade, género, escolaridade e índice de massa corporal. Para avaliar o desempenho motor recorreu-se ao sistema Biostage de parametrização do movimento em tempo real, com a tarefa de lançameto ao alvo; a presença de SNS foi examinada através da Brief Motor Scale; o funcionamento executivo pela aplicação do subteste do Vocabulário e da fluência verbal e a sintomatologia clínica através da Positive and Negative Sindrome Scale. Pela análise cinemática do movimento constatou-se que os indivíduos com esquizofrenia recrutam um padrão motor menos desenvolvido e imaturo de movimento, com menor individualização das componentes (principalmente do tronco e pélvis), necessitando de mais tempo para executar a tarefa, comparativamente com os sujeitos sem a perturbação que evidenciaram um movimento mais avançado de movimento. Os indivíduos com esquizofrenia mostraram índices elevados de disfunção dos SNS (média =6,01) estabelecendo este domínio uma relação boa e negativa com o desempenho verbal (rho Spearman=-0,62) e uma relação forte e positiva com todos os domínios psicopatológicos (rho Spearman=0,74). O estudo da existência de alterações motoras como parte intrínseca da esquizofrenia revela-se pertinente uma vez que possibilita uma compreensão mais aprofundada da sua fisiopatologia e permite que se desenvolvam práticas mais efetivas na área da saúde e reabilitação.

Sistema de aquisição de dados em tempo real

Neste trabalho propus-me realizar um Sistema de Aquisição de Dados em Tempo Real via Porta Paralela. Para atingir com sucesso este objectivo, foi realizado um levantamento bibliográfico sobre sistemas operativos de tempo real, salientando e exemplificando quais foram marcos mais importantes ao longo da sua evolução. Este levantamento permitiu perceber o porquê da proliferação destes sistemas face aos custos que envolvem, em função da sua aplicação, bem como as dificuldades, científicas e tecnológicas, que os investigadores foram tendo, e que foram ultrapassando com sucesso. Para que Linux se comporte como um sistema de tempo real, é necessário configura-lo e adicionar um patch, como por exemplo o RTAI ou ADEOS. Como existem vários tipos de soluções que permitem aplicar as características inerentes aos sistemas de tempo real ao Linux, foi realizado um estudo, acompanhado de exemplos, sobre o tipo de arquitecturas de kernel mais utilizadas para o fazer. Nos sistemas operativos de tempo real existem determinados serviços, funcionalidades e restrições que os distinguem dos sistemas operativos de uso comum. Tendo em conta o objectivo do trabalho, e apoiado em exemplos, fizemos um pequeno estudo onde descrevemos, entre outros, o funcionamento escalonador, e os conceitos de latência e tempo de resposta. Mostramos que há apenas dois tipos de sistemas de tempo real o ‘hard’ que tem restrições temporais rígidas e o ‘soft’ que engloba as restrições temporais firmes e suaves. As tarefas foram classificadas em função dos tipos de eventos que as despoletam, e evidenciando as suas principais características. O sistema de tempo real eleito para criar o sistema de aquisição de dados via porta paralela foi o RTAI/Linux. Para melhor percebermos o seu comportamento, estudamos os serviços e funções do RTAI. Foi dada especial atenção, aos serviços de comunicação entre tarefas e processos (memória partilhada e FIFOs), aos serviços de escalonamento (tipos de escalonadores e tarefas) e atendimento de interrupções (serviço de rotina de interrupção - ISR). O estudo destes serviços levou às opções tomadas quanto ao método de comunicação entre tarefas e serviços, bem como ao tipo de tarefa a utilizar (esporádica ou periódica). Como neste trabalho, o meio físico de comunicação entre o meio ambiente externo e o hardware utilizado é a porta paralela, também tivemos necessidade de perceber como funciona este interface. Nomeadamente os registos de configuração da porta paralela. Assim, foi possível configura-lo ao nível de hardware (BIOS) e software (módulo do kernel) atendendo aos objectivos do presente trabalho, e optimizando a utilização da porta paralela, nomeadamente, aumentando o número de bits disponíveis para a leitura de dados. No desenvolvimento da tarefa de hard real-time, foram tidas em atenção as várias considerações atrás referenciadas. Foi desenvolvida uma tarefa do tipo esporádica, pois era pretendido, ler dados pela porta paralela apenas quando houvesse necessidade (interrupção), ou seja, quando houvesse dados disponíveis para ler. Desenvolvemos também uma aplicação para permitir visualizar os dados recolhidos via porta paralela. A comunicação entre a tarefa e a aplicação é assegurada através de memória partilhada, pois garantindo a consistência de dados, a comunicação entre processos do Linux e as tarefas de tempo real (RTAI) que correm ao nível do kernel torna-se muito simples. Para puder avaliar o desempenho do sistema desenvolvido, foi criada uma tarefa de soft real-time cujos tempos de resposta foram comparados com os da tarefa de hard real-time. As respostas temporais obtidas através do analisador lógico em conjunto com gráficos elaborados a partir destes dados, mostram e comprovam, os benefícios do sistema de aquisição de dados em tempo real via porta paralela, usando uma tarefa de hard real-time.

Um novo gerador central de padrões de locomoção para geração de trajectórias em tempo real de robôs quadrúpedes

Neste trabalho estuda-se a geração de trajectórias em tempo real de um robô quadrúpede. As trajectórias podem dividir-se em duas componentes: rítmica e discreta. A componente rítmica das trajectórias é modelada por uma rede de oito osciladores acoplados, com simetria 4 2 Z  Z . Cada oscilador é modelado matematicamente por um sistema de Equações Diferenciais Ordinárias. A referida rede foi proposta por Golubitsky, Stewart, Buono e Collins (1999, 2000), para gerar os passos locomotores de animais quadrúpedes. O trabalho constitui a primeira aplicação desta rede à geração de trajectórias de robôs quadrúpedes. A derivação deste modelo baseia-se na biologia, onde se crê que Geradores Centrais de Padrões de locomoção (CPGs), constituídos por redes neuronais, geram os ritmos associados aos passos locomotores dos animais. O modelo proposto gera soluções periódicas identificadas com os padrões locomotores quadrúpedes, como o andar, o saltar, o galopar, entre outros. A componente discreta das trajectórias dos robôs usa-se para ajustar a parte rítmica das trajectórias. Este tipo de abordagem é útil no controlo da locomoção em terrenos irregulares, em locomoção guiada (por exemplo, mover as pernas enquanto desempenha tarefas discretas para colocar as pernas em localizações específicas) e em percussão. Simulou-se numericamente o modelo de CPG usando o oscilador de Hopf para modelar a parte rítmica do movimento e um modelo inspirado no modelo VITE para modelar a parte discreta do movimento. Variou-se o parâmetro g e mediram-se a amplitude e a frequência das soluções periódicas identificadas com o passo locomotor quadrúpede Trot, para variação deste parâmetro. A parte discreta foi inserida na parte rítmica de duas formas distintas: (a) como um offset, (b) somada às equações que geram a parte rítmica. Os resultados obtidos para o caso (a), revelam que a amplitude e a frequência se mantêm constantes em função de g. Os resultados obtidos para o caso (b) revelam que a amplitude e a frequência aumentam até um determinado valor de g e depois diminuem à medida que o g aumenta, numa curva quase sinusoidal. A variação da amplitude das soluções periódicas traduz-se numa variação directamente proporcional na extensão do movimento do robô. A velocidade da locomoção do robô varia com a frequência das soluções periódicas, que são identificadas com passos locomotores quadrúpedes.

Robôs quadrúpedes: geração de trajectórias em tempo real usando sistemas dinâmicos não-lineares

A geração de trajectórias de robôs em tempo real é uma tarefa muito complexa, não existindo ainda um algoritmo que a permita resolver de forma eficaz. De facto, há controladores eficientes para trajectórias previamente definidas, todavia, a adaptação a variações imprevisíveis, como sendo terrenos irregulares ou obstáculos, constitui ainda um problema em aberto na geração de trajectórias em tempo real de robôs. Neste trabalho apresentam-se modelos de geradores centrais de padrões de locomoção (CPGs), inspirados na biologia, que geram os ritmos locomotores num robô quadrúpede. Os CPGs são modelados matematicamente por sistemas acoplados de células (ou neurónios), sendo a dinâmica de cada célula dada por um sistema de equações diferenciais ordinárias não lineares. Assume-se que as trajectórias dos robôs são constituídas por esta parte rítmica e por uma parte discreta. A parte discreta pode ser embebida na parte rítmica, (a.1) como um offset ou (a.2) adicionada às expressões rítmicas, ou (b) pode ser calculada independentemente e adicionada exactamente antes do envio dos sinais para as articulações do robô. A parte discreta permite inserir no passo locomotor uma perturbação, que poderá estar associada à locomoção em terrenos irregulares ou à existência de obstáculos na trajectória do robô. Para se proceder á análise do sistema com parte discreta, será variado o parâmetro g. O parâmetro g, presente nas equações da parte discreta, representa o offset do sinal após a inclusão da parte discreta. Revê-se a teoria de bifurcação e simetria que permite a classificação das soluções periódicas produzidas pelos modelos de CPGs com passos locomotores quadrúpedes. Nas simulações numéricas, usam-se as equações de Morris-Lecar e o oscilador de Hopf como modelos da dinâmica interna de cada célula para a parte rítmica. A parte discreta é modelada por um sistema inspirado no modelo VITE. Medem-se a amplitude e a frequência de dois passos locomotores para variação do parâmetro g, no intervalo [-5;5]. Consideram-se duas formas distintas de incluir a parte discreta na parte rítmica: (a) como um (a.1) offset ou (a.2) somada nas expressões que modelam a parte rítmica, e (b) somada ao sinal da parte rítmica antes de ser enviado às articulações do robô. No caso (a.1), considerando o oscilador de Hopf como dinâmica interna das células, verifica-se que a amplitude e frequência se mantêm constantes para -5de Hopf, a amplitude e a frequência têm o mesmo comportamento, crescendo e diminuindo nos intervalos de g [-0.5,0.34] e [0.4,1.83], sendo nos restantes valores de g nulas. Isto traduz-se em variações na extensão do movimento e na velocidade do robô, proporcionais à amplitude e à frequência, respectivamente. Ainda com o oscilador Hopf, no caso (b), a frequência mantêm-se constante enquanto a amplitude diminui para g<0.2 e aumenta para g>0.2. A extensão do movimento varia de forma directamente proporcional à amplitude. No caso das equações de Morris-Lecar, quando a componente discreta é embebida (a.2), a amplitude e a frequência aumentam e depois diminuem para - 0.17de diminui para g<0.5 e aumenta para g>0.5 Pode concluir-se que: (1) a melhor forma de inserção da parte discreta que menos perturbação insere no robô é a inserção como offset; (2) a inserção da parte discreta parece ser independente do sistema de equações diferenciais ordinárias que modelam a dinâmica interna de cada célula. Como trabalho futuro, é importante prosseguir o estudo das diferentes formas de inserção da parte discreta na parte rítmica do movimento, para que se possa gerar uma locomoção quadrúpede, robusta, flexível, com objectivos, em terrenos irregulares, modelada por correcções discretas aos padrões rítmicos.