Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Évaluation des jeux Kinect à l’aide du suivi physiologique, du suivi oculaire et des réactions faciales du joueur.

Les données sont analysées par le logiciel conçu par François Courtemanche et Féthi Guerdelli. L'expérimentation des jeux a eu lieu au Laboratoire de recherche en communication multimédia de l'Université de Montréal.

Prescription software for recovery and rehabilitation using Microsoft Kinect

Brain injuries, including stroke, can be debilitating incidents with potential for severe long term effects; many people stop making significant progress once leaving in-patient medical care and are unable to fully restore their quality of life when returning home. The aim of this collaborative project, between the Royal Berkshire NHS Foundation Trust and the University of Reading, is to provide a low cost portable system that supports a patient's condition and their recovery in hospital or at home. This is done by providing engaging applications with targeted gameplay that is individually tailored to the rehabilitation of the patient's symptoms. The applications are capable of real-time data capture and analysis in order to provide information to therapists on patient progress and to further improve the personalized care that an individual can receive.

Navegação, reconhecimento de gestos e controle de interface no sistema ITV utilizando o dispositivo kinect

Esta dissertação apresenta a implementação de navegação no ambiente virtual, reconhecimento de gestos e controle de interface, feitos através do dispositivo Kinect, no Sistema ITV: um sistema de treinamento de operadores e mantenedores de usinas hidrelétricas e subestações elétricas. São mostrados, também, determinados aperfeiçoamentos recentes, como conversão em vídeo, telas de alarmes sonoros e visuais, ambientação sonora em três dimensões e narração do processo. Além da apresentação do Sistema ITV, são expostos o dispositivo Kinect e o algoritmo utilizado na comparação dos padrões de movimento, o DTW. Em seguida, são abordados em detalhes o projeto e a implementação da navegação, do reconhecimento de gestos e do controle de interface. Como estudo de caso, é exibida uma Instrução Técnica Virtual (ITV), elaborada especialmente para testar e avaliar a nova interface proposta. Posteriormente, são apresentados os resultados, considerados satisfatórios, obtidos através da análise de questionários qualitativos aplicados a estudantes da Universidade Federal do Pará. Por fim, são realizadas as considerações referentes a este trabalho e expostas idéias de trabalhos futuros.

Avaliação automatizada de uma habilidade motora fundamental com o kinect

Pós-graduação em Desenvolvimento Humano e Tecnologias - IBRC

Reconhecimento de faces 3D com Kinect

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Avaliação de desenpenho do método 3DLBP utilizando mapas de profundidade gerados pelo Microsoft Kinect

Problemas com pose e iluminação são desafios complexos para o reconhecimento de faces 2D. Devido a estes problemas vários métodos para reconhecimento de faces 3D têm sido propostos, principalmente pelo fato que os dados em 3D são mais resistentes a iluminação e são úteis para correção de pose. O maior problema com a utilização de métodos 3D é o custo elevado dos scanners 3D tradicionais. Uma alternativa é a utilização do Microsoft Kinect que, além de ser consideravelmente mais barato, é capaz de capturar os dados de profundidade com precisão necessária para discriminar sujeitos. O principal objetivo do presente trabalho é avaliar a performance do método 3DLBP para o reconhecimento de faces quando utilizando os mapas de profundidade gerados pelo Kinect. Outro objetivo é investigar quais regiões da face que desempenham melhor no reconhecimento de face.

Transformaciones basadas en el algoritmo Local Binary Pattern de imágenes capturadas con la Kinect para clasificación facial

Máster Universitario en Sistemas Inteligentes y Aplicaciones Numéricas en Ingeniería (SIANI)

Solución de bajo coste de captura de movimiento basada en Kinect

[ES] En este trabajo se estudia e implementa una solución de bajo coste basada en Kinect para la captura de movimiento y su integración con Blender, de manera que se cuente con una solución eficiente para la realización de captura de movimiento en animación. Dicho desarrollo está apoyado con la elaboración de un tutorial sobre el procedimiento necesario para realizar MOCAP con Kinect y Blender, facilitando así su uso con fines formativos.

On the use of a low-cost thermal sensor to improve kinect people detection in a mobile robot

[EN]Detecting people is a key capability for robots that operate in populated environments. In this paper, we have adopted a hierarchical approach that combines classifiers created using supervised learning in order to identify whether a person is in the view-scope of the robot or not. Our approach makes use of vision, depth and thermal sensors mounted on top of a mobile platform.

Un ambiente integrato basato sul calcolo degli eventi per il riconoscimento di pose mediante kinect

In questo lavoro di tesi si è sviluppato un sistema di supporto al fisioterapista per la definizione degli esercizi da far eseguire al paziente che consenta di automatizzare il controllo della corretta esecuzione degli esercizi stessi da parte del paziente. Si è realizzato un linguaggio per codificare gli esercizi ed un editor per poterli esprimere, attraverso il linguaggio, da parte dello specialista. E' stato realizzato un motore che riesca a valutare in modo automatico se il paziente sta eseguendo correttamente gli esercizi proposti, confrontando le pose riconosciute utilizzando il sensore Microsoft Kinect con le pose degli esercizi definiti attraverso l'editor. Il filo conduttore per la realizzazione del linguaggio e del motore è stata la teoria del Calcolo degli Eventi, estesa con il concetto di aspettativa.

Tecniche per la separazione live di piani di profondita in un flusso video mediante Kinect e una applicazione nell'intrattenimento digitale

Keying e composizione sono da sempre tecniche ampiamente utilizzate in contesti multimediali, quali produzione cinematografica e televisiva; il chroma keying è in particolare la tecnica più popolare, ma presenta una serie di limiti e problematiche. In questo elaborato viene proposta una tecnica alternativa di estrazione, basata sull'uso della profondità, operante in tempo reale e che sfrutta il device Kinect di Microsoft. Sono proposti una serie di algoritmi, basati su tecniche di edge detection, utilizzati per il miglioramento della depth map lungo i bordi di estrazione; viene infine testato il risultato ottenuto dall'implementazione del sistema e proposta una possibile applicazione nell'ambito del teatro multimediale.