Avaliação de desenpenho do método 3DLBP utilizando mapas de profundidade gerados pelo Microsoft Kinect

Problemas com pose e iluminação são desafios complexos para o reconhecimento de faces 2D. Devido a estes problemas vários métodos para reconhecimento de faces 3D têm sido propostos, principalmente pelo fato que os dados em 3D são mais resistentes a iluminação e são úteis para correção de pose. O maior problema com a utilização de métodos 3D é o custo elevado dos scanners 3D tradicionais. Uma alternativa é a utilização do Microsoft Kinect que, além de ser consideravelmente mais barato, é capaz de capturar os dados de profundidade com precisão necessária para discriminar sujeitos. O principal objetivo do presente trabalho é avaliar a performance do método 3DLBP para o reconhecimento de faces quando utilizando os mapas de profundidade gerados pelo Kinect. Outro objetivo é investigar quais regiões da face que desempenham melhor no reconhecimento de face.

Transformaciones basadas en el algoritmo Local Binary Pattern de imágenes capturadas con la Kinect para clasificación facial

Máster Universitario en Sistemas Inteligentes y Aplicaciones Numéricas en Ingeniería (SIANI)

Solución de bajo coste de captura de movimiento basada en Kinect

[ES] En este trabajo se estudia e implementa una solución de bajo coste basada en Kinect para la captura de movimiento y su integración con Blender, de manera que se cuente con una solución eficiente para la realización de captura de movimiento en animación. Dicho desarrollo está apoyado con la elaboración de un tutorial sobre el procedimiento necesario para realizar MOCAP con Kinect y Blender, facilitando así su uso con fines formativos.

On the use of a low-cost thermal sensor to improve kinect people detection in a mobile robot

[EN]Detecting people is a key capability for robots that operate in populated environments. In this paper, we have adopted a hierarchical approach that combines classifiers created using supervised learning in order to identify whether a person is in the view-scope of the robot or not. Our approach makes use of vision, depth and thermal sensors mounted on top of a mobile platform.

Kinect e openNI a supporto delle NUI (Natural User Interface) applications.

Descrizione delle Natural User Interface e del framework OpenNI 2.0 compreso di caso applicativo.

Un ambiente integrato basato sul calcolo degli eventi per il riconoscimento di pose mediante kinect

In questo lavoro di tesi si è sviluppato un sistema di supporto al fisioterapista per la definizione degli esercizi da far eseguire al paziente che consenta di automatizzare il controllo della corretta esecuzione degli esercizi stessi da parte del paziente. Si è realizzato un linguaggio per codificare gli esercizi ed un editor per poterli esprimere, attraverso il linguaggio, da parte dello specialista. E' stato realizzato un motore che riesca a valutare in modo automatico se il paziente sta eseguendo correttamente gli esercizi proposti, confrontando le pose riconosciute utilizzando il sensore Microsoft Kinect con le pose degli esercizi definiti attraverso l'editor. Il filo conduttore per la realizzazione del linguaggio e del motore è stata la teoria del Calcolo degli Eventi, estesa con il concetto di aspettativa.

Tecniche per la separazione live di piani di profondita in un flusso video mediante Kinect e una applicazione nell'intrattenimento digitale

Keying e composizione sono da sempre tecniche ampiamente utilizzate in contesti multimediali, quali produzione cinematografica e televisiva; il chroma keying è in particolare la tecnica più popolare, ma presenta una serie di limiti e problematiche. In questo elaborato viene proposta una tecnica alternativa di estrazione, basata sull'uso della profondità, operante in tempo reale e che sfrutta il device Kinect di Microsoft. Sono proposti una serie di algoritmi, basati su tecniche di edge detection, utilizzati per il miglioramento della depth map lungo i bordi di estrazione; viene infine testato il risultato ottenuto dall'implementazione del sistema e proposta una possibile applicazione nell'ambito del teatro multimediale.

Analisi sperimentale sull'utilizzo del Microsoft Kinect One come sistema di Body Tracking per la realta virtuale in riabilitazione

In questo progetto di tesi sarà innanzitutto presentato il Kinect One e sarà fatta una panoramica sull’uso della realtà virtuale in ambito riabilitativo. In seguito sarà analizzato l’algoritmo di Body tracking, valutandone il comportamento in diverse situazioni pratiche e poi stimandone la precisione in statica. Sarà presentato un filtraggio per limitare il rumore in tempo reale e valutarne i pro ed i contro in funzione delle caratteristiche impostabili. Saranno presentate inoltre le metodologie con cui gli algoritmi integrati del Kinect permettono di ricavare una stima dell’orientamento delle parti anatomiche nello spazio ed alcune considerazioni circa le implicazioni pratiche di tali metodologie, anche in base alle osservazioni sul campo ottenute durante i mesi di realizzazione di questo progetto. Lo scopo è determinare se e come sia possibile utilizzare il Microsoft Kinect One come unico sistema di motion tracking del paziente in applicazioni cliniche di riabilitazione, quali limiti ci sono nel suo utilizzo e quali categorie di scenari e prove potrebbe supportare.

Installazione del navigation stack su rover terrestre e applicazione del kinect nello human-robot interaction.

Progetto SHERPA. Installazione e configurazione del Navigaton Stack su Rover terrestre. Utilizzo e configurazione di LMS151 Sick. Utilizzo e configurazione di Asus Xtion Pro. Progettazione di software per la localizzazione e l'inseguimento di persone tramite camera di profondita.

Diseño e implementación de un controlador de ratón gestual para Microsoft Windows con Kinect - Touchless Gesture User Interface

El dispositivo Microsoft Kinect for Windows y similares, han introducido en el mundo del PC una nueva forma de interacción denominada “Touchless Gesture User Interface” o TGUI (Interfaz de Usuario por Gestos sin Contacto) [Gentile et al. 2011]. Se trata de una tecnología novedosa en proceso de evolución. La tecnología de Kinect detecta la presencia de un usuario y monitoriza la posición en el espacio de sus articulaciones principales. Esta información permite desarrollar aplicaciones que posibiliten interactuar al usuario con una computadora mediante gestos y sin la necesidad de estar en contacto con periférico alguno. Desde la invención del periférico ratón en los años 60, resulta curioso que con la frenética evolución que ha experimentado el mundo de la informática en todos estos años, este dispositivo no haya sufrido cambios significativos o no haya sido incluso sustituido por otro periférico. En este proyecto se ha abordado el reto de desarrollar un controlador de ratón gestual para Windows utilizando Microsoft Kinect, de tal forma que se sustituya el uso del típico ratón y sea el propio usuario el que actúe como controlador mediante gestos y movimientos de sus manos. El resultado es llamativo y aporta numerosas mejoras y novedades frente a aplicaciones similares, aunque deja en evidencia algunas de las limitaciones de la tecnología implementada por Kinect a día de hoy. Es de esperar que cuando evolucione su tecnología, su uso se convierta en cotidiano.

Controlador MIDI basado en Kinect

Este proyecto tiene como objetivo el desarrollo de una interfaz MIDI, basada en técnicas de procesamiento digital de la imagen, capaz de controlar diversos parámetros de un software de audio mediante información gestual: el movimiento de las manos. La imagen es capturada por una cámara Kinect comercial y los datos obtenidos por ésta son procesados en tiempo real. La finalidad es convertir la posición de varios puntos de control de nuestro cuerpo en información de control musical MIDI. La interfaz ha sido desarrollada en el lenguaje y entorno de programación Processing, el cual está basado en Java, es de libre distribución y de fácil utilización. El software de audio seleccionado es Ableton Live, versión 8.2.2, elegido porque es útil tanto para la composición musical como para la música en directo, y esto último es la principal utilidad que se le pretende dar a la interfaz. El desarrollo del proyecto se divide en dos bloques principales: el primero, diseño gráfico del controlador, y el segundo, la gestión de la información musical. En el primer apartado se justifica el diseño del controlador, formado por botones virtuales: se explica el funcionamiento y, brevemente, la función de cada botón. Este último tema es tratado en profundidad en el Anexo II: Manual de usuario. En el segundo bloque se explica el camino que realiza la información MIDI desde el procesador gestual hasta el sintetizador musical. Este camino empieza en Processing, desde donde se mandan los mensajes que más tarde son interpretados por el secuenciador seleccionado, Ableton Live. Una vez terminada la explicación con detalle del desarrollo del proyecto se exponen las conclusiones del autor acerca del desarrollo del proyecto, donde se encuentran los pros y los contras a tener en cuenta para poder sacar el máximo provecho en el uso del controlador . En este mismo bloque de la memoria se exponen posibles líneas futuras a desarrollar. Se facilita también un presupuesto, desglosado en costes materiales y de personal. ABSTRACT. The aim of this project is the development of a MIDI interface based on image digital processing techniques, able to control several parameters of an audio software using gestural information, the movement of the hands. The image is captured by a commercial Kinect camera and the data obtained by it are processed in real time. The purpose is to convert the position of various points of our body into MIDI musical control information. The interface has been developed in the Processing programming language and environment which is based on Java, freely available and easy to used. The audio software selected is Ableton Live, version 8.2.2, chosen because it is useful for both music composition and live music, and the latter is the interface main intended utility. The project development is divided into two main blocks: the controller graphic design, and the information management. The first section justifies the controller design, consisting of virtual buttons: it is explained the operation and, briefly, the function of each button. This latter topic is covered in detail in Annex II: user manual. In the second section it is explained the way that the MIDI information makes from the gestural processor to the musical synthesizer. It begins in Processing, from where the messages, that are later interpreted by the selected sequencer, Ableton Live, are sent. Once finished the detailed explanation of the project development, the author conclusions are presented, among which are found the pros and cons to take into account in order to take full advantage in the controller use. In this same block are explained the possible future aspects to develop. It is also provided a budget, broken down into material and personal costs.

Estudio cinemático del cuerpo humano mediante Kinect

La cámara Kinect está desarrollada por Prime Sense en colaboración con Microsoft para la consola XBox, ofrece imágenes de profundidad gracias a un sensor infrarrojo. Este dispositivo también incluye una cámara RGB que ofrece imágenes a color además de una serie de micrófonos colocados de tal manera que son capaces de saber de qué ángulo proviene el sonido. En un principio Kinect se creó para el ocio doméstico pero su bajo precio (en comparación con otras cámaras de iguales características) y la aceptación por parte de desarrolladores han explotado sus posibilidades. El objetivo de este proyecto es, partiendo de estos datos, la obtención de variables cinemáticas tales como posición, velocidad y aceleración de determinados puntos de control del cuerpo de un individuo como pueden ser el cabeza, cuello, hombros, codos, muñecas, caderas, rodillas y tobillos a partir de los cuales poder extraer patrones de movimiento. Para ello se necesita un middleware mediante el entorno de libre distribución (GNU) multiplataforma. Como IDE se ha utilizado Processing, un entorno open source creado para proyectos de diseño. Además se ha utilizado el contenedor SimpleOpenNI, desarrollado por estudiantes e investigadores que trabajan con Kinect. Esto ofrece la posibilidad de prescindir del SDK de Microsoft, el cual es propietario y obliga a utilizar su sistema operativo, Windows. Usando estas herramientas se consigue una solución viable para varios sistemas operativos. Se han utilizado métodos y facilidades que ofrece el lenguaje orientado a objetos Java (Proccesing hereda de este), y se ha planteado una solución basada en un modelo cliente servidor que dota de escalabilidad al proyecto. El resultado del proyecto es útil en aplicaciones para poblaciones con riesgo de exclusión (como es el espectro autista), en telediagnóstico, y en general entornos donde se necesite estudiar hábitos y comportamientos a partir del movimiento humano. Con este proyecto se busca tener una continuidad mediante otras aplicaciones que analicen los datos ofrecidos. ABSTRACT. The Kinect camera is developed by PrimeSense in collaboration with Microsoft for the xBox console provides depth images thanks to an infrared sensor. This device also includes an RGB camera that provides color images in addition to a number of microphones placed such that they are able to know what angle the sound comes. Kinect initially created for domestic leisure but its low prices (compared to other cameras with the same characteristics) and acceptance by developers have exploited its possibilities. The objective of this project is based on this data to obtain kinematic variables such as position, velocity and acceleration of certain control points of the body of an individual from which to extract movement patterns. These points can be the head, neck, shoulders, elbows, wrists, hips, knees and ankles. This requires a middleware using freely distributed environment (GNU) platform. Processing has been used as a development environment, and open source environment created for design projects. Besides the container SimpleOpenNi has been used, it developed by students and researchers working with Kinect. This offers the possibility to dispense with the Microsoft SDK which owns and agrees to use its operating system, Windows. Using these tools will get a viable solution for multiple operating systems. We used methods and facilities of the Java object-oriented language (Processing inherits from this) and has proposed a solution based on a client-server model which provides scalability to the project. The result of the project is useful in applications to populations at risk of exclusion (such as autistic spectrum), in remote diagnostic, and in general environments that need study habits and behaviors from human motion. This project aims to have continuity using other applications to analyze the data provided.

Evaluación de las librerías disponibles para la definición de gestos y uso de los mismos para ser usados en U.I. con Kinect

La rápida evolución de tecnologías que mejoran la interacción con los ordenadores ha cambiado la forma de pensar de la sociedad actual. Una de las últimas alternativas se centra en el reconocimiento facial y de gestos, el cual ha dado muy buenos resultados, acercando ordenadores y humanos. El objetivo de este proyecto era desarrollar un prototipo que permita el reconocimiento de gestos mediante el dispositivo Kinect, el cual usa una de las tecnologías mencionadas anteriormente. Para la realización de este prototipo, fue necesario el estudio del funcionamiento de Kinect. Una vez realizado, el siguiente paso consistió en la búsqueda de librerías que facilitaran el reconocimiento de gestos, para compararlas y finalmente escoger una de ellas. Al ser una tecnología reciente, no existen demasiadas aplicaciones que utilicen Kinect y por lo tanto, la búsqueda de la librería era una parte fundamental del proyecto. Tras elegir la librería, se analizaron las características que debía tener el prototipo para realizar el diseño del mismo. Este diseño se realizó de forma iterativa y con numerosos cambios para otorgar al prototipo la mayor abstracción posible y una mayor orientación a objetos, para de esta manera, favorecer los posibles cambios que sean necesarios al ser una tecnología nueva y muy cambiante. Finalmente, el paso final fue la implementación del prototipo bajo el diseño propuesto, consiguiendo un prototipo funcional capaz de reconocer, almacenar, mostrar y definir diferentes gestos. Los resultados ofrecidos por Kinect son muy satisfactorios, con una gran precisión y eficiencia, demostrando el potencial de las nuevas tecnologías de interacción sin contacto, cuyo único defecto se encuentra en ser una tecnología poco madura y en evolución. ---------------------------------------------------------------------------------------------------------- The fast development of technologies that enhance interaction with computers has changed the mindset of the society. One of the latest alternatives focuses on face and gesture recognition, which has been very successful, bringing closer computers and humans. The purpose of this project was to develop a gesture recognition prototype with the Kinect device, which uses one of the technologies mentioned above. For the realization of this prototype, it was necessary to study how Kinect works. Once done, the next step was to search for libraries to facilitate the gesture recognition, to compare them and finally choose one of them. Because it is a recent technology, there are not many applications that use Kinect and therefore, the library search was an essential part of the project. After selecting the library, the characteristics that the prototype should have were analyzed for the design. This design was performed iteratively with numerous changes to give the prototype abstraction and object orientation, because as a new technology, it changes fast. Therefore, with this design it would be easier to deal with possible changes. Finally, the final step was the implementation of the prototype under the proposed design, getting a functional prototype able to recognize, store, display and define different gestures. The results offered by Kinect are very satisfactory, with high accuracy and efficiency, demonstrating the potential of the new interaction technologies without contact, whose only fault is to be a little mature technology and evolving.

Desarrollo y evaluación de un sistema de teleoperación de robots basado en reconocimiento de gestos usando el sensor Kinect

En este Proyecto Fin de Carrera, se presenta un sistema de reconocimiento de gestos para teleoperar robots basado en el sensor Kinect. El proyecto se divide en dos partes, la primera relativa al diseño y evaluación de un sistema de reconocimiento de gestos basado en el sensor Kinect; y la segunda, relativa a la teleoperación de robots usando el sistema de reconocimiento de gestos desarrollado. En la primera parte, se enumeran las características y limitaciones del sensor Kinect. Posteriormente, se analiza la detección de movimiento y se presenta la máquina de estados propuesta para detectar el movimiento de un gesto. A continuación, se explican los posibles preprocesados de un esqueleto en 3 dimensiones para mejorar la detección de gestos y el algoritmo utilizado para la detección de gestos, el algoritmo de Alineamiento Temporal Dinámico (DTW). Por último, se expone con detalle el software desarrollado de reconocimiento y evaluación de gestos, el Evaluador de Gestos, y se realiza un análisis de varias evaluaciones realizadas con distintos perfiles de configuración donde se extraen las conclusiones de acierto, fiabilidad y precisión de cada configuración. En la segunda parte, se expone el sistema de teleoperación del robots y su integración con el evaluador de gestos: este sistema controla el robot Lego Mindstorm mediante la detección de gestos o el reconocimiento de voz. Por último, se exponen las conclusiones finales del proyecto.