Diseño e implementación de un controlador de ratón gestual para Microsoft Windows con Kinect - Touchless Gesture User Interface

El dispositivo Microsoft Kinect for Windows y similares, han introducido en el mundo del PC una nueva forma de interacción denominada “Touchless Gesture User Interface” o TGUI (Interfaz de Usuario por Gestos sin Contacto) [Gentile et al. 2011]. Se trata de una tecnología novedosa en proceso de evolución. La tecnología de Kinect detecta la presencia de un usuario y monitoriza la posición en el espacio de sus articulaciones principales. Esta información permite desarrollar aplicaciones que posibiliten interactuar al usuario con una computadora mediante gestos y sin la necesidad de estar en contacto con periférico alguno. Desde la invención del periférico ratón en los años 60, resulta curioso que con la frenética evolución que ha experimentado el mundo de la informática en todos estos años, este dispositivo no haya sufrido cambios significativos o no haya sido incluso sustituido por otro periférico. En este proyecto se ha abordado el reto de desarrollar un controlador de ratón gestual para Windows utilizando Microsoft Kinect, de tal forma que se sustituya el uso del típico ratón y sea el propio usuario el que actúe como controlador mediante gestos y movimientos de sus manos. El resultado es llamativo y aporta numerosas mejoras y novedades frente a aplicaciones similares, aunque deja en evidencia algunas de las limitaciones de la tecnología implementada por Kinect a día de hoy. Es de esperar que cuando evolucione su tecnología, su uso se convierta en cotidiano.

Evaluación de entornos de desarrollo para la cámara de profundidad DS325 de SoftKinetic para aplicaciones de interfaces hombre-máquina y prototipado de un sistema de reconocimiento gestual basado en redes neuronales

En este Trabajo Fin de Grado se ha realizado primero un informe técnico de la cámara de profundidad de la empresa SoftKinetic DepthSense 325 y de cuatro entornos de desarrollo que tiene como objetivo el uso de dicha cámara para el desarrollo de interfaces hombre-máquina: Perceptual Computing, RealSense, DepthSense e iisu. Posteriormente, tras la evaluación de los entornos de desarrollo y selección del más adecuado para el objetivo, se ha desarrollado un prototipo de un sistema de reconocimiento visual de gestos de manos. La principal contribución a dicho sistema es el uso de redes neuronales para la clasificación de patrones espacio-temporales que representan los gestos a reconocer. Para el entrenamiento de las redes neuronales, se han probado varias configuraciones y los métodos de optimización basados en Gradiente Conjugado y el Gradiente Conjugado Escalado, eficaces para grandes cantidades de información. El sistema propuesto basado en redes neuronales se ha comparado con las populares Máquinas Vectores Soporte, obteniéndose resultados equiparables en términos de reconocimiento de gestos