Evaluación de entornos de desarrollo para la cámara de profundidad DS325 de SoftKinetic para aplicaciones de interfaces hombre-máquina y prototipado de un sistema de reconocimiento gestual basado en redes neuronales

En este Trabajo Fin de Grado se ha realizado primero un informe técnico de la cámara de profundidad de la empresa SoftKinetic DepthSense 325 y de cuatro entornos de desarrollo que tiene como objetivo el uso de dicha cámara para el desarrollo de interfaces hombre-máquina: Perceptual Computing, RealSense, DepthSense e iisu. Posteriormente, tras la evaluación de los entornos de desarrollo y selección del más adecuado para el objetivo, se ha desarrollado un prototipo de un sistema de reconocimiento visual de gestos de manos. La principal contribución a dicho sistema es el uso de redes neuronales para la clasificación de patrones espacio-temporales que representan los gestos a reconocer. Para el entrenamiento de las redes neuronales, se han probado varias configuraciones y los métodos de optimización basados en Gradiente Conjugado y el Gradiente Conjugado Escalado, eficaces para grandes cantidades de información. El sistema propuesto basado en redes neuronales se ha comparado con las populares Máquinas Vectores Soporte, obteniéndose resultados equiparables en términos de reconocimiento de gestos

Obtención y adaptación de mapas de profundidad en vídeo estereoscópico: influencia en la codificación y el comportamiento visual tridimensional en tiempo real

En esta tesis se recoge el trabajo realizado centrado en el estudio del vídeo estereoscópico y, en particular, la información que aportan los mapas de disparidad y sus posibles aplicaciones. El trabajo se ha dividido en tres bloques diferenciados: En primer lugar se presentan los resultados de un codificador de vídeo multivista basado en mapas de disparidad previamente computados. La finalidad del estudio es comprobar los efectos de la aplicación directa de la disparidad para la compensación entre vistas en cuanto a reducción del tiempo de procesado y calidad de la compresión sobre algoritmos basados en división de bloques, como AVC o HEVC. También se ha trabajado para obtener un flujo de vídeo compatible con MVC que contenga la información de los mapas de disparidad embebida en el flujo en forma de vectores de compensación. Estos mapas se usan como base para obtener la compensación entre bloques de la imagen derecha e izquierda. Para reducir aún más el coste computacional, se ha diseñado un algoritmo de decisión previa del tamaño del bloque de compensación. Aquí se presentan los resultados de ambas estrategias, con decisión previa y sin ella, para evaluar las alternativas. Se presentan los resultados tanto sobre imágenes estereoscópicas estáticas como secuencias de vídeo estereoscópico, cada una de ellas a diferentes valores de compresión de forma que se obtenga una referencia parametrizada del comportamiento del algoritmo. Dichos resultados revelan una reducción drástica del tiempo de procesado con estabilización de la tasa binaria para valores de compresión moderados (compresión de alta calidad), mientras que para compresiones severas, la tasa binaria crece en comparación con el software de referencia JMVC. En segundo lugar se realiza un análisis de calidad relacionado con la información de disparidad de las secuencias estereoscópicas, sus valores absolutos y sus derivadas temporales, de modo que pueda servir tanto para generar sistemas automáticos de evaluación de la calidad, como para sintetizar una lista de buenas prácticas para la creación de contenidos audiovisuales estereoscópicos que ofrezcan una calidad de la experiencia elevada. Para relacionar la calidad de la experiencia y el confort visual generado por una secuencia estereoscópica se ha llevado a cabo una serie de tests de visualización por parte de un grupo de observadores, de secuencias previamente generadas y catalogadas en base a sus variaciones de la disparidad y de movimiento. Las conclusiones extraídas indican que los paralajes negativos son más efectistas y ofrecen una inmersión mayor y, por tanto, mejor calidad de la experiencia, cuando se utilizan de forma moderada. Variaciones rápidas de los valores de disparidad negativa y variaciones de movimiento de objetos con disparidad negativa generan disconfort visual. La probabilidad de que paralajes positivos generen disconfort visual son mucho menores, por lo que resulta interesante en este caso utilizar variaciones rápidas de disparidad y movimiento para compensar la falta de efectismo que producen dichos paralajes. Por último, se ha planteado el diseño de un sistema de inserción coherente de gráficos, en tiempo real, en una escena estereoscópica. Se ha hecho hincapié en la necesidad de la coherencia entre la disparidad de los objetos que conforman una escena y las oclusiones que éstos producen, por lo que la inserción de un elemento no nativo de la escena debe tener en cuenta esta circunstancia para mantener la calidad de la experiencia estereoscópica. Se ha estudiado la influencia de la calidad del mapa de disparidad de la escena como base sobre la que realizar la inserción, así como posibles formas de modificar dicho mapa para que la inserción produzca el efecto deseado de coherencia. En concreto se ha postulado que es preferible sacrificar la precisión punto a punto del mapa de disparidad si, de esa manera, se evita cometer pequeños errores aislados de inserción, a costa de introducir un ajuste menos fino en los bordes de los objetos.