Desarrollo de un prototipo usando como dispositivo de interacción Leap Motion

Leap Motion [1] es un pequeño dispositivo que se coloca frente al monitor, conectado mediante un cable USB al ordenador, capaz de capturar los movimientos de nuestras manos y dedos con alta precisión, además de algunos objetos como pinceles o bolígrafos. El objetivo principal de este trabajo es evaluar las capacidades de este dispositivo y crear un prototipo que sea capaz de grabar y reconocer gestos para que pueda ser fácilmente integrado a cualquier aplicación. Para ello, el prototipo consta de 2 funciones principales: Grabar un movimiento: en el que recojo los datos que nos ofrece el Leap Motion, los proceso y los guardo en un formato específico. Reconocer un gesto: en el que comparo en cada momento el gesto que se está realizando con los gestos grabados mediante un algoritmo que detectara si son similares o no. Este es un resumen básico del prototipo, sin embargo debemos tener en cuenta una serie de requisitos y parámetros para hacerlo más eficiente y personalizable dependiendo de las necesidades del usuario. ---ABSTRACT---Leap Motion [1] is a small device we place in front of the display unit, connected to a USB cable to the computer. It is able to capture the motion of our hands and fingers with high accuracy, as well as some objects such as pens and brushes. This project's main goal is to evaluate the proficiency of the device, and create a prototype that is able to record and recognize gestures in order for it to be easily integrated into any application. For that, the prototype has 2 main functions: Recording a motion: in which I collect the data offered by the Leap Motion, process it and keep it in a specific format. Recognizing a gesture: in which I compare each time the gesture being made with the gestures recorded using an algorithm to detect whether they are similar or not. This is a basic summary of the prototype, but we need to take into consideration a number of requirements and parameters to make it more efficient and customizable depending on the user's needs.

Study and analysis of the Leap Motion sensor and the Software Development Kit (SDK) for the implementation of visual Human Computer Interfaces

En este proyecto, se presenta un informe técnico sobre la cámara Leap Motion y el Software Development Kit correspondiente, el cual es un dispositivo con una cámara de profundidad orientada a interfaces hombre-máquina. Esto es realizado con el propósito de desarrollar una interfaz hombre-máquina basada en un sistema de reconocimiento de gestos de manos. Después de un exhaustivo estudio de la cámara Leap Motion, se han realizado diversos programas de ejemplo con la intención de verificar las capacidades descritas en el informe técnico, poniendo a prueba la Application Programming Interface y evaluando la precisión de las diferentes medidas obtenidas sobre los datos de la cámara. Finalmente, se desarrolla un prototipo de un sistema de reconocimiento de gestos. Los datos sobre la posición y orientación de la punta de los dedos obtenidos de la Leap Motion son usados para describir un gesto mediante un vector descriptor, el cual es enviado a una Máquina Vectores Soporte, utilizada como clasificador multi-clase.

Uso de Leap Motion en juegos didácticos para niños con necesidades educativas especiales

Este Trabajo de Fin de Grado (TFG) tiene el objetivo incorporar el dispositivo Leap Motion [1] en un juego educativo para niños con necesidades educativas especiales para permitirles aprender de una forma divertida mientras disfrutan con los mini juegos que ofrece nuestra aplicación. Está destinado al apoyo del sistema educativo para los niños con necesidades educativas especiales. Debido al público que tenemos como objetivo debemos de tener en cuenta que hay distintos tipos de usuarios según el tipo de discapacidad que tienen. Entre ellas tenemos discapacidad visual, auditiva, cognitiva y motriz. Tenemos distintos mini juegos para facilitar el aprendizaje de las letras y nuevas palabras, los nombres de colores y diferenciarlos y la asociación de conceptos mediante ejemplos sencillos como son ropa, juguetes y comida. Para hacer que la interacción sea más divertida tenemos distintos tipos de dispositivos de interacción: unos comunes como son el teclado y la pantalla táctil y otros más novedosos como son Kinect [2] y Leap Motion que es el que se introducirá en el desarrollo de este Trabajo de Fin de Grado. El otro objetivo de este proyecto es el estudio de los distintos dispositivos de interacción. Se quiere descubrir qué tipo de sistemas de interacción son más sencillos de aprender, cuáles son más intuitivos para los niños, los que les resultan más interesantes permitiendo captar mejor su atención y sus opuestos, es decir, los que son más difíciles de entender, los más monótonos y los más aburridos para ellos.---ABSTRACT---This Final Degree Project (TFG) aims to incorporate the Leap Motion device [1] in an educational game for children with special educational needs to enable them to learn in a funny way while enjoying the mini games that our application offered. It is intended to support the education system for children with special educational needs. Because the public that we have as objective we must take into account that there are different types of users depending on the type of disability they have. Among them we have visual, auditory, cognitive and motor disabilities. We have different mini games to make easier learning of letters and new words, names and distinguish colors and the association of concepts through simple examples such as clothing, toys and food. To make the interaction more fun we have different interaction devices: common such as the keyboard and the touch screen and other more innovative such as Kinect [2] and Leap Motion which is to be introduced in the development of this Final Degree Work. The other objective of this project is to study the various interaction devices. You want to find out what type of interaction systems are easier to learn, which are more intuitive for children, who are more interesting allowing better capture their attention and their opposites, that is, those that are more difficult to understand, the most monotonous and most boring for them.

Desarrollo de un sistema de visualización de vídeo multivista para un dispositivo de gafas de realidad virtual

El desarrollo de las tecnologías de captura de contenido audiovisual, y la disminución del tamaño de sensores y cámaras, hace posible, a día de hoy, la captura de escenas desde múltiples puntos de vista simultáneamente, generando distintos formatos de vídeo 3D, cuyo elemento común es la inclusión de vídeo multivista. En cuanto a las tecnologías de presentación de vídeo 3D, actualmente existen diversas opciones tecnológicas, entre las cuales empiezan a tomar una gran importancia las gafas de realidad virtual, también conocidas como Head-Mounted Devices (HMD). Este tipo de gafas principalmente han sido utilizadas para la visualización de vídeo panorámico (o 360). Sin embargo, al permitir localizar al usuario (posición de la cabeza y orientación), habilitan también la posibilidad de desarrollar sistemas para la visualización de vídeo multivista, ofreciendo una funcionalidad similar a la de los monitores autoestereoscópicos. En este Trabajo Fin de Grado se ha desarrollado un prototipo de un sistema que permite visualizar vídeo 3D multicámara en las Oculus Rift, un dispositivo HMD. Este sistema toma como entrada una secuencia de vídeos multivista (real o generada por ordenador) y permite, a partir de la información proporcionada por los sensores de las Oculus Rift, variar el punto de vista adaptándolo a la posición del usuario. El sistema desarrollado simula la visualización de un monitor autoestereoscópico y es parametrizable. El sistema permite variar una serie de parámetros como la distancia interocular o la densidad de cámaras, y dispone de varios modos de funcionamiento. Esto permitirá que el sistema pueda utilizarse para distintas secuencias Super MultiView (SMV), volviéndolo a la vez útil para la realización de pruebas subjetivas de calidad de experiencia.

Propuesta de integración de agentes software inteligentes sobre JADE con entornos virtuales en Unity3D

La unión de distintos sistemas software constituye un elemento principal de las nuevas Tecnologías de la Información y la Comunicación. La integración de entornos virtuales tridimensionales con agentes software inteligentes es el objetivo que persigue este trabajo de investigación. Para llevar a cabo esta integración se parte de la creación de un agente virtual, un personaje que es controlado por una mente desarrollada siguiendo un enfoque basado en agentes software. Se busca así dotar al sistema de cierto nivel de inteligencia, tomando como referencia el funcionamiento del cerebro humano. Lo que se consigue es que el agente capte los estímulos del entorno, los procese y genere comportamientos, tanto reactivos como deliberativos, que son ejecutados por el personaje. Los resultados obtenidos resaltan el dinamismo del sistema, a la vez que animan a seguir investigando en este campo lleno de aplicaciones directas y reales sobre el mundo. En conclusión, esta investigación busca y consigue un nuevo paso en el progreso de las nuevas tecnologías mediante una integración real de distintos sistemas software. ---ABSTRACT---The union of different software systems is a major element of Information and Communications Technology. The aim of this research is the integration of 3D virtual environments and intelligent software agents. This integration is based on the development of a virtual agent, a character that is controlled by a mind developed following a software agent approach. It is sought to provide the system with some intelligence level, taking the human brain function as a reference point. The consequence is that the agent captures environmental stimuli, processes them and creates reactive and deliberative behaviours that can be executed by the avatar. The findings emphasize the dynamism of the system as well as they encourage to research more in this field that has a lot of direct and real-life applications on the world. In conclusion, this research seeks and takes a new step in the progress of new technologies through a real integration of different software systems.

Aplicación de la metodología GloBeM al servicio de cloud Hydra

El presente Proyecto de Fin de Máster consiste en crear una herramienta software capaz de monitorizar y gestionar la actividad de Hydra, una herramienta de gestión de entornos distribuidos, para que su estrategia de balanceo de carga se adecúe al modelo creado por GloBeM, una metodología de análisis de entornos distribuidos. GloBeM, que es una metodología externa, puede analizar y crear un modelo de máquina de estados finitos a partir de un sistema distribuido concreto. Hydra, una herramienta también externa, es un sistema de gestión de entornos cloud recientemente desarrollado y de código abierto, con un sistema de balanceo de carga efectivo pero algo limitado. El software construido recoge el modelo creado por GloBeM y lo analiza. A partir de ahí, monitoriza en tiempo real y a una frecuencia determinada la actividad de Hydra y el sistema cloud que ésta gestiona, y reconfigura sus parámetros para que su desempeño se ciña a lo estipulado por el modelo de GloBeM, extendiendo así el sistema de balanceo de carga original de Hydra.---ABSTRACT---This Master's Thesis Project involves creating a software able to monitor and manage the activity of Hydra, a tool for managing distributed environments, in order to adjust its load balancing strategy to the model created by GloBeM, an analysis methodology for distributed environments. GloBeM, which is an external methodology, can analyse and create a finite-state machine model from a particular cloud system. Hydra, also an external tool, is an open source management system for cloud environments recently developed, with a relatively limited system of load balancing. The created software gets the model created by GloBeM as an input and analyses it. From there, it monitors in real time and at a certain frequency Hydra’s activity and the cloud system that it manages, and reconfigures its parameters to adjust its performance to the stipulations by the GloBeM’s model, extending Hydra's original load balancing system.