Creación de personajes autónomos animados en la herramienta de desarrollo de entornos virtuales Unity 3D

Este trabajo se centra en la construcción de la parte física del personaje virtual. El desarrollo muestra téecnicas de modelado 3D, cinemática y animación usadas para la creación de personajes virtuales. Se incluye además una implementación que está dividida en: modelado del personaje virtual, creación de un sistema de cinemática inversa y la creación de animaciones utilizando el sistema de cinemática. Primero, crear un modelo 3D exacto al diseño original, segundo, el desarrollo de un sistema de cinemática inversa que resuelva con exactitud las posiciones de las partes articuladas que forman el personaje virtual, y tercero, la creación de animaciones haciendo uso del sistema de cinemática para conseguir animaciones fluidas y depuradas. Como consecuencia, se ha obtenido un componente 3D animado, reutilizable, ampliable, y exportable a otros entornos virtuales. ---ABSTRACT---This article is pointed in the making of the physical part of the virtual character. Development shows modeling 3D, kinematic and animation techniques used for create the virtual character. In addition, an implementation is included, and it is divided in: to model the 3D character, to create an inverse kinematics system, and to create animations using a kinematic system. First, creating an exact 3D model from the original design, second, developing an inverse kinematics system that resolves the positions of the articulated pieces that compose the virtual character, and third, creating animation using the inverse kinematics system to get fluid and refined animations in realtime. As consequence, a 3D animated, reusable, extendable and to other virtual environments exportable component has been obtained.

Edición semántica inteligente de entornos virtuales

Tradicionalmente, los entornos virtuales se han relacionado o vinculado de forma muy estrecha con campos como el diseño de escenarios tridimensionales o los videojuegos; dejando poco margen a poder pensar en sus aplicaciones en otros ámbitos. Sin embargo, estas tendencias pueden cambiar en tanto se demuestre que las aplicaciones y ventajas de estas facilidades software, se pueden extrapolar a su uso en el ámbito de la enseñanza y el aprendizaje. Estas aplicaciones son los conocidos como Entornos Virtuales Inteligentes (EVI); los cuales, tratan de usar un entorno virtual para llevar a cabo labores de enseñanza y tutoría, aportando ventajas como simulación de entornos peligrosos o tutorización personalizada; cosa que no podemos encontrar en la mayoría de los casos de las situaciones de enseñanza reales. Este trabajo trata de dar solución a una de las problemáticas que se plantean a la hora de trabajar con cualquier entorno virtual con el que nos encontremos y prepararlo para su cometido, sobre todo en aquellos enfocados a la enseñanza: dotar de forma automática e inteligente de una semántica propia a cada uno de los objetos que se encuentran en un entorno virtual y almacenar esta información para su posterior consulta o uso para otras tareas. Esto quiere decir que el objetivo principal de este trabajo, es el proceso de recolección de información que se considera importante de los objetos de los entornos virtuales, como pueden ser sus aspectos de la forma, tamaño o color. Aspectos que, por otra parte, son realmente importantes para poder caracterizar los objetos y hacerlos únicos en un entorno virtual donde, a priori, todos los objetos son los mismos a ojos de un ordenador. Este trabajo que puede parecer trivial en un principio, no lo es tanto; y servirá de sustento fundamental para que otras aplicaciones futuras o ya existentes puedan realizar sus tareas. Una de estas tareas pudiera ser la generación de indicaciones en lenguaje natural para guiar a usuarios a localizar objetos en un entorno virtual, como es el caso del proyecto LORO sobre el que se engloba este trabajo. Algunos ejemplos de uso de esta tarea pueden ser desde ayudar a cualquier usuario a encontrar sus llaves en su propia casa a ayudar a un cirujano a localizar cierta herramienta en un quirófano. Para ello, es indispensable conocer la semántica e información relevante de cada uno de los objetos que se presentan en la escena y diferenciarlos claramente del resto. La solución propuesta se trata de una completa aplicación integrada en el motor de videojuegos y escenarios 3D de mayor soporte del mundo como es Unity 3D, el cual se interrelaciona con ontologías para poder guardar la información de los objetos de cada escena. Esto hace que la aplicación tenga una potencial difusión, gracias a las herramientas antes mencionadas para su desarrollo y a que está pensada para tanto el usuario experto como el usuario común.---ABSTRACT---Traditionally, virtual environments have been related to tridimensional design and videogames; leaving a little margin to think about its applications in other fields. However, this tendencies can be changed as soon as it is proven that the applications and advantages of this software can be taken to the learning and teaching environment. This applications are known as intelligent virtual environments, these use the virtual environment to perform teaching and tutoring tasks; tasks we cannot find in most real life teaching situations. This project aims to give a solution to one of the problematics that appears when someone works with any virtual environments we may encounter and prepare it for its duty, mainly those environments dedicated to teaching: automatically and intelligently give its own semantic to the objects that are in any virtual environment and save this information for its posterior query or use in other tasks. The main purpose of this project is the information recollection process that considers the different important facts about the objects that are in the virtual environments, such as their shape, size or color. Facts that are very important for characterizing the objects; to make them unique in the environment where the objects are all the same to the computer’s eye. This project may seem banal in the beginning, but it is not, it will be the fundamental base for future applications. One of this applications may be a natural language indicator generator for guiding users to locate objects in a virtual environment, such as the LORO project, where this project is included. Some examples of the use of this task are: helping any user to find the keys of his house, helping a surgeon to find a tool in an operation room… For this goals, it is very important to know the semantics and the relevant information of each object of the scenario and differentiate each one of them from the rest. The solution for this proposal is a fully integrated application in the videogame and Unity 3D engine that is related to ontologies so it can save the object’s information in every scenario. The previously mentioned tools, as well as the idea that this application is made for an expert user as well as for a common user, make the application more spreadable.

Interacción combinada táctil 3D para manejo de colecciones de documentos

Actualmente existen varios dispositivos que aceptan gestos sobre superficies táctiles, sean celulares, tabletas, computadores, etc. a los cuales las personas se acostumbran rápidamente a su uso y los aceptan como herramientas necesarias en su vida. Del mismo modo existen algunas aplicaciones que manejan entornos en 3D, y permiten captar gestos realizados con las manos, cuerpo, cabeza. Estas técnicas se han desarrollado mucho por separado pero se ha podido evidenciar en base a los artículos revisados que no existen muchos estudios que combinen las aplicaciones táctiles con las 3D manejadas por gestos en el aire. El presente trabajo muestra un prototipo que permite la comunicación y coordinación entre dos aplicaciones, una que muestra documentos representados por esferas en una aplicación con interacción táctil desarrollada en Unity que funciona sobre Android, y una segunda aplicación desarrollada también en Unity que maneja un entorno 3D con el que se interactúa mediante gestos realizados en el aire. Luego de algunos intentos la interacción entre ambas aplicaciones fue lograda implementando comunicación por sockets entre la aplicación en el dispositivo Android y la aplicación 3D que se encuentra alojada en un computador con Windows 7. La captura de gestos en el aire se realiza mediante el sistema Tracking Tools desarrollado por la compañía Optitrack que captura los movimientos con cámaras infrarrojas y marcadores en los dedos. Este sistema envía los datos de los gestos a nuestra aplicación 3D. Estos equipos son de propiedad del laboratorio Decoroso Crespo de la Universidad Politécnica de Madrid. Una vez lograda la implementación e interacción entre las aplicaciones se han realizado pruebas de usabilidad con nueve estudiantes del Máster Universitario en Software y Sistemas de la Universidad Politécnica de Madrid. Cada uno ha respondido una serie de encuestas para poder obtener resultados sobre cuán usable es el prototipo, la experiencia del usuario y qué mejoras se podrían realizar sobre éste. En la parte final de este documento se presentan los resultados de las encuestas y se muestran las conclusiones y trabajo futuro.---ABSTRACT---Currently there are several devices that accept gestures on touch surfaces like phones, tablets, computers, etc. to which people quickly become accustomed to their use and accept them as necessary tools in their life. Similarly there are some applications that handle 3D environments and like televisions, holograms and allow capture gestures made with hands, body, and head. These techniques have been developed on a separated way but based on some research we may say that the are not many studies that combine touch with 3D applications handled by gestures in the air. This paper presents a prototype of the interaction of two issues of a 2D showing documents represented by spheres on a touch application developed in Unity that works on Android and allows communicating with the second application also developed in Unity that handles a 3D environment interaction of gestures made in air. After some attempts interaction was achieved by implementing communication sockets between the application on the Android device and 3D application that is hosted on a computer with windows 7, and gestures capturing in the air is done by the system Tracking Tools developed by the Optitrack company it captures movements with infrared cameras and markers on the fingers, which sends data to this application gestures, these equipment are owned by the Decoroso Crespo laboratory of the Polytechnic University of Madrid. Once achieved the interaction of applications has been conducted performance tests with ten students of the university master of the Universidad Politécnica de Madrid, each has answered a series of surveys to get results on how usable is the prototype, the user experience and that improvements could be made on this.