Dise��o e implementaci��n de un controlador de rat��n gestual para Microsoft Windows con Kinect - Touchless Gesture User Interface

El dispositivo Microsoft Kinect for Windows y similares, han introducido en el mundo del PC una nueva forma de interacci��n denominada ���Touchless Gesture User Interface��� o TGUI (Interfaz de Usuario por Gestos sin Contacto) [Gentile et al. 2011]. Se trata de una tecnolog��a novedosa en proceso de evoluci��n. La tecnolog��a de Kinect detecta la presencia de un usuario y monitoriza la posici��n en el espacio de sus articulaciones principales. Esta informaci��n permite desarrollar aplicaciones que posibiliten interactuar al usuario con una computadora mediante gestos y sin la necesidad de estar en contacto con perif��rico alguno. Desde la invenci��n del perif��rico rat��n en los a��os 60, resulta curioso que con la fren��tica evoluci��n que ha experimentado el mundo de la inform��tica en todos estos a��os, este dispositivo no haya sufrido cambios significativos o no haya sido incluso sustituido por otro perif��rico. En este proyecto se ha abordado el reto de desarrollar un controlador de rat��n gestual para Windows utilizando Microsoft Kinect, de tal forma que se sustituya el uso del t��pico rat��n y sea el propio usuario el que act��e como controlador mediante gestos y movimientos de sus manos. El resultado es llamativo y aporta numerosas mejoras y novedades frente a aplicaciones similares, aunque deja en evidencia algunas de las limitaciones de la tecnolog��a implementada por Kinect a d��a de hoy. Es de esperar que cuando evolucione su tecnolog��a, su uso se convierta en cotidiano.

New generation of human machine interfaces for controlling UAV through depth based gesture recognition

New forms of natural interactions between human operators and UAVs (Unmanned Aerial Vehicle) are demanded by the military industry to achieve a better balance of the UAV control and the burden of the human operator. In this work, a human machine interface (HMI) based on a novel gesture recognition system using depth imagery is proposed for the control of UAVs. Hand gesture recognition based on depth imagery is a promising approach for HMIs because it is more intuitive, natural, and non-intrusive than other alternatives using complex controllers. The proposed system is based on a Support Vector Machine (SVM) classifier that uses spatio-temporal depth descriptors as input features. The designed descriptor is based on a variation of the Local Binary Pattern (LBP) technique to efficiently work with depth video sequences. Other major consideration is the especial hand sign language used for the UAV control. A tradeoff between the use of natural hand signs and the minimization of the inter-sign interference has been established. Promising results have been achieved in a depth based database of hand gestures especially developed for the validation of the proposed system.

Evaluaci��n de las librer��as disponibles para la definici��n de gestos y uso de los mismos para ser usados en U.I. con Kinect

La r��pida evoluci��n de tecnolog��as que mejoran la interacci��n con los ordenadores ha cambiado la forma de pensar de la sociedad actual. Una de las ��ltimas alternativas se centra en el reconocimiento facial y de gestos, el cual ha dado muy buenos resultados, acercando ordenadores y humanos. El objetivo de este proyecto era desarrollar un prototipo que permita el reconocimiento de gestos mediante el dispositivo Kinect, el cual usa una de las tecnolog��as mencionadas anteriormente. Para la realizaci��n de este prototipo, fue necesario el estudio del funcionamiento de Kinect. Una vez realizado, el siguiente paso consisti�� en la b��squeda de librer��as que facilitaran el reconocimiento de gestos, para compararlas y finalmente escoger una de ellas. Al ser una tecnolog��a reciente, no existen demasiadas aplicaciones que utilicen Kinect y por lo tanto, la b��squeda de la librer��a era una parte fundamental del proyecto. Tras elegir la librer��a, se analizaron las caracter��sticas que deb��a tener el prototipo para realizar el dise��o del mismo. Este dise��o se realiz�� de forma iterativa y con numerosos cambios para otorgar al prototipo la mayor abstracci��n posible y una mayor orientaci��n a objetos, para de esta manera, favorecer los posibles cambios que sean necesarios al ser una tecnolog��a nueva y muy cambiante. Finalmente, el paso final fue la implementaci��n del prototipo bajo el dise��o propuesto, consiguiendo un prototipo funcional capaz de reconocer, almacenar, mostrar y definir diferentes gestos. Los resultados ofrecidos por Kinect son muy satisfactorios, con una gran precisi��n y eficiencia, demostrando el potencial de las nuevas tecnolog��as de interacci��n sin contacto, cuyo ��nico defecto se encuentra en ser una tecnolog��a poco madura y en evoluci��n. ---------------------------------------------------------------------------------------------------------- The fast development of technologies that enhance interaction with computers has changed the mindset of the society. One of the latest alternatives focuses on face and gesture recognition, which has been very successful, bringing closer computers and humans. The purpose of this project was to develop a gesture recognition prototype with the Kinect device, which uses one of the technologies mentioned above. For the realization of this prototype, it was necessary to study how Kinect works. Once done, the next step was to search for libraries to facilitate the gesture recognition, to compare them and finally choose one of them. Because it is a recent technology, there are not many applications that use Kinect and therefore, the library search was an essential part of the project. After selecting the library, the characteristics that the prototype should have were analyzed for the design. This design was performed iteratively with numerous changes to give the prototype abstraction and object orientation, because as a new technology, it changes fast. Therefore, with this design it would be easier to deal with possible changes. Finally, the final step was the implementation of the prototype under the proposed design, getting a functional prototype able to recognize, store, display and define different gestures. The results offered by Kinect are very satisfactory, with high accuracy and efficiency, demonstrating the potential of the new interaction technologies without contact, whose only fault is to be a little mature technology and evolving.

Usando Kinect como sensor para una pulverizaci��n inteligente.

Este trabajo esta orientado a resolver el problema de la caracterizaci��n de la copa de arboles frutales para la aplicacion localizada de fitosanitarios. Esta propuesta utiliza un mapa de profundidad (Depth image) y una imagen RGB combinadas (RGB-D), proporcionados por el sensor Kinect de Microsoft, para aplicar pesticidas de forma localizada. A trav��s del mapa de profundidad se puede estimar la densidad de la copa y a partir de esta informaci��n determinar qu�� boquillas se deben abrir en cada momento. Se desarrollaron algoritmos implementados en Matlab que permiten adem��s de la adquisici��n de las im��genes RGB-D, aplicar plaguicidas s��lo a hojas y/o frutos seg��n se desee. Estos algoritmos fueron implementados en un software que se comunica con el entorno de desarrollo "Kinect Windows SDK", encargado de extraer las im��genes desde el sensor Kinect. Por otra parte, para identificar hojas, se implementaron algoritmos de clasificaci��n e identificaci��n. Los algoritmos de clasificaci��n utilizados fueron "Fuzzy C-Means con Gustafson Kessel" (FCM-GK) y "K-Means". Los centroides o prototipos de cada clase generados por FCM-GK fueron usados como semilla para K-Means, para acelerar la convergencia del algoritmo y mantener la coherencia temporal en los grupos generados por K-Means. Los algoritmos de clasificaci��n fueron aplicados sobre las im��genes transformadas al espacio de color L*a*b*; espec��ficamente se emplearon los canales a*, b* (canales crom��ticos) con el fin de reducir el efecto de la luz sobre los colores. Los algoritmos de clasificaci��n fueron configurados para buscar cuatro grupos: hojas, porosidad, frutas y tronco. Una vez que el clasificador genera los prototipos de los grupos, un clasificador denominado M��quina de Soporte Vectorial, que utiliza como n��cleo una funci��n Gaussiana base radial, identifica la clase de inter��s (hojas). La combinaci��n de estos algoritmos ha mostrado bajos errores de clasificaci��n, rendimiento del 4% de error en la identificaci��n de hojas. Adem��s, estos algoritmos de procesamiento de hasta 8.4 im��genes por segundo, lo que permite su aplicaci��n en tiempo real. Los resultados demuestran la viabilidad de utilizar el sensor "Kinect" para determinar d��nde y cu��ndo aplicar pesticidas. Por otra parte, tambi��n muestran que existen limitaciones en su uso, impuesta por las condiciones de luz. En otras palabras, es posible usar "Kinect" en exteriores, pero durante d��as nublados, temprano en la ma��ana o en la noche con iluminaci��n artificial, o a��adiendo un parasol en condiciones de luz intensa.

Multi-UAV Coordination and Control Interface

The interest in missions with multiple Unmanned Aerial Vehicles (UAVs) has increased significantly in last years. These missions take advantage of the use of fleets instead of single UAVs to ensure the success, reduce the duration or increase the goals of the mission. In addition, they allow performing tasks that require multiple agents and certain coordination (e.g. surveillance of large areas or transport of heavy loads). Nevertheless, these missions suppose a challenge in terms of control and monitoring. In fact, the workload of the operators rises with the utilization of multiple UAVs and payloads, since they have to analyze more information, make more decisions and generate more commands during the mission. This work addresses the operator workload problem in multi-UAV missions by reducing and selecting the information. Two approaches are considered: a first one that selects the information according to the mission state, and a second one that selects it according to the operator preferences. The result is an interface that is able to control the amount of information and show what is relevant for mission and operator at the time.