Desarrollo de una aplicación usando LEAP

[ES]Hoy en día existen diferentes alternativas para interactuar con los ordenadores. Sin embargo, las más extendidas y utilizadas son el teclado y el ratón. En ambos casos resulta necesario que las manos del usuario entren en contacto con algún dispositivo, ya sea un teclado físico o un ratón. En determinadas circunstancias en las que la higiene de las manos es un factor importante, este hecho puede suponer un inconveniente. En este proyecto de fin de grado se ha desarrollado KVLeap, una aplicación de escritorio para los sistemas Windows, que usando el controlador Leap Motion, un dispositivo que detecta y rastrea la posición y los movimientos de las manos en el aire, permite interactuar con un ordenador sin que las manos del usuario tengan que entrar en contacto con ningún dispositivo.

Desarrollo de un prototipo usando como dispositivo de interacción Leap Motion

Leap Motion [1] es un pequeño dispositivo que se coloca frente al monitor, conectado mediante un cable USB al ordenador, capaz de capturar los movimientos de nuestras manos y dedos con alta precisión, además de algunos objetos como pinceles o bolígrafos. El objetivo principal de este trabajo es evaluar las capacidades de este dispositivo y crear un prototipo que sea capaz de grabar y reconocer gestos para que pueda ser fácilmente integrado a cualquier aplicación. Para ello, el prototipo consta de 2 funciones principales: Grabar un movimiento: en el que recojo los datos que nos ofrece el Leap Motion, los proceso y los guardo en un formato específico. Reconocer un gesto: en el que comparo en cada momento el gesto que se está realizando con los gestos grabados mediante un algoritmo que detectara si son similares o no. Este es un resumen básico del prototipo, sin embargo debemos tener en cuenta una serie de requisitos y parámetros para hacerlo más eficiente y personalizable dependiendo de las necesidades del usuario. ---ABSTRACT---Leap Motion [1] is a small device we place in front of the display unit, connected to a USB cable to the computer. It is able to capture the motion of our hands and fingers with high accuracy, as well as some objects such as pens and brushes. This project's main goal is to evaluate the proficiency of the device, and create a prototype that is able to record and recognize gestures in order for it to be easily integrated into any application. For that, the prototype has 2 main functions: Recording a motion: in which I collect the data offered by the Leap Motion, process it and keep it in a specific format. Recognizing a gesture: in which I compare each time the gesture being made with the gestures recorded using an algorithm to detect whether they are similar or not. This is a basic summary of the prototype, but we need to take into consideration a number of requirements and parameters to make it more efficient and customizable depending on the user's needs.

Study and analysis of the Leap Motion sensor and the Software Development Kit (SDK) for the implementation of visual Human Computer Interfaces

En este proyecto, se presenta un informe técnico sobre la cámara Leap Motion y el Software Development Kit correspondiente, el cual es un dispositivo con una cámara de profundidad orientada a interfaces hombre-máquina. Esto es realizado con el propósito de desarrollar una interfaz hombre-máquina basada en un sistema de reconocimiento de gestos de manos. Después de un exhaustivo estudio de la cámara Leap Motion, se han realizado diversos programas de ejemplo con la intención de verificar las capacidades descritas en el informe técnico, poniendo a prueba la Application Programming Interface y evaluando la precisión de las diferentes medidas obtenidas sobre los datos de la cámara. Finalmente, se desarrolla un prototipo de un sistema de reconocimiento de gestos. Los datos sobre la posición y orientación de la punta de los dedos obtenidos de la Leap Motion son usados para describir un gesto mediante un vector descriptor, el cual es enviado a una Máquina Vectores Soporte, utilizada como clasificador multi-clase.

Uso de Leap Motion en juegos didácticos para niños con necesidades educativas especiales

Este Trabajo de Fin de Grado (TFG) tiene el objetivo incorporar el dispositivo Leap Motion [1] en un juego educativo para niños con necesidades educativas especiales para permitirles aprender de una forma divertida mientras disfrutan con los mini juegos que ofrece nuestra aplicación. Está destinado al apoyo del sistema educativo para los niños con necesidades educativas especiales. Debido al público que tenemos como objetivo debemos de tener en cuenta que hay distintos tipos de usuarios según el tipo de discapacidad que tienen. Entre ellas tenemos discapacidad visual, auditiva, cognitiva y motriz. Tenemos distintos mini juegos para facilitar el aprendizaje de las letras y nuevas palabras, los nombres de colores y diferenciarlos y la asociación de conceptos mediante ejemplos sencillos como son ropa, juguetes y comida. Para hacer que la interacción sea más divertida tenemos distintos tipos de dispositivos de interacción: unos comunes como son el teclado y la pantalla táctil y otros más novedosos como son Kinect [2] y Leap Motion que es el que se introducirá en el desarrollo de este Trabajo de Fin de Grado. El otro objetivo de este proyecto es el estudio de los distintos dispositivos de interacción. Se quiere descubrir qué tipo de sistemas de interacción son más sencillos de aprender, cuáles son más intuitivos para los niños, los que les resultan más interesantes permitiendo captar mejor su atención y sus opuestos, es decir, los que son más difíciles de entender, los más monótonos y los más aburridos para ellos.---ABSTRACT---This Final Degree Project (TFG) aims to incorporate the Leap Motion device [1] in an educational game for children with special educational needs to enable them to learn in a funny way while enjoying the mini games that our application offered. It is intended to support the education system for children with special educational needs. Because the public that we have as objective we must take into account that there are different types of users depending on the type of disability they have. Among them we have visual, auditory, cognitive and motor disabilities. We have different mini games to make easier learning of letters and new words, names and distinguish colors and the association of concepts through simple examples such as clothing, toys and food. To make the interaction more fun we have different interaction devices: common such as the keyboard and the touch screen and other more innovative such as Kinect [2] and Leap Motion which is to be introduced in the development of this Final Degree Work. The other objective of this project is to study the various interaction devices. You want to find out what type of interaction systems are easier to learn, which are more intuitive for children, who are more interesting allowing better capture their attention and their opposites, that is, those that are more difficult to understand, the most monotonous and most boring for them.

Modellazione di mesh tramite operatori booleani

Nella computer grafica, nell’ambito della modellazione geometrica, si fa uso delle operazioni booleane tra solidi per la manipolazione e la creazione di nuovi oggetti. Queste operazioni, quali unione, intersezione e differenza, vengono applicate alle superfici degli oggetti 3D esattamente come si fa su altri insiemi. In questo modo si riescono ad ottenere nuove forme complesse come combinazione delle altre, che sono in genere più semplici. Ciò che è stato realizzato in questo lavoro di tesi si colloca all’interno di un progetto preesistente, realizzato per consentire la manipolazione di modelli tridimensionali mediante l’utilizzo di operatori booleani: Mesh Glue. In questo lavoro, si è estesa la logica dell’applicazione degli operatori booleani, presente in Mesh Glue, per poter gestire anche scenari con mesh che presentano facce in tangenza. Inoltre, si è inserito Mesh Glue all’interno di un progetto più grande: Mesh Craft. Mesh Craft è un progetto che consiste in un ambiente di modellazione che utilizza come sistema di input il Leap Motion Controller, un dispositivo capace di identificare le dita di una mano e seguirne i movimenti con alta precisione.

3D navigation with six degrees-of-freedom using a multi-touch display

With the introduction of new input devices, such as multi-touch surface displays, the Nintendo WiiMote, the Microsoft Kinect, and the Leap Motion sensor, among others, the field of Human-Computer Interaction (HCI) finds itself at an important crossroads that requires solving new challenges. Given the amount of three-dimensional (3D) data available today, 3D navigation plays an important role in 3D User Interfaces (3DUI). This dissertation deals with multi-touch, 3D navigation, and how users can explore 3D virtual worlds using a multi-touch, non-stereo, desktop display. ^ The contributions of this dissertation include a feature-extraction algorithm for multi-touch displays (FETOUCH), a multi-touch and gyroscope interaction technique (GyroTouch), a theoretical model for multi-touch interaction using high-level Petri Nets (PeNTa), an algorithm to resolve ambiguities in the multi-touch gesture classification process (Yield), a proposed technique for navigational experiments (FaNS), a proposed gesture (Hold-and-Roll), and an experiment prototype for 3D navigation (3DNav). The verification experiment for 3DNav was conducted with 30 human-subjects of both genders. The experiment used the 3DNav prototype to present a pseudo-universe, where each user was required to find five objects using the multi-touch display and five objects using a game controller (GamePad). For the multi-touch display, 3DNav used a commercial library called GestureWorks in conjunction with Yield to resolve the ambiguity posed by the multiplicity of gestures reported by the initial classification. The experiment compared both devices. The task completion time with multi-touch was slightly shorter, but the difference was not statistically significant. The design of experiment also included an equation that determined the level of video game console expertise of the subjects, which was used to break down users into two groups: casual users and experienced users. The study found that experienced gamers performed significantly faster with the GamePad than casual users. When looking at the groups separately, casual gamers performed significantly better using the multi-touch display, compared to the GamePad. Additional results are found in this dissertation.^

Leap Aided Modelling (LAM) in Blender

L'evoluzione tecnologica e l'utilizzo crescente della computer grafica in diversi settori stanno suscitando l'interesse di sempre più persone verso il mondo della modellazione 3D. I software di modellazione, tuttavia, si presentano spesso inadeguati all'utilizzo da parte di utenti senza esperienza, soprattutto a causa dei comandi di navigazione e modellazione poco intuitivi. Dal punto di vista dell'interazione uomo-computer, questi software devono infatti affrontare un grande ostacolo: il rapporto tra dispositivi di input 2D (come il mouse) e la manipolazione di una scena 3D. Il progetto presentato in questa tesi è un addon per Blender che consente di utilizzare il dispositivo Leap Motion come ausilio alla modellazione di superfici in computer grafica. L'obiettivo di questa tesi è stato quello di progettare e realizzare un'interfaccia user-friendly tra Leap e Blender, in modo da potere utilizzare i sensori del primo per facilitare ed estendere i comandi di navigazione e modellazione del secondo. L'addon realizzato per Blender implementa il concetto di LAM (Leap Aided Modelling: modellazione assistita da Leap), consentendo quindi di estendere le feature di Blender riguardanti la selezione, lo spostamento e la modifica degli oggetti in scena, la manipolazione della vista utente e la modellazione di curve e superfici Non Uniform Rational B-Splines (NURBS). Queste estensioni sono state create per rendere più veloci e semplici le operazioni altrimenti guidate esclusivamente da mouse e tastiera.

3D Navigation with Six Degrees-of-Freedom using a Multi-Touch Display

With the introduction of new input devices, such as multi-touch surface displays, the Nintendo WiiMote, the Microsoft Kinect, and the Leap Motion sensor, among others, the field of Human-Computer Interaction (HCI) finds itself at an important crossroads that requires solving new challenges. Given the amount of three-dimensional (3D) data available today, 3D navigation plays an important role in 3D User Interfaces (3DUI). This dissertation deals with multi-touch, 3D navigation, and how users can explore 3D virtual worlds using a multi-touch, non-stereo, desktop display. The contributions of this dissertation include a feature-extraction algorithm for multi-touch displays (FETOUCH), a multi-touch and gyroscope interaction technique (GyroTouch), a theoretical model for multi-touch interaction using high-level Petri Nets (PeNTa), an algorithm to resolve ambiguities in the multi-touch gesture classification process (Yield), a proposed technique for navigational experiments (FaNS), a proposed gesture (Hold-and-Roll), and an experiment prototype for 3D navigation (3DNav). The verification experiment for 3DNav was conducted with 30 human-subjects of both genders. The experiment used the 3DNav prototype to present a pseudo-universe, where each user was required to find five objects using the multi-touch display and five objects using a game controller (GamePad). For the multi-touch display, 3DNav used a commercial library called GestureWorks in conjunction with Yield to resolve the ambiguity posed by the multiplicity of gestures reported by the initial classification. The experiment compared both devices. The task completion time with multi-touch was slightly shorter, but the difference was not statistically significant. The design of experiment also included an equation that determined the level of video game console expertise of the subjects, which was used to break down users into two groups: casual users and experienced users. The study found that experienced gamers performed significantly faster with the GamePad than casual users. When looking at the groups separately, casual gamers performed significantly better using the multi-touch display, compared to the GamePad. Additional results are found in this dissertation.

A survey of control allocation methods for underwater vehicles

A control allocation system implements a function that maps the desired control forces generated by the vehicle motion controller into the commands of the different actuators. In this article, a survey of control allocation methods for over-actuated underwater vehicles is presented. The methods are applicable for both surface vessels and underwater vehicles. The paper presents a survey of control allocation methods with focus on mathematical representation and solvability of thruster allocation problems. The paper is useful for university students and engineers who want to get an overview of state-of-the art control allocation methods as well as advance methods to solve more complex problems.

Anti-wind-up designs for dynamic positioning of marine vehicles with control allocation

This paper presents a framework for the design of a joint motion controller and a control allocation strategy for dynamic positioning of marine vehicles. The key aspects of the proposed designs are a systematic approach to deal with actuator saturation and to inform the motion controller about saturation. The proposed system uses a mapping that translates the actuator constraint sets into constraint sets at the motion controller level. Hence, while the motion controller addresses the constraints, the control allocation algorithm can solve an unconstrained optimisation problem. The constrained control design is approached using a multivariable anti-wind-up strategy for strictly proper controllers. This is applicable to the implementation of PI and PID type of motion controllers.

研磨抛光机器人运动控制器设计与研究

本文设计了研磨抛光机器人运动控制器的核心硬件结构和软件模块,采用了参数模糊自整定PID机器人关节位置控制策略,通过实验表明该运动控制器可以大大降低研磨抛光机器人的位置跟踪误差。建立的模块化的软件体系,便于运动控制器的维护和扩展,并可将其应用到其它工业机器人上。

基于ARM的研磨抛光机器人运动控制器的设计

本文设计了研磨抛光机器人分布式控制系统中的一种运动控制器,并对运动控制器基于AT91M40800微控制器的硬件结构、基于μC/OS-Ⅱ实时操作系统的软件模块和采用的参数模糊自整定PID机器人关节位置控制策略进行了详细介绍。实验表明该控制器可以大大降低研磨抛光机器人的位置跟踪误差。提高了关节控制的计算及处理能力,易于扩展和维护。

基于MCX314as的运动控制器设计

文章介绍了用C8051F120单片机和MCX314as组成运动控制器的方案。该方案应用存储器扩展的方法为运动控制芯片MCX314as和液晶显示模块MT22G06B的内部寄存器分配地址空间,从而实现C8051F120单片机对运动控制芯片和液晶模块的控制作用。文章还给出了MCX314和MT22G06B的驱动程序架构。

新型托辊切管机控制系统设计

文章介绍了一种新型托辊切管机控制系统的设计,对该系统的硬件组态及控制功能作了主要描述。该机床是托辊自动化加工装配线上的一台机电一体化自动加工设备,其主要功能是对托辊装配所需原料管进行定尺切断,并在整个加工过程中自动上下料。整个机床控制系统主要由SIEMENS Simotion D运动控制系统、触摸屏TP177B、远程输入输出模块ET200M等组成。

Il senso di presenza nelle realtà virtuali vissute tramite HMD: l'interazione e le interfacce

Grazie alla crescente evoluzione tecnologica è oggi possibile, tramite Head Mounted Display (HMD), vivere una realtà virtuale ricca nei dettagli, interattiva ed immersiva. L’avanzamento in questo settore ha infatti portato a una vera e propria rivoluzione, aprendo la possibilità di utilizzare questa tecnologia in molteplici ambiti. L’ostacolo riscontrato è che a un progresso di tale entità non si associa un adeguato aggiornamento e perfezionamento riguardo alle metodologie di interazione con oggetti 3D, dell’utilizzo di interfacce grafiche e del generale design ambientale. La diretta conseguenza di questo mancato aggiornamento è quella di indebolire o addirittura annullare l’effetto presenza dell'HMD, requisito indispensabile che consente all’utente di immergersi sensorialmente nel contesto simulato. L’obiettivo di questo studio consiste nel comprendere cosa è necessario tenere in considerazione e quali regole vanno cambiate per poter mantenere un'alta sensazione di presenza per l'utente all’interno di una realtà virtuale. A questo scopo è stato creato un ambiente virtuale 3D in grado di supportare l'utilizzo di un HMD, l'Oculus Rift, e di diversi dispositivi di input in grado di consentire controllo tramite movimenti naturali, il Razer Hydra ed il Leap Motion, in modo da poter effettuare un'analisi diretta sul livello del fattore presenza percepito nell'effettuare diverse interazioni con l'ambiente virtuale e le interfacce grafiche attraverso questi dispositivi. Questa analisi ha portato all'individuazione di molteplici aspetti in queste tipologie di interazioni e di design di intrefacce utente che, pur essendo di uso comune negli ambienti 3D contemporanei, se vissuti in un contesto di realtà virtuale non risultano più funzionali e indeboliscono il senso di presenza percepito dall'utente. Per ognuno di questi aspetti è stata proposta ed implementata una soluzione alternativa (basata su concetti teorici quali Natural Mapping, Diegesis, Affordance, Flow) in grado di risultare funzionale anche in un contesto di realtà virtuale e di garantire una forte sensazione di presenza all'utente. Il risultato finale di questo studio sono quindi nuovi metodi di design di ambienti virtuali per realtà aumentata. Questi metodi hanno permesso la creazione di un ambiente virtuale 3D pensato per essere vissuto tramite HMD dove l'utente è in grado di utilizzare movimenti naturali per interagire con oggetti 3D ed operare interfacce grafiche.