Uso de Leap Motion en juegos didácticos para niños con necesidades educativas especiales

Este Trabajo de Fin de Grado (TFG) tiene el objetivo incorporar el dispositivo Leap Motion [1] en un juego educativo para niños con necesidades educativas especiales para permitirles aprender de una forma divertida mientras disfrutan con los mini juegos que ofrece nuestra aplicación. Está destinado al apoyo del sistema educativo para los niños con necesidades educativas especiales. Debido al público que tenemos como objetivo debemos de tener en cuenta que hay distintos tipos de usuarios según el tipo de discapacidad que tienen. Entre ellas tenemos discapacidad visual, auditiva, cognitiva y motriz. Tenemos distintos mini juegos para facilitar el aprendizaje de las letras y nuevas palabras, los nombres de colores y diferenciarlos y la asociación de conceptos mediante ejemplos sencillos como son ropa, juguetes y comida. Para hacer que la interacción sea más divertida tenemos distintos tipos de dispositivos de interacción: unos comunes como son el teclado y la pantalla táctil y otros más novedosos como son Kinect [2] y Leap Motion que es el que se introducirá en el desarrollo de este Trabajo de Fin de Grado. El otro objetivo de este proyecto es el estudio de los distintos dispositivos de interacción. Se quiere descubrir qué tipo de sistemas de interacción son más sencillos de aprender, cuáles son más intuitivos para los niños, los que les resultan más interesantes permitiendo captar mejor su atención y sus opuestos, es decir, los que son más difíciles de entender, los más monótonos y los más aburridos para ellos.---ABSTRACT---This Final Degree Project (TFG) aims to incorporate the Leap Motion device [1] in an educational game for children with special educational needs to enable them to learn in a funny way while enjoying the mini games that our application offered. It is intended to support the education system for children with special educational needs. Because the public that we have as objective we must take into account that there are different types of users depending on the type of disability they have. Among them we have visual, auditory, cognitive and motor disabilities. We have different mini games to make easier learning of letters and new words, names and distinguish colors and the association of concepts through simple examples such as clothing, toys and food. To make the interaction more fun we have different interaction devices: common such as the keyboard and the touch screen and other more innovative such as Kinect [2] and Leap Motion which is to be introduced in the development of this Final Degree Work. The other objective of this project is to study the various interaction devices. You want to find out what type of interaction systems are easier to learn, which are more intuitive for children, who are more interesting allowing better capture their attention and their opposites, that is, those that are more difficult to understand, the most monotonous and most boring for them.

Evaluación de nuevos dispositivos en la interacción de niños con necesidades específicas de apoyo educativo

Durante la realización de este trabajo de fin de grado se realizará el diseño y desarrollo de un juego orientado a niños con necesidades específicas de apoyo educativo. Este grupo de usuarios repercute en el diseño de los elementos del juego los cuales han de ser simples, sin distracciones, textos de ayuda claros y bien definidos, alto contraste en los elementos, ayuda textual y visual, selección de colores evitando referencias conocidas (rojo como referencia a peligro); y una serie de patrones más, que se han tenido que tener en cuenta. El juego es compatible con distintos dispositivos (teclado, pantalla táctil y Kinect), por lo que, como parte del análisis previo, se ha tenido que ver el trabajo realizado anteriormente referente a estos dispositivos (un reconocedor de gestos de pantalla táctil y un reconocedor de gestos de Kinect), que realizaron otros alumnos. En este sentido y como parte de este y otros proyectos, se han tenido que mejorar o complementar las implementaciones de estos reconocedores. Además se han tenido que definir los distintos gestos o teclas, que producirán respuestas en el juego. Como parte de la interacción de los usuarios con el juego mediante los distintos dispositivos, el juego se ha diseñado de tal forma, que es capaz de capturar ciertos datos de forma automática (precisión al realizar un gesto en pantalla, realización de un gesto incorrecto, etc.). Además como soporte adicional a la obtención de datos con el juego, se han planteado distintos formularios (según el dispositivo), los cuales aportan información que el juego no es capaz de recoger de forma automática, y que serán capturados por el pedagogo. Toda esta información recogida será parte de un modelo de datos el cual, en un futuro, servirá para analizar el comportamiento de este grupo de usuarios frente a los distintos dispositivos analizados. Viendo sus ventajas y desventajas tanto en tiempo de respuesta, curva de aprendizaje, dificultad de realización de los gestos, etc.---ABSTRACT---This thesis project will showcase the design and development of a game oriented towards children with special educational needs. This group impacts the design of the game elements, which have to be simple and avoid distractions. There must be clear and well defined help text, high contrast in the elements, text and visual help, color selection that avoids known references (red as a reference to danger), and more series of patterns. The game is compatible with various devices (keyboard, touchscreen and Kinect), by which, as part of the preliminary analysis, the work previously conducted by other students concerning these devices was researched (a touch screen gesture recognizer and a Kinect gesture recognizer). In this regard, and as part of this and other projects, the use of these recognizers must be improved or complemented. In addition the different gestures or keys that will produce answers in the game must be defined. As part of the users’ interaction with the game through the various devices, the game is designed in such a way that it is able to capture certain data automatically (precision making a gesture to the screen, making an improper gesture, etc.). Also as additional support to obtain data with the game, different forms were used (depending on the device), which provide information that the game is not able to pick up automatically, and that will be caught by the teacher. The information collected will be part of a data model which, in the future, will serve to analyze the behavior of this user group with the various devices analyzed. Seeing their advantages and disadvantages both in response time, learning curve and difficulty of making gestures, etc.

Desarrollo de un sistema automático de detección de disgrafías en niños de 4 a 5 años

La escritura es una actividad psicomotora muy importante en el desarrollo infantil. Tanto es así que su correcto aprendizaje condicionará el futuro de una persona, pues estará presente en todo tipo de situaciones cotidianas. La disgrafía es el término utilizado para referirse a los problemas relacionados con la escritura, y se manifiesta cuando la escritura de un determinado sujeto es ilegible o lenta como resultado de un aprendizaje fallido de los procesos motores de la escritura. Estos problemas intentan resolverse durante el desarrollo infantil mediante diferentes pruebas que miden las capacidades visomotoras de los niños basándose en criterios de forma (número y posición correcta de trazos). Sin embargo, a lo largo de los años estos criterios han demostrado no ser totalmente precisos en la detección prematura de posibles casos de disgrafía. Por ello, en este proyecto se ha desarrollado una aplicación que ayuda a ampliar la fiabilidad de los test actuales, utilizando un criterio cinemático. Esta aplicación, desarrollada para una tableta Android, muestra al niño una serie de figuras que él debe copiar en la tableta haciendo uso de un lápiz óptico. Los trazos registrados por la aplicación son analizados para valorar aspectos como la fluidez, continuidad y regularidad, ampliando así la fiabilidad de los test actuales, lo que permite desechar falsos positivos y detectar irregularidades que antes no podían ser detectadas. La aplicación desarrollada ha sido validada con un total de ocho niños de cuatro años y siete meses de media de edad, confirmando que cumple con las expectativas planteadas. ABSTRACT. Writing is a very important psychomotor activity in child development because it will be present in all kinds of everyday situations; therefore its proper learning will determine the future of the individual. Dysgraphia is the term used to refer to the problems related to writing, and it takes place when a particular person’s writing is unreadable or slow-moving as a result of a failed learning of writing motor processes. These problems are usually detected by different tests that measure children’s visual motor abilities based on shape criteria (correct number and position of strikes). However, over the years these criteria haven’t proved to be completely accurate in the early detection of possible cases of dysgraphia. Therefore, in this project is presented an application that extends the reliability of current test, using a kinematic approach. This application, developed for an Android tablet, displays a series of figures that the child must copy to the tablet by using a stylus. Strokes recorded by the application are then analyzed to assess aspects such as fluidity, continuity and regularity, expanding the reliability of the current test, discarding false positives created by the conventional criteria and detecting irregularities that previously could not be detected. The developed application has been validated with a total of eight children about four years and seven months in average age, confirming that the application fulfills the initial expectations.