Study and analysis of the Leap Motion sensor and the Software Development Kit (SDK) for the implementation of visual Human Computer Interfaces

En este proyecto, se presenta un informe técnico sobre la cámara Leap Motion y el Software Development Kit correspondiente, el cual es un dispositivo con una cámara de profundidad orientada a interfaces hombre-máquina. Esto es realizado con el propósito de desarrollar una interfaz hombre-máquina basada en un sistema de reconocimiento de gestos de manos. Después de un exhaustivo estudio de la cámara Leap Motion, se han realizado diversos programas de ejemplo con la intención de verificar las capacidades descritas en el informe técnico, poniendo a prueba la Application Programming Interface y evaluando la precisión de las diferentes medidas obtenidas sobre los datos de la cámara. Finalmente, se desarrolla un prototipo de un sistema de reconocimiento de gestos. Los datos sobre la posición y orientación de la punta de los dedos obtenidos de la Leap Motion son usados para describir un gesto mediante un vector descriptor, el cual es enviado a una Máquina Vectores Soporte, utilizada como clasificador multi-clase.

Generador de interfaces de usuario como periódicos gráficos interactivos

El proyecto se encuadra en el ámbito de la generación automática de interfaces de usuario, orientados a entornos web y con contenido multimedia, por otro lado dicha generación de interfaces, encaja en la disciplina de simulación del periodismo de datos, concretamente en el área de presentación y difusión. Sobre la generación automática de interfaces de usuario, en este proyecto se considera un tipo de interfaz de usuario a modo de periódico virtual, que permita al usuario visualizar de forma clara la información de diferentes noticias y permita la interacción entre los diferentes elementos de dicha presentación. Dicho interfaz de usuario se diseña usando la metáfora periodística, es decir, con un esquema de organización similar al del periódico clásico, para así facilitar la comprensión de las noticias, gracias a un interfaz sencillo y claro. OBJETIVOS El objetivo principal de este proyecto consiste en dar solución a la problemática de generar presentaciones multimedia de manera automática. Dichas presentaciones deben mostrar de una manera clara y sencilla la información a partir de planes de presentación de noticias y un sistema de base de datos. Para dicho fin se pretende desarrollar una herramienta, que genere presentaciones, a modo de periódico virtual. Las presentaciones de las noticias permiten al usuario interactuar de manera directa con los diferentes elementos de la presentación, ya sean texto, imágenes, animaciones, gráficos, mapas, etc. lo que facilita la comprensión de la información que se quiere ofrecer al usuario. De manera más detallada se presentan los objetivos concretos para el desarrollo del presente proyecto fin de carrera: • Análisis del problema. Se realiza un estudio de la problemática que se pretende solucionar con el sistema. Se revisan las técnicas y estado de la técnica en el campo Generador de interfaces de usuario como periódicos gráficos interactivos 4 de la generación automática de interfaces de usuario y su adaptación para ofrecer la difusión de la información a través de internet mediante aplicaciones web. Se identifica y estudia el contexto del sistema, el cual se orienta a la simulación del periodismo de datos. • Diseño del sistema. Se pretende diseñar un sistema informático completo, desde la capa de datos hasta la capa de presentación, que cumpla con los objetivos o requisitos propuestos. El diseño es general dado que un objetivo es permitir que el sistema pueda operar en dominios de naturaleza variada. • Implementación. Se aborda la fase de implementación con el objetivo de realizar un código modular, que sea fácil de mantener y aumentar, ya que esta herramienta pretende ofrecer servicio a diferentes sistemas de dominios variados y por lo tanto pueden surgir nuevas necesidades según el ámbito donde opere. Otro objetivo en esta parte del desarrollo, es que el sistema sea eficiente y capaz de manejar grandes volúmenes de datos así como realizar una adecuada generación automática de la presentación multimedia con texto y gráficos. • Validación. Para verificar el buen funcionamiento del sistema se desarrollan pruebas específicas que prueban las funcionalidades del sistema de manera unitaria. Para probar la generalidad del sistema se plantean diversos ejemplos de noticias en diferentes escenarios o dominios de datos, lo que nos permite comprobar la versatilidad del sistema. Para probar la robustez y solidez del sistema se pretende introducir este generador de interfaces de usuario dentro de un sistema generador automático de noticias de información hidrológica en tiempo real. El sistema generador de interfaces de usuario debe recoger cada plan de noticia, realizar automáticamente la presentación de cada noticia y organizar toda la colección de dichas noticias en un periódico virtual adaptado a las noticias que va a presentar. ORGANIZACIÓN DE LA MEMORIA La memoria se estructura de la siguiente manera; en primer lugar se presenta el estado de la técnica, con los avances y últimos desarrollos en la temática de la generación automática de interfaces de usuario, las aplicaciones web como solución de interfaz de usuario y de difusión a través de internet y los avances en simulación de periodismo dirigido por datos. Seguidamente se presenta la descripción del software, con una explicación de las diferentes fases del proceso de desarrollo software, como análisis, diseño e implementación, así como la ubicación que ocupa este sistema en un sistema de simulación de periodismo de datos. En esta parte se muestran los detalles concretos a tecnologías, lenguajes y bibliotecas utilizadas. En el siguiente capítulo se trata la validación del producto, se detallan las características del sistema automático de información hidrológica (SAIH), con el cual se ha podido probar completamente el sistema de generación automática de interfaces de usuario. Seguidamente se detallan las conclusiones a las que se ha llegado después de la realización de este proyecto, haciendo un repaso de los objetivos planteados así como las líneas futuras sobre estas técnicas. Por último se adjunta el manual de usuario de la herramienta y una colección de ejemplos mostrando las entradas y salidas procesadas por el software.

Desarrollo de herramienta software para el estudio del complejo QRS en las señales de ECG

Las enfermedades cardíacas son un problema grave y en aumento en la sociedad actual. El estudio automático del complejo QRS es fundamental en el diagnóstico de enfermedades cardíacas. Para ayudar al diagnóstico se propone una herramienta software que analiza el complejo QRS en señales de electrocardiograma. Los pasos a seguir para diseñar dicha herramienta serán: - Estudio de los diferentes métodos de detección del complejo QRS. - Propuesta de una herramienta de detección del complejo QRS en un electrocardiograma. - Diseño de un paquete software que realice diferentes estudios del complejo QRS con sus "interfaces" gráficas para facilitar la aplicación de la herramienta propuesta a nivel usuario.

Performance assessment of an architecture with adaptative interfaces for people with special needs

People in industrial societies carry more and more portable electronic devices (e.g., smartphone or console) with some kind of wireles connectivity support. Interaction with auto-discovered target devices present in the environment (e.g., the air conditioning of a hotel) is not so easy since devices may provide inaccessible user interfaces (e.g., in a foreign language that the user cannot understand). Scalability for multiple concurrent users and response times are still problems in this domain. In this paper, we assess an interoperable architecture, which enables interaction between people with some kind of special need and their environment. The assessment, based on performance patterns and antipatterns, tries to detect performance issues and also tries to enhance the architecture design for improving system performance. As a result of the assessment, the initial design changed substantially. We refactorized the design according to the Fast Path pattern and The Ramp antipattern. Moreover, resources were correctly allocated. Finally, the required response time was fulfilled in all system scenarios. For a specific scenario, response time was reduced from 60 seconds to less than 6 seconds.

Diseño de una estrategia para la definición de proyectos a partir de la vigilancia tecnológica: aplicación a las interfaces naturales

A la hora de afrontar un proyecto de investigación, no basta con una vigilancia tradicional del entorno. Ya que debido a lo cambiante del mundo, a la globalización, a lo rápido que se desarrollan nuevas tecnologías y productos es preciso realizar un proceso sistemático que permita a las organizaciones o empresas anticiparse a los cambios tecnológicos. En este contexto, el diseño de metodologías basadas en la Vigilancia Tecnológica (VT) permite gestionar la actividad innovadora de organizaciones o empresas facilitando el proceso de generación de ideas para el desarrollo de productos o servicios. Es por ello que en este Proyecto de Fin de Grado se ha diseñado una estrategia para aplicar metodologías de Vigilancia Tecnológica aplicadas a un proyecto de I+D que estudia las Interfaces Naturales de Usuario (NUI). Para ello se ha partido de la metodología de trabajo basada en el proceso de Vigilancia Tecnológica e Inteligencia Competitiva del proyecto CETISME, identificando claramente cada una de las fases que lo componen: identificación de objetivos, selección de las fuentes de información, búsqueda y almacenamiento de la información, análisis de la información y por último validación de la información que concluye con la creación de informes de Vigilancia Tecnológica. Por lo tanto, para cada una de las fases que componen lo que comúnmente se llama el ciclo de la vigilancia, se ha explicado en primer lugar en qué consisten, que estrategias a seguir son las más adecuadas así como la manera de llevarlas a cabo, y por último, si fuera necesario, qué herramientas (desde bases de datos a software) son necesarias o son de utilidad para llevar a cabo el proceso y optimizarlo. De esta manera, como se verá a lo largo de este documento, la aplicación de dicha metodología permitirá a las organizaciones o empresas obtener situaciones ventajosas a la hora de innovar, captar oportunidades o detectar amenazas, identificar competidores o alianzas potenciales, entre otros. ABSTRACT. When taking over a research project, a traditional surveillance of the environment is not enough. Mainly due to the changing the world, to the globalization, to how fast new technologies and products are developed, is necessary to make a systematic process that enables organizations or companies anticipate to technological changes. In this context, the design of methodologies based on the Technology Watch (TW) allows managing the innovative activity of organizations or companies facilitating the process of generating ideas for products or services development. For this reason, in this Thesis a strategy for applying Technological Watch methodologies applied to a R&D project studying Natural User Interfaces (NUI) has been designed. To achieve this goal, the starting point was the CETISME project methodologies, which are based on the Technology Watch and the Competitive Intelligence process, clearly identifying each of the phases that compose it: identification of objectives, selection of the information sources, storage, search and analysis of the information, and finally validating the information that concludes with the creation of Technological Watch reports. Therefore, for each of the phases composing what is commonly known as the monitoring cycle, it has been explained in first place what they consist of, what strategies are more adequate as well as how they should be implemented, and finally, if necessary, what tools (from databases to software) are needed or are useful for managing the process and optimize it. Thus, as discussed throughout this document, the application of said methodology will allow organizations or companies to obtain advantageous situations when it comes to innovate, catch opportunities or detect threats, to identify competitors or potential alliances, among others.

Brain-Computer Interfaces: Desarrollo de un sistema de identificación de estados mentales alfa

En el mundo actual las aplicaciones basadas en sistemas biométricos, es decir, aquellas que miden las señales eléctricas de nuestro organismo, están creciendo a un gran ritmo. Todos estos sistemas incorporan sensores biomédicos, que ayudan a los usuarios a controlar mejor diferentes aspectos de la rutina diaria, como podría ser llevar un seguimiento detallado de una rutina deportiva, o de la calidad de los alimentos que ingerimos. Entre estos sistemas biométricos, los que se basan en la interpretación de las señales cerebrales, mediante ensayos de electroencefalografía o EEG están cogiendo cada vez más fuerza para el futuro, aunque están todavía en una situación bastante incipiente, debido a la elevada complejidad del cerebro humano, muy desconocido para los científicos hasta el siglo XXI. Por estas razones, los dispositivos que utilizan la interfaz cerebro-máquina, también conocida como BCI (Brain Computer Interface), están cogiendo cada vez más popularidad. El funcionamiento de un sistema BCI consiste en la captación de las ondas cerebrales de un sujeto para después procesarlas e intentar obtener una representación de una acción o de un pensamiento del individuo. Estos pensamientos, correctamente interpretados, son posteriormente usados para llevar a cabo una acción. Ejemplos de aplicación de sistemas BCI podrían ser mover el motor de una silla de ruedas eléctrica cuando el sujeto realice, por ejemplo, la acción de cerrar un puño, o abrir la cerradura de tu propia casa usando un patrón cerebral propio. Los sistemas de procesamiento de datos están evolucionando muy rápido con el paso del tiempo. Los principales motivos son la alta velocidad de procesamiento y el bajo consumo energético de las FPGAs (Field Programmable Gate Array). Además, las FPGAs cuentan con una arquitectura reconfigurable, lo que las hace más versátiles y potentes que otras unidades de procesamiento como las CPUs o las GPUs.En el CEI (Centro de Electrónica Industrial), donde se lleva a cabo este TFG, se dispone de experiencia en el diseño de sistemas reconfigurables en FPGAs. Este TFG es el segundo de una línea de proyectos en la cual se busca obtener un sistema capaz de procesar correctamente señales cerebrales, para llegar a un patrón común que nos permita actuar en consecuencia. Más concretamente, se busca detectar cuando una persona está quedándose dormida a través de la captación de unas ondas cerebrales, conocidas como ondas alfa, cuya frecuencia está acotada entre los 8 y los 13 Hz. Estas ondas, que aparecen cuando cerramos los ojos y dejamos la mente en blanco, representan un estado de relajación mental. Por tanto, este proyecto comienza como inicio de un sistema global de BCI, el cual servirá como primera toma de contacto con el procesamiento de las ondas cerebrales, para el posterior uso de hardware reconfigurable sobre el cual se implementarán los algoritmos evolutivos. Por ello se vuelve necesario desarrollar un sistema de procesamiento de datos en una FPGA. Estos datos se procesan siguiendo la metodología de procesamiento digital de señales, y en este caso se realiza un análisis de la frecuencia utilizando la transformada rápida de Fourier, o FFT. Una vez desarrollado el sistema de procesamiento de los datos, se integra con otro sistema que se encarga de captar los datos recogidos por un ADC (Analog to Digital Converter), conocido como ADS1299. Este ADC está especialmente diseñado para captar potenciales del cerebro humano. De esta forma, el sistema final capta los datos mediante el ADS1299, y los envía a la FPGA que se encarga de procesarlos. La interpretación es realizada por los usuarios que analizan posteriormente los datos procesados. Para el desarrollo del sistema de procesamiento de los datos, se dispone primariamente de dos plataformas de estudio, a partir de las cuales se captarán los datos para después realizar el procesamiento: 1. La primera consiste en una herramienta comercial desarrollada y distribuida por OpenBCI, proyecto que se dedica a la venta de hardware para la realización de EEG, así como otros ensayos. Esta herramienta está formada por un microprocesador, un módulo de memoria SD para el almacenamiento de datos, y un módulo de comunicación inalámbrica que transmite los datos por Bluetooth. Además cuenta con el mencionado ADC ADS1299. Esta plataforma ofrece una interfaz gráfica que sirve para realizar la investigación previa al diseño del sistema de procesamiento, al permitir tener una primera toma de contacto con el sistema. 2. La segunda plataforma consiste en un kit de evaluación para el ADS1299, desde la cual se pueden acceder a los diferentes puertos de control a través de los pines de comunicación del ADC. Esta plataforma se conectará con la FPGA en el sistema integrado. Para entender cómo funcionan las ondas más simples del cerebro, así como saber cuáles son los requisitos mínimos en el análisis de ondas EEG se realizaron diferentes consultas con el Dr Ceferino Maestu, neurofisiólogo del Centro de Tecnología Biomédica (CTB) de la UPM. Él se encargó de introducirnos en los distintos procedimientos en el análisis de ondas en electroencefalogramas, así como la forma en que se deben de colocar los electrodos en el cráneo. Para terminar con la investigación previa, se realiza en MATLAB un primer modelo de procesamiento de los datos. Una característica muy importante de las ondas cerebrales es la aleatoriedad de las mismas, de forma que el análisis en el dominio del tiempo se vuelve muy complejo. Por ello, el paso más importante en el procesamiento de los datos es el paso del dominio temporal al dominio de la frecuencia, mediante la aplicación de la transformada rápida de Fourier o FFT (Fast Fourier Transform), donde se pueden analizar con mayor precisión los datos recogidos. El modelo desarrollado en MATLAB se utiliza para obtener los primeros resultados del sistema de procesamiento, el cual sigue los siguientes pasos. 1. Se captan los datos desde los electrodos y se escriben en una tabla de datos. 2. Se leen los datos de la tabla. 3. Se elige el tamaño temporal de la muestra a procesar. 4. Se aplica una ventana para evitar las discontinuidades al principio y al final del bloque analizado. 5. Se completa la muestra a convertir con con zero-padding en el dominio del tiempo. 6. Se aplica la FFT al bloque analizado con ventana y zero-padding. 7. Los resultados se llevan a una gráfica para ser analizados. Llegados a este punto, se observa que la captación de ondas alfas resulta muy viable. Aunque es cierto que se presentan ciertos problemas a la hora de interpretar los datos debido a la baja resolución temporal de la plataforma de OpenBCI, este es un problema que se soluciona en el modelo desarrollado, al permitir el kit de evaluación (sistema de captación de datos) actuar sobre la velocidad de captación de los datos, es decir la frecuencia de muestreo, lo que afectará directamente a esta precisión. Una vez llevado a cabo el primer procesamiento y su posterior análisis de los resultados obtenidos, se procede a realizar un modelo en Hardware que siga los mismos pasos que el desarrollado en MATLAB, en la medida que esto sea útil y viable. Para ello se utiliza el programa XPS (Xilinx Platform Studio) contenido en la herramienta EDK (Embedded Development Kit), que nos permite diseñar un sistema embebido. Este sistema cuenta con: Un microprocesador de tipo soft-core llamado MicroBlaze, que se encarga de gestionar y controlar todo el sistema; Un bloque FFT que se encarga de realizar la transformada rápida Fourier; Cuatro bloques de memoria BRAM, donde se almacenan los datos de entrada y salida del bloque FFT y un multiplicador para aplicar la ventana a los datos de entrada al bloque FFT; Un bus PLB, que consiste en un bus de control que se encarga de comunicar el MicroBlaze con los diferentes elementos del sistema. Tras el diseño Hardware se procede al diseño Software utilizando la herramienta SDK(Software Development Kit).También en esta etapa se integra el sistema de captación de datos, el cual se controla mayoritariamente desde el MicroBlaze. Por tanto, desde este entorno se programa el MicroBlaze para gestionar el Hardware que se ha generado. A través del Software se gestiona la comunicación entre ambos sistemas, el de captación y el de procesamiento de los datos. También se realiza la carga de los datos de la ventana a aplicar en la memoria correspondiente. En las primeras etapas de desarrollo del sistema, se comienza con el testeo del bloque FFT, para poder comprobar el funcionamiento del mismo en Hardware. Para este primer ensayo, se carga en la BRAM los datos de entrada al bloque FFT y en otra BRAM los datos de la ventana aplicada. Los datos procesados saldrán a dos BRAM, una para almacenar los valores reales de la transformada y otra para los imaginarios. Tras comprobar el correcto funcionamiento del bloque FFT, se integra junto al sistema de adquisición de datos. Posteriormente se procede a realizar un ensayo de EEG real, para captar ondas alfa. Por otro lado, y para validar el uso de las FPGAs como unidades ideales de procesamiento, se realiza una medición del tiempo que tarda el bloque FFT en realizar la transformada. Este tiempo se compara con el tiempo que tarda MATLAB en realizar la misma transformada a los mismos datos. Esto significa que el sistema desarrollado en Hardware realiza la transformada rápida de Fourier 27 veces más rápido que lo que tarda MATLAB, por lo que se puede ver aquí la gran ventaja competitiva del Hardware en lo que a tiempos de ejecución se refiere. En lo que al aspecto didáctico se refiere, este TFG engloba diferentes campos. En el campo de la electrónica:  Se han mejorado los conocimientos en MATLAB, así como diferentes herramientas que ofrece como FDATool (Filter Design Analysis Tool).  Se han adquirido conocimientos de técnicas de procesado de señal, y en particular, de análisis espectral.  Se han mejorado los conocimientos en VHDL, así como su uso en el entorno ISE de Xilinx.  Se han reforzado los conocimientos en C mediante la programación del MicroBlaze para el control del sistema.  Se ha aprendido a crear sistemas embebidos usando el entorno de desarrollo de Xilinx usando la herramienta EDK (Embedded Development Kit). En el campo de la neurología, se ha aprendido a realizar ensayos EEG, así como a analizar e interpretar los resultados mostrados en el mismo. En cuanto al impacto social, los sistemas BCI afectan a muchos sectores, donde destaca el volumen de personas con discapacidades físicas, para los cuales, este sistema implica una oportunidad de aumentar su autonomía en el día a día. También otro sector importante es el sector de la investigación médica, donde los sistemas BCIs son aplicables en muchas aplicaciones como, por ejemplo, la detección y estudio de enfermedades cognitivas.