Sobre la descripción visual automática del ser humano para aplicaciones de interacción hombre-máquina

Programa de doctorado: Sistemas Inteligente y Aplicaciones Numéricas en Ingeniería

Paradigmas de interacción hombre-máquina : un análisis enfocado al ámbito de la educación especial

Este trabajo se enmarca en el área de interacción hombre-máquina y los diferentes paradigmas que existe actualmente. Serevisan antecedentes y posibilidades vinculadas a la educación especial. Comocaso de estudio, se presenta una propuesta de adaptación al software educativo JClic, mediante la utilización de comandos por voz, con el objetivo de ser utilizado por usuarios/alumnos con deficiencia motriz sin consecuencias o con consecuencias leves en el desarrollo del lenguaje. Como parte de esta propuesta de adaptación, se estudiaron diferentes motores de reconocimiento de voz (RV), y se profundizó el análisis del motor de RV Sphinx-4. Se presenta aquí parte de este trabajo realizado y los resultados y conclusiones obtenidas, luego de la evaluación del prototipo.

Desarrollo de tecnologías de telemanipulación con alto grado de escalado orientadas a la interacción hombre-robot en entornos nucleares

Esta tesis se centra en desarrollo de tecnologías para la interacción hombre-robot en entornos nucleares de fusión. La problemática principal del sector de fusión nuclear radica en las condiciones ambientales tan extremas que hay en el interior del reactor, y la necesidad de que los equipos cumplan requisitos muy restrictivos para poder aguantar esos niveles de radiación, magnetismo, ultravacío, temperatura... Como no es viable la ejecución de tareas directamente por parte de humanos, habrá que utilizar dispositivos de manipulación remota para llevar a cabo los procesos de operación y mantenimiento. En las instalaciones de ITER es obligatorio tener un entorno controlado de extrema seguridad, que necesita de estándares validados. La definición y uso de protocolos es indispensable para regir su buen funcionamiento. Si nos centramos en la telemanipulación con algo grado de escalado, surge la necesidad de definir protocolos para sistemas abiertos que permitan la interacción entre equipos y dispositivos de diversa índole. En este contexto se plantea la definición del Protocolo de Teleoperación que permita la interconexión entre dispositivos maestros y esclavos de distinta tipología, pudiéndose comunicar bilateralmente entre sí y utilizar distintos algoritmos de control según la tarea a desempeñar. Este protocolo y su interconectividad se han puesto a prueba en la Plataforma Abierta de Teleoperación (P.A.T.) que se ha desarrollado e integrado en la ETSII UPM como una herramienta que permita probar, validar y realizar experimentos de telerrobótica. Actualmente, este Protocolo de Teleoperación se ha propuesto a través de AENOR al grupo ISO de Telerobotics como una solución válida al problema existente y se encuentra bajo revisión. Con el diseño de dicho protocolo se ha conseguido enlazar maestro y esclavo, sin embargo con los niveles de radiación tan altos que hay en ITER la electrónica del controlador no puede entrar dentro del tokamak. Por ello se propone que a través de una mínima electrónica convenientemente protegida se puedan multiplexar las señales de control que van a través del cableado umbilical desde el controlador hasta la base del robot. En este ejercicio teórico se demuestra la utilidad y viabilidad de utilizar este tipo de solución para reducir el volumen y peso del cableado umbilical en cifras aproximadas de un 90%, para ello hay que desarrollar una electrónica específica y con certificación RadHard para soportar los enormes niveles de radiación de ITER. Para este manipulador de tipo genérico y con ayuda de la Plataforma Abierta de Teleoperación, se ha desarrollado un algoritmo que mediante un sensor de fuerza/par y una IMU colocados en la muñeca del robot, y convenientemente protegidos ante la radiación, permiten calcular las fuerzas e inercias que produce la carga, esto es necesario para poder transmitirle al operador unas fuerzas escaladas, y que pueda sentir la carga que manipula, y no otras fuerzas que puedan influir en el esclavo remoto, como ocurre con otras técnicas de estimación de fuerzas. Como el blindaje de los sensores no debe ser grande ni pesado, habrá que destinar este tipo de tecnología a las tareas de mantenimiento de las paradas programadas de ITER, que es cuando los niveles de radiación están en sus valores mínimos. Por otro lado para que el operador sienta lo más fielmente posible la fuerza de carga se ha desarrollado una electrónica que mediante el control en corriente de los motores permita realizar un control en fuerza a partir de la caracterización de los motores del maestro. Además para aumentar la percepción del operador se han realizado unos experimentos que demuestran que al aplicar estímulos multimodales (visuales, auditivos y hápticos) aumenta su inmersión y el rendimiento en la consecución de la tarea puesto que influyen directamente en su capacidad de respuesta. Finalmente, y en referencia a la realimentación visual del operador, en ITER se trabaja con cámaras situadas en localizaciones estratégicas, si bien el humano cuando manipula objetos hace uso de su visión binocular cambiando constantemente el punto de vista adecuándose a las necesidades visuales de cada momento durante el desarrollo de la tarea. Por ello, se ha realizado una reconstrucción tridimensional del espacio de la tarea a partir de una cámara-sensor RGB-D, lo cual nos permite obtener un punto de vista binocular virtual móvil a partir de una cámara situada en un punto fijo que se puede proyectar en un dispositivo de visualización 3D para que el operador pueda variar el punto de vista estereoscópico según sus preferencias. La correcta integración de estas tecnologías para la interacción hombre-robot en la P.A.T. ha permitido validar mediante pruebas y experimentos para verificar su utilidad en la aplicación práctica de la telemanipulación con alto grado de escalado en entornos nucleares de fusión. Abstract This thesis focuses on developing technologies for human-robot interaction in nuclear fusion environments. The main problem of nuclear fusion sector resides in such extreme environmental conditions existing in the hot-cell, leading to very restrictive requirements for equipment in order to deal with these high levels of radiation, magnetism, ultravacuum, temperature... Since it is not feasible to carry out tasks directly by humans, we must use remote handling devices for accomplishing operation and maintenance processes. In ITER facilities it is mandatory to have a controlled environment of extreme safety and security with validated standards. The definition and use of protocols is essential to govern its operation. Focusing on Remote Handling with some degree of escalation, protocols must be defined for open systems to allow interaction among different kind of equipment and several multifunctional devices. In this context, a Teleoperation Protocol definition enables interconnection between master and slave devices from different typologies, being able to communicate bilaterally one each other and using different control algorithms depending on the task to perform. This protocol and its interconnectivity have been tested in the Teleoperation Open Platform (T.O.P.) that has been developed and integrated in the ETSII UPM as a tool to test, validate and conduct experiments in Telerobotics. Currently, this protocol has been proposed for Teleoperation through AENOR to the ISO Telerobotics group as a valid solution to the existing problem, and it is under review. Master and slave connection has been achieved with this protocol design, however with such high radiation levels in ITER, the controller electronics cannot enter inside the tokamak. Therefore it is proposed a multiplexed electronic board, that through suitable and RadHard protection processes, to transmit control signals through an umbilical cable from the controller to the robot base. In this theoretical exercise the utility and feasibility of using this type of solution reduce the volume and weight of the umbilical wiring approximate 90% less, although it is necessary to develop specific electronic hardware and validate in RadHard qualifications in order to handle huge levels of ITER radiation. Using generic manipulators does not allow to implement regular sensors for force feedback in ITER conditions. In this line of research, an algorithm to calculate the forces and inertia produced by the load has been developed using a force/torque sensor and IMU, both conveniently protected against radiation and placed on the robot wrist. Scaled forces should be transmitted to the operator, feeling load forces but not other undesirable forces in slave system as those resulting from other force estimation techniques. Since shielding of the sensors should not be large and heavy, it will be necessary to allocate this type of technology for programmed maintenance periods of ITER, when radiation levels are at their lowest levels. Moreover, the operator perception needs to feel load forces as accurate as possible, so some current control electronics were developed to perform a force control of master joint motors going through a correct motor characterization. In addition to increase the perception of the operator, some experiments were conducted to demonstrate applying multimodal stimuli (visual, auditory and haptic) increases immersion and performance in achieving the task since it is directly correlated with response time. Finally, referring to the visual feedback to the operator in ITER, it is usual to work with 2D cameras in strategic locations, while humans use binocular vision in direct object manipulation, constantly changing the point of view adapting it to the visual needs for performing manipulation during task procedures. In this line a three-dimensional reconstruction of non-structured scenarios has been developed using RGB-D sensor instead of cameras in the remote environment. Thus a mobile virtual binocular point of view could be generated from a camera at a fixed point, projecting stereoscopic images in 3D display device according to operator preferences. The successful integration of these technologies for human-robot interaction in the T.O.P., and validating them through tests and experiments, verify its usefulness in practical application of high scaling remote handling at nuclear fusion environments.

Seguimiento a la interacción del estudiante con recursos educativos desplegados en contextos diferentes al LMS a través de la implementación del estándar Tin Can Api

Los maestros deben fortalecer desde el currículo ambientes adecuados para que los estudiantes se apropien del manejo de las TIC (Tecnologías de la Información y Comunicación) y las involucren en el proceso de enseñanza - aprendizaje; favoreciendo con esto el desarrollo de los contenidos en todas las áreas -- Cuando se pretende hacer uso de las TIC para mejorar el aprendizaje significativo de los estudiantes, se evidencia la debilidad que tiene el maestro para realizar un seguimiento a las actividades informales que realiza el estudiante para comprender un tema o adquirir una competencia -- El primer acercamiento para mejorar esta problemática, es realizar una integración de un estándar educativo para llevar un control y registrar las actividades informales que el estudiante realice a través de Internet, empleando un sinnúmero de aplicaciones que la web ofrece -- Para el mejoramiento del proceso evaluativo de los estudiantes de la Institución Educativa San José, se implementará la integración del estándar Tin Can Api dentro de un prototipo para realizar seguimiento a las actividades informales que realicen los estudiantes con el fin de llevar un registro de experiencias de aprendizaje -- Teniendo en cuenta lo anterior el maestro debe estar preparado para utilizar metodologías apoyadas en las herramientas tecnológicas, así el aprendizaje se logra con mayor disfrute y calidad

Interfaz natural para la programación de un robot manipulador a través de un Kinect

Tesis (Ingeniero(a) en Automaziación).--Universidad de La Salle. Facultad de Ingeniería. Programa de Ingeniería en Automatización, 2014

Interacción basada en visión por computador mediante reacTIVision para la generación, control e interpretación de mensajes MIDI y su utilización en la creación audiovisual

[ES] Uno de los últimos avances en tecnología que más interés está despertando es la tecnología multitouch. Esta técnica ofrece una nueva forma de interacción hombre-máquina donde las aplicaciones gráficas son manejadas usando eventos táctiles. Esto abre la puerta a una comunicación más intuitiva y más directa entre el usuario y la máquina. Para lograr esto, son necesarios dos elementos: una superficie multitouch y una interfaz adaptada para el uso con eventos táctiles y objetos físicos que tendrán unos marcadores asignados. Con este proyecto buscamos desarrollar un dispositivo multitouch y un software para la creación de música digital mediante eventos táctiles y objetos. Para ello, es necesario investigar en distintos campos como son el del procesamiento de imágenes, hardware y desarrollo de aplicaciones e interfaces gráficas.

Arte digital

[ES] El ordenador es una herramienta de enorme potencial para el arte visual [Spalter99], tanto en el marco de la imagen estática, como en el contexto del video o imagen en movimiento. Las imágenes son fácilmente comprendidas por los humanos, motivo por el cual es un ámbito válido de trabajo creativo. Por otro lado, ocupa también a multitud de científicos del campo de la Visión por Computador en su búsqueda de técnicas para detectar y reconocer objetos. La tecnología digital, presenta la singularidad de la no existencia de un original único, de disponer del original en cualquier parte y ser copiable hasta la saciedad sin pérdida. Por otro lado, la introducción de la interactividad a través del uso de las tecnologías de visión por computador aporta un nuevo canal expresivo y unas posibilidades para la generación de sensaciones a través del concepto de obra interactiva [Krueger85]. La obra se puede convertir en única y cambiante, reactiva a la interacción en cada momento, recuperando su exclusividad. Este enfoque se relaciona con el concepto de instalación donde una obra es instalación si dialoga con el espacio que la circunda [Iges99]. La motivación de este proyecto es investigar el uso de capacidades actuales de Visión por Computador e Inteligencia Artificial para su integración en instalaciones artísticas. Se destaca que nuestra experiencia se relaciona fundamentalmente con el mundo tecnológico, nuestro objetivo es mostrar las posibilidades interactivas que la Inteligencia Artificial puede introducir y explorar las posibilidades de interfaces y formas de interacción hombre-máquina.

COMUNICAÇÃO E USABILIDADE: ESTUDOS SOBRE AS INTERFACES COMPUTACIONAIS

A pesquisa busca identificar as questões relacionadas aos estudos de Comunicação na Usabilidade de interfaces. O estudo é desenvolvido com revisão bibliográfica da Interação Humano-Computador e da Usabilidade. As revisões da interação humano-computador se dá considerando três principais eixos: Engenharia de software, Engenharia de Fatores Humanos e Design gráfico. Neste sentido, faz-se um recorte na importância das investigações e das propriedades comunicacionais que viriam a surgir nas relações suportadas pela interface de sistemas e das qualidades e características que determinam a usabilidade de interfaces. Observa-se que, apesar das características e propriedades comunicacionais serem intrínsecas as tecnologias digitais da informação, o envolvimento da Comunicação nestes processos de investigação ou construção de tecnologias interativas são superficiais e oferecem certo distanciamento dos aspectos tecnológicos. Denota-se, portanto, que as contribuições sobre aspectos da interação entre homem e máquina suportadas por interfaces comunicacionais são estritamente técnicas e oriundas de outros campos do conhecimento, apesar da existência da Teoria Mátemática da Comunicação e da sua origem em meios técnicos de comunicação como o telégráfo. Verifica-se assim a possibilidade de um maior envolvimento da Comunicação não apenas nas investigações relacionadas à usabilidade de sistemas interativos, como também na contribuição dos seus processos de desenvolvimento de sistemas baseados em diálogos.

Diseño centrado en el usuario y usabilidad en entorno táctil

En este trabajo se realiza un prototipo siguiendo un diseño centrado en el usuario, además se estudiaran los distintos tipos de pantallas táctiles que existen actualmente en el mercado y la forma de cómo conseguir una aplicación fácil y manejable.

Interfície de control de dades en una fàbrica

Aquest treball tracta de l'estudi i creació de la interfície d'una aplicació que reculli les dades de control generades en un procés productiu real en una petita planta de fabricació amb cinc treballadors.

Trabajo final de carrera : accesibilidad web

Evaluación manual de 10 páginas web siguiendo la pautas WCAG 1.0 y WCAG 2.0.

Evaluación de accesibilidad web en upc.edu

Evaluación de la accesibilidad Web de 10 páginas del sitio www.upc.edu siguiendo las pautas para niveles de conformidad en WCAG 1.0 y WCAG 2.0 de acuerdo a la Metodología Unificada de Evaluación Web (UWEM 1.0).

Accessibilitat web : cas d'anàlisi a partir de les WCAG 1.0 i WCAG 2.0

El document analitza, de forma manual i detallada, l'accessibilitat de 10 pàgines web del portal de la UOC en base a les 14 pautes i 65 punts de validació de les WCAG 1.0 i en base als quatre principis de les WCAG 2.0 que a la vegada s'organitzen en 12 directius i 61 criteris de conformitat.

La accesibilidad web en los repositorios institucionales : la UOC a examen

Breve revisión de la accesibilidad web del repositorio institucional de la UOC e información sobre herramientas de validación automática de sitios web.

Accessibilitat web : un estudi sobre el Repositori O2 de la UOC

Són objectius d'aquest Treball Final de Carrera, en primer lloc, avaluar l'accessibilitat del programari de codi lliure Dspace que utilitza la UOC per gestionar les seves publicacions digitals. En segon lloc, avaluar l'accessibilitat de cinc planes web del Repositori Institucional O2 de la UOC, a les quals s'aplicaran les directrius WCAG 1.0 i WCAG 2.0, amb l'ajut de cinc eines d'avaluació automàtica.