3D Visual Data-Driven Spatiotemporal Deformations for Non-Rigid Object Grasping Using Robot Hands

Sensing techniques are important for solving problems of uncertainty inherent to intelligent grasping tasks. The main goal here is to present a visual sensing system based on range imaging technology for robot manipulation of non-rigid objects. Our proposal provides a suitable visual perception system of complex grasping tasks to support a robot controller when other sensor systems, such as tactile and force, are not able to obtain useful data relevant to the grasping manipulation task. In particular, a new visual approach based on RGBD data was implemented to help a robot controller carry out intelligent manipulation tasks with flexible objects. The proposed method supervises the interaction between the grasped object and the robot hand in order to avoid poor contact between the fingertips and an object when there is neither force nor pressure data. This new approach is also used to measure changes to the shape of an object’s surfaces and so allows us to find deformations caused by inappropriate pressure being applied by the hand’s fingers. Test was carried out for grasping tasks involving several flexible household objects with a multi-fingered robot hand working in real time. Our approach generates pulses from the deformation detection method and sends an event message to the robot controller when surface deformation is detected. In comparison with other methods, the obtained results reveal that our visual pipeline does not use deformations models of objects and materials, as well as the approach works well both planar and 3D household objects in real time. In addition, our method does not depend on the pose of the robot hand because the location of the reference system is computed from a recognition process of a pattern located place at the robot forearm. The presented experiments demonstrate that the proposed method accomplishes a good monitoring of grasping task with several objects and different grasping configurations in indoor environments.

Evaluación de la implantación transversal de 4º del Grado en Ingeniería Multimedia, itinerario creación y entretenimiento digital

En esta memoria se describe el proyecto realizado para la evaluación de la implantación transversal del itinerario de Creación y Entretenimiento digital del cuarto curso del Grado en Ingeniería Multimedia de la Escuela Politécnica Superior, como continuación del planteamiento realizado en el proyecto del curso anterior de preparación, coordinación y seguimiento de las asignaturas del citado itinerario (identificador 3013). En el marco creado por los nuevos estudios dentro del EEES, el proyecto ha tenido como objetivos principales la preparación y coordinación de las asignaturas para el desarrollo de la metodología de Aprendizaje Basado en Proyectos (ABP), y la elaboración de las fichas de las asignaturas y el ajuste de recursos disponibles y laboratorios. A partir de la experiencia adquirida en la planificación de cursos previos, se han elaborado las guías docentes de las asignaturas ajustando las del curso anterior. También se presentan los resultados obtenidos en la segunda experiencia llevada a cabo en este curso, expresados en horas de dedicación al proyecto y en grado de satisfacción tanto del alumnado como del profesorado con la metodología ABP. Por último, se ha mantenido la página web informativa del itinerario creada el curso anterior, publicando noticias relacionadas y mejorando diversos aspectos.

Coordinación y seguimiento del Grado en Ingeniería Informática

El fomento de la calidad universitaria es una dimensión clave en el EEES que se basa en sistemas de garantía y mejora de la calidad internos en las universidades y en procedimientos llevados a cabo por agencias de evaluación y acreditación externas a ellas. Además, se resalta que cada vez es más necesario que estas acreditaciones de calidad nacionales se reconozcan fuera del propio país. En este contexto ha surgido la creación de sellos de calidad europeos que están enfocados a determinados sectores científico-técnicos o profesionales que tienen la ventaja de facilitar la comparación transfronteriza y ofrecer a universidades y egresados la posibilidad de demostrar la calidad de sus titulaciones en el ámbito europeo. En el caso de los Grados en Ingeniería Informática es el sello EURO-INF regulado por la European Quality Assurance Network for Informatics Education (EQANIE) el que garantiza que la calidad de los programas en informática se corresponde con los criterios europeos genéricos establecidos y que sus egresados adquieren las competencias definidas para este sello. En esta memoria se explica el trabajo realizado para el proceso de acreditación y solicitud del sello EURO-INF como un doble proceso aprovechando las sinergias entre ambos procedimientos.

Evaluación de la implantación transversal de 3º del grado en Ingeniera Multimedia

Durante el presente curso se han llevado a cabo las tareas para la evaluación de la implantación del grado en Ingeniería Multimedia en el marco de los nuevos estudios dentro del EEES, lo cual implica un trabajo extenso de análisis y recopilación del tratamiento concreto que se está dando a la adquisición por parte del alumnado de las diferentes competencias planteadas para cada asignatura en su ficha correspondiente y en la memoria para la solicitud de la verificación del título. Esto ha permitido tener una visión global de cuáles son los medios que se ponen para evaluar dichas competencias y también, desde un punto de vista más cercano, qué calendario de evaluación “ve” el alumno. En esta memoria nos hemos centrado en los aspectos relacionados con el curso tercero del grado.

Piloto automático: Sistema de navegação autónoma

Desde o início do crescente interesse na área de robótica que a navegação autónoma se apresenta como um problema de complexa resolução que, por isso, desperta vasto interesse no meio científico. Além disso, as capacidades da navegação autónoma aliadas à robótica permitem o desenvolvimento de variadas aplicações. O objectivo da navegação autónoma é conferir, a um dispositivo motor, capacidade de decisão relativa à locomoção. Para o efeito, utilizam-se sensores, como os sensores IMU, o receptor GPS e os encoders, para fornecer os dados essenciais à navegação. A dificuldade encontra-se no correcto processamento destes sinais uma vez que são susceptíveis a fontes de ruído. Este trabalho apresenta um sistema de navegação autónomo aplicado ao controlo de um robot. Para tal, desenvolveu-se uma aplicação que alberga todo o sistema de localização, navegação e controlo, acrescido de uma interface gráfica, que permite a visualização em mapa da movimentação autónoma do robot. Recorre-se ao Filtro de Kalman como método probabilístico de estimação de posição, em que os sinais dos vários sensores são conjugados e filtrados. Foram realizados vários testes de modo a avaliar a capacidade do robot atingir os pontos traçados e a sua autonomia no seguimento da trajectória pretendida.

Interface para tecnologia assistiva baseada em eletrooculografia

We propose in this work, a new method of conceptual organization of areas involving assistive technology, categorizing them in a logical and simple manner; Furthermore, we also propose the implementation of an interface based on electroculography, able to generate high-level commands, to trigger robotic, computer and electromechanical devices. To validate the eye interface, was developed an electronic circuit associated with a computer program that captured the signals generated by eye movements of users, generating high-level commands, able to trigger an active bracing and many other electromechanical systems. The results showed that it was possible to control many electromechanical systems through only eye movements. The interface is presented as a viable way to perform the proposed task and can be improved in the signals analysis in the the digital level. The diagrammatic model developed, presented as a tool easy to use and understand, providing the conceptual organization needs of assistive technology

Registro global de nuvens de pontos RGB-D em tempo real usando fluxo óptico e marcadores

Registration of point clouds captured by depth sensors is an important task in 3D reconstruction applications based on computer vision. In many applications with strict performance requirements, the registration should be executed not only with precision, but also in the same frequency as data is acquired by the sensor. This thesis proposes theuse of the pyramidal sparse optical flow algorithm to incrementally register point clouds captured by RGB-D sensors (e.g. Microsoft Kinect) in real time. The accumulated errorinherent to the process is posteriorly minimized by utilizing a marker and pose graph optimization. Experimental results gathered by processing several RGB-D datasets validatethe system proposed by this thesis in visual odometry and simultaneous localization and mapping (SLAM) applications.

Geração de padrão de marcha adaptável para uma órtese ativa de membros inferiores

Atualmente com o crescente aumento de dispositivos robóticos destinados para aplicação na área de mobilidade de pessoas que sofreram algum tipo de lesão medular, se faz necessário desenvolver novas ferramentas para tornar tais equipamentos mais adaptáveis, seguros e autônomos. Para que as órteses robóticas que auxiliam na locomoção de pessoas paraplégicas possam desempenhar sua função, estas devem ser capazes de reproduzir os movimentos perdidos com o máximo de fidelidade e segurança em ambientes que eventualmente possam conter obstáculos de diferentes tipos como buracos, escadas e calçadas. As órteses robóticas para membros inferiores têm a capacidade de caminhar, subir e descer degraus, todavia, esses movimentos, na maioria das vezes, não se adaptam ao ambiente, sendo assim, para uma órtese robótica que foi projetada para subir um degrau com uma determinada altura ao se deparar com um degrau maior provavelmente não conseguirá realizar essa tarefa com a mesma segurança. Para solucionar esse e outros problemas, esse trabalho apresenta um Sistema de Auxílio à Locomoção (SAL) dotado de um planejador de passos e um gerador de referências angulares com características antropomórficas para a órtese robótica Ortholeg. O SAL utiliza dados antropométricos do usuário para gerar um padrão de marcha personalizado, dessa forma, a órtese em questão é capaz de adaptar o tamanho do passo para não colidir com obstáculos presentes no ambiente e transpor buracos com diversos tamanhos, subir e descer escadas e calçadas com diferentes valores de altura e comprimento. Para desenvolver o sistema de auxílio à locomoção foram adaptadas técnicas de planejamento de caminho, usadas a princípio em robôs bípedes. São apresentados vários experimentos que mostram a órtese Ortholeg realizando alguns movimentos com características antropomórficas para diferentes distâncias de caminhada e três tipos de obstáculos: degrau, buraco e calçada. A autonomia adquirida com a utilização do sistema de planejamento apresentado facilita a utilização de órteses robóticas como também garante uma maior segurança ao usuário.

Localização de robôs móveis em ambientes fechados utilizando câmeras montadas no teto

The localization of mobile robots in indoor environments finds lots of problems such as accumulated errors and the constant changes that occur at these places. A technique called global vision intends to localize robots using images acquired by cameras placed in such a way that covers the place where the robots movement takes place. Localization is obtained by marks put on top of the robot. Algorithms applied to the images search for the mark on top of the robot and by finding the mark they are able to get the position and orientation of the robot. Such techniques used to face some difficulties related with the hardware capacity, fact that limited their execution in real time. However, the technological advances of the last years changed that situation and enabling the development and execution of such algorithms in plain capacity. The proposal specified here intends to develop a mobile robot localization system at indoor environments using a technique called global vision to track the robot and acquire the images, all in real time, intending to improve the robot localization process inside the environment. Being a localization method that takes just actual information in its calculations, the robot localization using images fit into the needs of this kind of place. Besides, it enables more accurate results and in real time, what is exactly the museum application needs.

Uma interface para o controle de robôs móveis por intermédio de gestos

The main objective of this work was to enable the recognition of human gestures through the development of a computer program. The program created captures the gestures executed by the user through a camera attached to the computer and sends it to the robot command referring to the gesture. They were interpreted in total ve gestures made by human hand. The software (developed in C ++) widely used the computer vision concepts and open source library OpenCV that directly impact the overall e ciency of the control of mobile robots. The computer vision concepts take into account the use of lters to smooth/blur the image noise reduction, color space to better suit the developer's desktop as well as useful information for manipulating digital images. The OpenCV library was essential in creating the project because it was possible to use various functions/procedures for complete control lters, image borders, image area, the geometric center of borders, exchange of color spaces, convex hull and convexity defect, plus all the necessary means for the characterization of imaged features. During the development of the software was the appearance of several problems, as false positives (noise), underperforming the insertion of various lters with sizes oversized masks, as well as problems arising from the choice of color space for processing human skin tones. However, after the development of seven versions of the control software, it was possible to minimize the occurrence of false positives due to a better use of lters combined with a well-dimensioned mask size (tested at run time) all associated with a programming logic that has been perfected over the construction of the seven versions. After all the development is managed software that met the established requirements. After the completion of the control software, it was observed that the overall e ectiveness of the various programs, highlighting in particular the V programs: 84.75 %, with VI: 93.00 % and VII with: 94.67 % showed that the nal program performed well in interpreting gestures, proving that it was possible the mobile robot control through human gestures without the need for external accessories to give it a better mobility and cost savings for maintain such a system. The great merit of the program was to assist capacity in demystifying the man set/machine therefore uses an easy and intuitive interface for control of mobile robots. Another important feature observed is that to control the mobile robot is not necessary to be close to the same, as to control the equipment is necessary to receive only the address that the Robotino passes to the program via network or Wi-Fi.

Simulación de misiones de rescate con robots

Este proyecto consiste en el desarrollo de un sistema para simular misiones de rescate usando equipos de robots donde cada robot tiene sus propios objetivos y debe coordinarse con el resto de sus compañeros para realizar con existo la misión de rescate en escenarios dinámicos. El escenario se caracteriza por contener: - Agentes Robot: son las entidades del sistema encargado de tareas relacionadas con el rescate, como por ejemplo, explorar el terreno o rescatar a una víctima. Se organizan de forma jerárquica, esto es, hay un jefe encargado de asignar tareas a los demás robots, que serán subordinados. - Víctimas: son los objetivos a rescatar en la misión. Tienen una identificación, una localización y una esperanza de vida. -Obstáculos: delimitan una zona por la que el robot no puede pasar. Simulan la existencia de paredes, rocas, árboles…, es decir, cualquier tipo de estructura existente en un escenario real. - Zona segura: marca un punto del mapa adonde los robots moverán a las víctimas en el rescate. Representa lo que en un rescate real sería un campamento u hospital. El sistema permite: - Crear y gestionar escenarios de simulación - Definir equipos de robots con diferentes miembros, diferentes objetivos y comportamientos. - Definir modelos organizativos en los equipos y estrategias de coordinación. - Realizar los objetivos individuales y de grupo para salvar a las víctimas llevándolas al sitio seguro esquivando los obstáculos. - Realizar experimentos de simulación: probar distintas configuraciones de equipo con un número variable de robots, varias víctimas en lugares diferentes y escenarios independientes. Se ha partido del proyecto ROSACE(Robots et Systèmes AutoCommunicants Embarqués / Robots y sistemas embebidos autocomunicantes), que está construido sobre la herramienta ICARO, que es una Infraestructura Ligera de Componentes Software Java basada en Agentes y Recursos y Organizaciones para el desarrollo de aplicaciones distribuidas. El punto de partida ya implementaba una versión preliminar del proyecto capaz de organizar objetivos entre los robots y que consigan ir a la localización objetivo. El presente proyecto utiliza el patrón arquitectónico de ROSACE y parte de su infraestructura pero desarrolla un sistema original con nuevas herramientas para definir y gestionar escenarios, disponer de un modelo más realista del comportamiento de los robots y controlar el proceso de simulación para incluir posibles fallos de los robots y para el estudio individual y colectivo de los miembros de los equipos.

Identificación de imágenes por análisis de texturas utilizando aprendizaje estadístico

Este documento explica la creación, implementación y uso del proyecto de fin de grado, desarrollado dentro del grupo de investigación ISCAR (Ingeniería de Sistemas, Control, Automática y Robótica) de la Facultad de Informática de la Universidad Complutense. El proyecto consiste en la implementación de una aplicación capaz de clasificar texturas extraídas de distintas imágenes mediante técnicas de visión por computador. Dicha aplicación se divide en tres pilares fundamentales: interfaz gráfica de usuario, algoritmos de extracción de características texturales y aprendizaje supervisado mediante una máquina “SVM” (Support Vector Machine). Interfaz gráfica: proporciona al usuario una forma fácil de uso de la aplicación por medio de la visualización gráfica de una imagen con una serie de elementos de configuración para su posterior análisis. Una vez analizada, el usuario si así lo desea, podrá visualizar los resultados de manera intuitiva, así como guardar dichos resultados después de la ejecución de los algoritmos pertinentes. Algoritmos de análisis de texturas: Procede al cálculo de las configuraciones y las muestras provistas por el usuario en la interfaz gráfica como el cálculo de la matriz de co-ocurrencia y el cálculo de los vectores de características (homogeneidad, media, varianza, Entropía, etc…). SVM: Utiliza los vectores de características obtenidos en los cálculos estadísticos de texturas para realizar el proceso de aprendizaje de un clasificador SVM. La aplicación ha sido construida en JAVA haciendo uso de librerías como JNI_SVM-light-6.01, commons-math3-3.0 y WindowsBuilder, para la construcción de la ventana gráfica, cálculo de los métodos estadísticos y máquina de aprendizaje automático. Dicha aplicación se ha utilizado con el objetivo de identificar y clasificar el quiste de Baker mediante imágenes obtenidas por Resonancias Magnéticas de la rodilla.

Condução autónoma – desenvolvimento de um robô para navegação num ambiente rodoviário à escala

Desde sempre que a tecnologia tem procurado ajudar, complementar ou mesmo substituir o ser humano em todas as suas tarefas e necessidades mais tediosas e/ou perigosas. A indústria automóvel é das que mais investe na investigação e desenvolvimento desta área, procurando desenvolver viaturas inteligentes, baseados em condução autónoma que ajudem o ser humano enquanto condutor, seja ao nível do conforto como da segurança. Em Portugal, no Festival Nacional de Robótica, existe uma prova onde se aplicam conceitos de decisão, controlo e visão para a condução autónoma num ambiente à escala. É com este conceito em mente que se executa este projeto, com a intenção de construir um veículo à escala, com direção de Ackerman, com a capacidade de se conduzir sem a intervenção ou controlo humano, que possa ser também utilizado na referida prova de competição. O projeto criado é baseado num sistema de controlo de baixo nível, responsável por controlar a velocidade, direção e travagem do veículo, sob comando de um sistema de alto nível baseado em visão computacional. O sistema desenvolvido foi testado, com sucesso, numa fase preliminar na prova a que se destinava. A versão atual do veículo inclui duas câmaras (uma delas móvel) para aquisição de informação múltipla, e codificadores nas rodas para um controlo mais preciso da velocidade do veículo.

AGV para ambiente interior

O Nomad200 foi um dos robôs mais populares usados para a investigação em robótica móvel. Face à antiguidade destes robôs, a maioria da utilização dos mesmos hoje em dia implicou uma renovação do seu hardware. Este projeto de mestrado teve como motivação a reabilitação de um robô NOMAD200 obsoleto, tendo como objetivo a implementação de um robô capaz de navegar autonomamente em ambiente interior. Foram estudados todos os componentes do robô e reutilizou-se todo o hardware funcional do robô, nomeadamente sensores, atuadores e estrutura mecânica. Foi desenvolvido software de baixo nível para controlar o hardware recuperado, bem como os novos componentes de hardware que foram integrados. A comunicação com o PC de alto nível é feito usando o protocolo rosserial. O sistema base de software de alto-nível do robô é o ROS, versão Indigo. O sistema desenvolvido foi testado e a versão atual do robô permite realizar navegação com a utilização de um laser e odometria.

Uma proposta de slam com determinação de informações geométricas do ambiente

PEDROSA, Diogo P. F. ; MEDEIROS, Adelardo A. D. ; ALSINA, Pablo J. . Uma Proposta de SLAM com Determinação de Informações Geométricas do Ambiente. In: CONGRESSO BRASILEIRO DE AUTOMÁTICA, 16, Salvador, BA, 2006. Anais... Salvador: CBA, 2006. v. 1. p. 1704-1709