Red de investigación en Visión Artificial y Robótica. Establecimiento de contenidos e implantación y seguimiento del plan de evaluación

Se presenta en esta memoria el trabajo desarrollado durante el curso 2013/14 por los componentes de la “Red de investigación en Visión Artificial y Robótica. Establecimiento de contenidos e implantación y seguimiento del plan de evaluación”. Código de Red ICE 3031. Este ha sido el primer curso en el que se imparte la asignatura a estudio y nuestros esfuerzos han estado orientados tanto a la valoración de los materiales elaborados en los años precedentes como al seguimiento y ponderación del sistema de evaluación propuesto para la asignatura de Visión Artificial y Robótica y que consiste en la evaluación continua de trabajos desarrollados por los estudiantes a lo largo de todo el cuatrimestre. Además, estos trabajos han de ser expuestos oralmente en el aula. Para ello, el alumno ha de desarrollar también las transparencias que le sirvan para apoyar su presentación.

La visión artificial, un nuevo aliado para el análisis de imágenes artísticas

En este estudio se evalúa el rendimiento de los métodos de Bag-of-Visualterms (BOV) para la clasificación automática de imágenes digitales de la base de datos del artista Miquel Planas. Estas imágenes intervienen en la ideación y diseño de su producción escultórica. Constituye un interesante desafío dada la dificultad de la categorización de escenas cuando éstas difieren más por los contenidos semánticos que por los objetos que contienen. Hemos empleado un método de reconocimiento basado en Kernels introducido por Lazebnik, Schmid y Ponce en 2006. Los resultados son prometedores, en promedio, la puntuación del rendimiento es aproximadamente del 70%. Los experimentos sugieren que la categorización automática de imágenes basada en métodos de visión artificial puede proporcionar principios objetivos en la catalogación de imágenes y que los resultados obtenidos pueden ser aplicados en diferentes campos de la creación artística.

Desarrollo e implantación de un telelaboratorio para la realización de prácticas en visión artificial.

Realizado en la E.T.S. de Ingenieros Industriales de la Universidad de Valladolid, por 2 profesores del centro, para la asignatura de Sistemas de Percepción y Técnicas de Procesamiento de la titulación de Ingeniero en automática y electrónica industrial. El objetivo era la implantación de una planta real de visión artificial compuesta de una cámara digital y un PC, con el software de gestión de captura de imágenes correspondiente. El PC actúa como servidor de imágenes a los clientes autorizados. Para ello, también, se pretende desarrollar un software de adquisición de imágenes de forma remota vía Internet desde otros PCs y el manual de uso del equipo del teleoperador. El contenido del proyecto consiste básicamente en una página Web con accesos a la aplicación, un tutorial sobre visión artificial y un manual de uso de la aplicación. Se espera poder poner en marcha la página Web y utilizar los equipos en las asignaturas a partir del segundo cuatrimestre del curso 2004/2005.

Prototipo de herramienta para el inventariado automático de piezas de Lego basado en visión artificial

Permitida la difusión del código bajo los términos de la licencia BSD de tres cláusulas.

Caracterización de la agitación local y la respuesta oscilatoria de un buque mediante el uso de técnicas de visión artificial : aplicación al análisis de los umbrales operativos en líneas de atraque y amarre

El desarrollo de actividades de carga y descarga son parte de la esencia de la naturaleza funcional de un puerto, de las cuales derivan en gran medida los ingresos del mismo y la eficiencia de la cadena logística en su conjunto. Las oscilaciones en el interior de una dársena y en un línea de atraque disminuyen la calidad de la estancia de las embarcaciones en puerto, reducen el rendimiento de la estiba de los buques y solicitan y fatigan las estructuras y los cuerpos flotantes amarrados. Si los parámetros que definen la agitación local se aproximan a regiones de fallo 0 parada, el subsistema pierde rendimiento, fiabilidad y finalmente se paralizan las operaciones, produciéndose de este modo tiempos de inactividad. Estas paradas operativas conllevan pérdidas económicas para la terminal y, consecuentemente, para el puerto. Hoy día se dispone vastas redes de monitorización destinadas a la caracterización del medio físico en el entorno de los puertos. Paralelamente, las operaciones de manipulación de cargas en las terminales se están dirigiendo hacia modelos de automatización o semi automatización, que permiten no sólo la sistematización de procesos, sino también un profundo conocimiento del flujo de tareas. En este contexto hay un déficit de información sobre cómo afectan los diferentes forzadores del medio físico al rendimiento, la seguridad funcionalidad del proceso de manipulación de carga y descarga. Esto se debe en gran medida a la falta de registros dilatados en el tiempo que permitan correlacionar todos los aspectos mencionados de un modo particularizado para cada línea de atraque y amarre de un puerto. En esta tesis se desarrolla una metodología de vídeo monitorización no intrusiva y de bajo coste basada en la aplicación de técnicas "pixel tool' y la obtención de los parámetros extrínsecos de una observación monofocal. Con ello pretende poner en valor las infraestructuras de vídeo vigilancia de los puertos y de los laboratorios de experimentación a escala reducida, con el objeto de facilitar el estudio los umbrales operativos de las áreas de atraque y amarre. The development of loading and unloading activities is an essential part of he functional nature of a port, which derive largely from he same income and the efficiency of he supply chain as a whole. The oscillations inside a dock and a mooring line diminish he quality of the stay of vessels in port reducing the performance of the stowage of ship and asking and fatigued structures and moored floating bodies. If the parameters defining the local al agitation regions are close to areas of failure or shutdown, he subsystem looses performance, reliability and eventually paralyzes the operations, thereby producing downtime. These operational stops entail economic 1osses to the terminal and, consequently for the port. Today vast networks of monitoring, aimed at he characterization of the physical environment in the vicinity of he ports, are available. In parallel, the cargo handling operations at terminals are moving towards automation or semi-automation models that allow not only the systematization of processes, but also a deep understanding of he workflow. In this context, there is a lack of information about how the different forcing agents of the physical environment affect the performance and he functional safety of the loading and unloading process. This is due largely to the lack of spread-over-time records which would allow to correlate all aspects mentioned, specifically, for each berthing and mooring of a port. This thesis develops a methodology for non-intrusive and low cost monitoring video based on the application of "pixel tool" techniques and on obtaining the extrinsic parameters of a monofocal observation. It seeks an enhancement of the video monitoring infrastructure at ports and at experimental laboratories of reduced scale, in order to facilitate the study of operational thresholds berthing and mooring areas.

Utilización de métodos de visión artificial para PC como apoyo en la automoción

La detección de los bordes de líneas en la carretera es una parte muy importante en los sistemas inteligentes de transportación, así como la detección de objetos tal como vehículos, con la finalidad de informar o prevenir a través de una alerta al conductor o al sistema informático. De aquí nace el interés de analizar algunos métodos de visión artificial (VA) que es un subcampo de la inteligencia artificial, cuyo propósito es programar un computador y que este “entienda” una escena o imagen, algunos de los métodos más comunes en la detección de líneas y vehículos (considerados objetos en nuestra investigación) son la transformada de Hough, el método de Canny, clasificador Haar Cascade, filtros de Fourier, etc. Se desarrollará una aplicación de escritorio o PC (Personal Computer) para el reconocimiento de vehículos y las líneas de bordes, el lenguaje de programación utilizado será Python y la biblioteca OpenCV que contiene más de 500 funciones en el campo de visión por computador. La validación del reconocimiento de objetos se la realizará con una prueba de campo. Este resultado apoyará a la automoción (máquina que se desplaza por acción de un motor como el vehículo) con datos que luego pueden ser procesados.

Detección y categorización de objetos invariante y multivista en imágenes digitales mediante visión artificial bioinspirada.

344 p.

Desarrollo de arquitecturas para procesamiento de control de la mirada en sistemas de visión activa con resolución espacial variable

En esta tesis se aborda la implementación de un sistema completo de visión activa, en el que se capturan y generan imágenes de resolución espacial variable. Todo el sistema se integra en un sólo dispositivo del tipo AP SoC (All Programmable System on Chip), lo que nos permite llevar a cabo el codiseño hardware-software del mismo, implementando en la parte lógica los bloques de preprocesado intensivo, y en la parte software los algoritmos de procesado de control más complejo. El objetivo es que, trabajando con un campo visual del orden de Megapíxeles, se pueda procesar una tasa moderada de imágenes por segundo. Las imágenes multiresolución se generan a partir de sensores de resolución uniforme con una latencia nula, lo que permite tener preparada la imagen de resolución variable en el mismo instante en que se ha terminado de capturar la imagen original. Como innovación con respecto a las primeras contribuciones relacionadas con esta Tesis, se procesan imágenes con toda la información de color. Esto implica la necesidad de diseñar conversores entre espacios de color distintos, para adecuar la información al tipo de procesado que se va a realizar con ella. Estos bloques se integran sin alterar la latencia de entrega de los sucesivos fotogramas. El procesamiento de estas imágenes multirresolución genera un mapa de saliencia que permite mover la fóvea hacía la región considerada como más relevante en la escena. El contenido de la imagen se estructura en una jerarquía de niveles de abstracción. A diferencia de otras arquitecturas de este tipo, como son la pirámide regular y el polígono foveal, en las que se trabaja con imágenes de resolución uniforme en los distintos niveles de la jerarquía, la pirámide irregular foveal que se propone en esta tesis combina las ideas de trabajar con una imagen realmente multirresolución, que incluya el campo de visión completo que abarcan sensor y óptica, con el procesamiento jerárquico propio de las pirámides irregulares. Para ello en esta tesis se propone la implementación de un algoritmo de diezmado irregular que, tomando como base la imagen multirresolución, dará como resultado una estructura piramidal donde los distintos niveles no son imágenes sino grafos orientados a la resolución del problema de segmentación y estimación de saliencia. Todo el sistema se integra en torno a la arquitectura de bus AXI, que permite conectar entre si todos los cores desarrollados en la parte lógica, así como el acceso a la memoria compartida con los algoritmos implementados en la parte software. Esto es posible gracias a los bloques de acceso directo a memoria AXI-VDMA, en una propuesta de configuración que permite tanto la integración perfectamente coordinada de la transferencia de la imagen multirresolución generada a la zona de trabajo del algoritmo de segmentación como su recuperación para la posterior visualización del resultado del proceso, y todo ello con una tasa de trabajo que mejora los resultados de plataformas similares.

An approach to coded structured light to obtain three dimensional information

The human visual ability to perceive depth looks like a puzzle. We perceive three-dimensional spatial information quickly and efficiently by using the binocular stereopsis of our eyes and, what is mote important the learning of the most common objects which we achieved through living. Nowadays, modelling the behaviour of our brain is a fiction, that is why the huge problem of 3D perception and further, interpretation is split into a sequence of easier problems. A lot of research is involved in robot vision in order to obtain 3D information of the surrounded scene. Most of this research is based on modelling the stereopsis of humans by using two cameras as if they were two eyes. This method is known as stereo vision and has been widely studied in the past and is being studied at present, and a lot of work will be surely done in the future. This fact allows us to affirm that this topic is one of the most interesting ones in computer vision. The stereo vision principle is based on obtaining the three dimensional position of an object point from the position of its projective points in both camera image planes. However, before inferring 3D information, the mathematical models of both cameras have to be known. This step is known as camera calibration and is broadly describes in the thesis. Perhaps the most important problem in stereo vision is the determination of the pair of homologue points in the two images, known as the correspondence problem, and it is also one of the most difficult problems to be solved which is currently investigated by a lot of researchers. The epipolar geometry allows us to reduce the correspondence problem. An approach to the epipolar geometry is describes in the thesis. Nevertheless, it does not solve it at all as a lot of considerations have to be taken into account. As an example we have to consider points without correspondence due to a surface occlusion or simply due to a projection out of the camera scope. The interest of the thesis is focused on structured light which has been considered as one of the most frequently used techniques in order to reduce the problems related lo stereo vision. Structured light is based on the relationship between a projected light pattern its projection and an image sensor. The deformations between the pattern projected into the scene and the one captured by the camera, permits to obtain three dimensional information of the illuminated scene. This technique has been widely used in such applications as: 3D object reconstruction, robot navigation, quality control, and so on. Although the projection of regular patterns solve the problem of points without match, it does not solve the problem of multiple matching, which leads us to use hard computing algorithms in order to search the correct matches. In recent years, another structured light technique has increased in importance. This technique is based on the codification of the light projected on the scene in order to be used as a tool to obtain an unique match. Each token of light is imaged by the camera, we have to read the label (decode the pattern) in order to solve the correspondence problem. The advantages and disadvantages of stereo vision against structured light and a survey on coded structured light are related and discussed. The work carried out in the frame of this thesis has permitted to present a new coded structured light pattern which solves the correspondence problem uniquely and robust. Unique, as each token of light is coded by a different word which removes the problem of multiple matching. Robust, since the pattern has been coded using the position of each token of light with respect to both co-ordinate axis. Algorithms and experimental results are included in the thesis. The reader can see examples 3D measurement of static objects, and the more complicated measurement of moving objects. The technique can be used in both cases as the pattern is coded by a single projection shot. Then it can be used in several applications of robot vision. Our interest is focused on the mathematical study of the camera and pattern projector models. We are also interested in how these models can be obtained by calibration, and how they can be used to obtained three dimensional information from two correspondence points. Furthermore, we have studied structured light and coded structured light, and we have presented a new coded structured light pattern. However, in this thesis we started from the assumption that the correspondence points could be well-segmented from the captured image. Computer vision constitutes a huge problem and a lot of work is being done at all levels of human vision modelling, starting from a)image acquisition; b) further image enhancement, filtering and processing, c) image segmentation which involves thresholding, thinning, contour detection, texture and colour analysis, and so on. The interest of this thesis starts in the next step, usually known as depth perception or 3D measurement.

A study of 2D features for 3D visual SLAM

Paper submitted to the 43rd International Symposium on Robotics (ISR), Taipei, Taiwan, August 29-31, 2012.

Using a RGB-D camera for 6DoF SLAM

This paper presents a method for fast calculation of the egomotion done by a robot using visual features. The method is part of a complete system for automatic map building and Simultaneous Localization and Mapping (SLAM). The method uses optical flow in order to determine if the robot has done a movement. If so, some visual features which do not accomplish several criteria (like intersection, unicity, etc,) are deleted, and then the egomotion is calculated. We use a state-of-the-art algorithm (TORO) in order to rectify the map and solve the SLAM problem. The proposed method provides better efficiency that other current methods.