Design and implementation of machine vision system for the mobile assembly robot

The review of intelligent machines shows that the demand for new ways of helping people in perception of the real world is becoming higher and higher every year. This thesis provides information about design and implementation of machine vision for mobile assembly robot. The work has been done as a part of LUT project in Laboratory of Intelligent Machines. The aim of this work is to create a working vision system. The qualitative and quantitative research were done to complete this task. In the first part, the author presents the theoretical background of such things as digital camera work principles, wireless transmission basics, creation of live stream, methods used for pattern recognition. Formulas, dependencies and previous research related to the topic are shown. In the second part, the equipment used for the project is described. There is information about the brands, models, capabilities and also requirements needed for implementation. Although, the author gives a description of LabVIEW software, its add-ons and OpenCV which are used in the project. Furthermore, one can find results in further section of considered thesis. They mainly represented by screenshots from cameras, working station and photos of the system. The key result of this thesis is vision system created for the needs of mobile assembly robot. Therefore, it is possible to see graphically what was done on examples. Future research in this field includes optimization of the pattern recognition algorithm. This will give less response time for recognizing objects. Presented by author system can be used also for further activities which include artificial intelligence usage.

Inexpensive solution for real-time video and image stitching

Image stitching is the process of joining several images to obtain a bigger view of a scene. It is used, for example, in tourism to transmit to the viewer the sensation of being in another place. I am presenting an inexpensive solution for automatic real time video and image stitching with two web cameras as the video/image sources. The proposed solution relies on the usage of several markers in the scene as reference points for the stitching algorithm. The implemented algorithm is divided in four main steps, the marker detection, camera pose determination (in reference to the markers), video/image size and 3d transformation, and image translation. Wii remote controllers are used to support several steps in the process. The built‐in IR camera provides clean marker detection, which facilitates the camera pose determination. The only restriction in the algorithm is that markers have to be in the field of view when capturing the scene. Several tests where made to evaluate the final algorithm. The algorithm is able to perform video stitching with a frame rate between 8 and 13 fps. The joining of the two videos/images is good with minor misalignments in objects at the same depth of the marker,misalignments in the background and foreground are bigger. The capture process is simple enough so anyone can perform a stitching with a very short explanation. Although real‐time video stitching can be achieved by this affordable approach, there are few shortcomings in current version. For example, contrast inconsistency along the stitching line could be reduced by applying a color correction algorithm to every source videos. In addition, the misalignments in stitched images due to camera lens distortion could be eased by optical correction algorithm. The work was developed in Apple’s Quartz Composer, a visual programming environment. A library of extended functions was developed using Xcode tools also from Apple.

3D reconstruction through photographs

Humans can perceive three dimension, our world is three dimensional and it is becoming increasingly digital too. We have the need to capture and preserve our existence in digital means perhaps due to our own mortality. We have also the need to reproduce objects or create small identical objects to prototype, test or study them. Some objects have been lost through time and are only accessible through old photographs. With robust model generation from photographs we can use one of the biggest human data sets and reproduce real world objects digitally and physically with printers. What is the current state of development in three dimensional reconstruction through photographs both in the commercial world and in the open source world? And what tools are available for a developer to build his own reconstruction software? To answer these questions several pieces of software were tested, from full commercial software packages to open source small projects, including libraries aimed at computer vision. To bring to the real world the 3D models a 3D printer was built, tested and analyzed, its problems and weaknesses evaluated. Lastly using a computer vision library a small software with limited capabilities was developed.

IFTrace: Video segmentation of deformable objects using the Image Foresting Transform

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Utilização de alvos codificados do tipo ARUCO na automação do processo de calibração de câmaras

This paper presents a proposal for the automation of the camera calibration process, locating and measuring image points in coded targets with sub-pixel precision. This automatic technique helps minimize localization errors, regardless of camera orientation and image scale. To develop this technique, several types of coded targets were analyzed and the ARUCO type was chosen due to its simplicity, ability to represent up to 1024 different targets and availability of source code implemented with the OpenCV library. ARUCO targets were generated and two calibration sheets were assembled to be used for the acquisition of images for camera calibration. The developed software can locate targets in the acquired images and it automatically extracts the coordinates of the four corners with sub-pixel accuracy. Experiments were conducted with real data showing that the targets are correctly identified unless excessive noise or fragmentation occurs mainly in the outer target square. The results with the calibration of a low cost camera showed that the process works and that the measurement accuracy of the corners achieves sub-pixel precision.

Tutorial Viola-Jones

Este tutorial pretende ser una guía para la elaboración de clasificadores basados en el esquema de Viola-Jones haciando uso de la biblioteca OpenCV

Detección, seguimiento y análisis de personas en streams de vídeo

[ES] El presente TFG consiste en una aplicación para la detección de personas de cuerpo entero. La idea es aplicar este detector a las continuas imágenes recogidas en tiempo real a través de una web-cam, o de un archivo con formato de vídeo que se encuentre ubicado en el propio sistema. El código está escrito en C++. Para conseguir este objetivo nos basamos en el uso conjunto de dos sistemas de detección ya existentes: primero, OpenCV, mediante un método de histograma de gradientes orientados, el cual ya proporciona propiamente un detector de personas que será aplicado a cada una de las imágenes del stream de vídeo; por otro lado, el detector facial de la librería Encara que se aplica a cada una de las detecciones de supuestas personas obtenidas en el método de OpenCV, para comprobar si hay una cara en la supuesta persona detectada. En caso de ser así, y de haber una cara más o menos correctamente situada, determinamos que es realmente una persona. Para cada persona detectada se guardan sus datos de situación en la imagen, en una lista, para posteriormente compararlos con los datos obtenidos en frames anteriores, e intentar hacer un  seguimiento de todas las personas. Visualmente se observaría como se va recuadrando cada persona con un color determinado aleatorio asignado a cada una, mientras se visualiza el vídeo. También se registra la hora y frame de aparición, y la hora y frame de salida, de cada persona detectada, quedando estos datos guardados tanto en un fichero de log, como en una base de datos. Los resultados son, bastante satisfactorios, aunque con posibilidades de mejora, ya que es un trabajo que permite combinar otras técnicas diferentes a las descritas. Debido a la complejidad de los métodos empleados se destaca la necesidad de alta capacidad de computación para poder ejecutar la aplicación en tiempo real sin ralentizaciones. 

Pezqueñines

[ES] Este Trabajo de Fin de Grado describe el desarrollo de un prototipo para plataformas móviles, que permite determinar si un pez alcanza la talla mínima establecida para su consumo. Para ello se realiza la detección y segmentación de un pez, para posteriormente determinar si cumple con la talla mínima, utilizando como referencia una moneda de un euro para calibrar el tamaño. La detección se realiza aplicando la implementación del esquema de Viola-Jones, integrada en la librería  OpenCV, creando una serie de detectores propios  tanto para los peces como para la moneda. Asimismo se ha utilizado SDK del que dispone dicha librería para desarrollar la aplicación en plataforma móvil Android.

Prototipo de herramienta para el inventariado automático de piezas de Lego basado en visión artificial

Permitida la difusión del código bajo los términos de la licencia BSD de tres cláusulas.

Reidentificación de personas y objetos mediante aprendizaje semisupervisado

[ES]La reidentificación consiste en volver a identificar a un individuo/objeto que ya se ha detectado previamente desde distintas cámaras. En este proyecto se exploran diferentes técnicas para la reidentificación de personas. Se implementan y prueban técnicas que no requieren de aprendizaje previo para realizar una ordenación inicial, al ser este tipo de métodos los que mayor aplicación tienen en un escenario real. Así mismo se usan técnicas de reordenación sobre esta ordenación inicial utilizando la información de un operador humano, aplicando entre otros métodos aprendizaje semisupervisado. Para realizar todo el proceso y facilitar la combinación y automatización de las diversas técnicas se crea un framework denominado PyReID basado en Python y OpenCV, de software libre y disponible públicamente en Github.

An study on ear detection and its applications to face detection

[EN]OpenCV includes di erent object detectors based on the Viola-Jones framework. Most of them are specialized to deal with the frontal face pattern and its inner elements: eyes, nose, and mouth. In this paper, we focus on the ear pattern detection, particularly when a head pro le or almost pro le view is present in the image. We aim at creating real-time ear detectors based on the general object detection framework provided with OpenCV. After training classi ers to detect left ears, right ears, and ears in general, the performance achieved is valid to be used to feed not only a head pose estimation system but also other applications such as those based on ear biometrics.

Sperimentazione con una libreria per la decodifica di bar code in immagini

In questa tesi viene studiata la libreria zbar.h il cui compito è decodificare i barcode presenti in immagini. Per acquisire le immagini si utilizzano funzioni contenute nella libreria OpenCV. Successivamente viene creata un'interfaccia tra OpenCV e ZBar. Vengono effettuati alcuni test per verificare l'efficienza sia di ZBar e sia dell'interfaccia. Concludendo, si crea una nuova libreria in cui sono inglobate le funzioni di ZBar e l'interfaccia OpenCV-ZBar

Riconoscimento e localizzazione di carrelli per la spesa da immagini.

Il lavoro di tesi è stato svolto presso Datalogic ADC, azienda attiva nel campo dell'automazione industriale. La divisione presso cui mi sono recato per 6 mesi ha sede a Pasadena (California, USA) e si occupa principalmente di sistemi di visione e riconoscimento oggetti, con particolare applicazione al settore della grande distribuzione. L'azienda ha in catalogo diversi prodotti finalizzati ad automatizzare e velocizzare il processo di pagamento alle casse da parte dei clienti. In questo contesto, al mio arrivo, era necessario sviluppare un software che permettesse di riconoscere i comuni carrelli per la spesa quando sono inquadrati dall'alto, con posizione verticale della camera. Mi sono quindi occupato di sviluppare ed implementare un algoritmo che permetta di riconoscere i carrelli della spesa sotto ben precise ipotesi e dati iniziali. Come sarà spiegato più dettagliatamente in seguito, è necessario sia individuare la posizione del carrello sia il suo orientamento, al fine di ottenere in quale direzione si stia muovendo. Inoltre, per i diversi impieghi che si sono pensati per il software in oggetto, è necessario che l'algoritmo funzioni sia con carrelli vuoti, sia con carrelli pieni, anche parzialmente. In aggiunta a ciò il programma deve essere in grado di gestire immagini in cui siano presenti più di un carrello, identificando correttamente ciascuno di essi. Nel Capitolo 1 è data una più specifica introduzione al problema e all'approccio utilizzato per risolverlo. Il Capitolo 2 illustra nel dettaglio l'algoritmo utilizzato. Il Capitolo 3 mostra i risultati sperimentali ottenuti e il procedimento seguito per l'analisi degli stessi. Infine il Capitolo 4 espone alcuni accorgimenti che sono stati apportati all'algoritmo iniziale per cercare di velocizzarlo in vista di un possibile impiego, distinguendo i cambiamenti che introducono un leggero degrado delle prestazioni da quelli che non lo implicano. Il Capitolo 5 conclude sinteticamente questa trattazione ricordando i risultati ottenuti.

Riconoscimento preliminare della forma di velivoli con tecniche di elaborazione delle immagini per applicazione a sistemi UAV

Uno dei problemi che ostacola la diffusione in ambito civile degli aerei senza pilota a bordo (UAV) è la gestione della sicurezza in volo. Gli UAV civili, infatti, popolando una regione di spazio aereo molto affollata e devono interagire con una moltitudine di altri mezzi aerei. Per questo motivo, risulta particolarmente critica l'implementazione di logiche di tipo Sense and Avoid, attraverso le quali un UAV deve essere in grado di "vedere" altri mezzi in rotta di collisione ed elaborare le azioni utili ad evitare l'impatto, decidendo se attuare una manovra autonoma di avoiding oppure delegarla al mezzo incontrato. Questa tesi descrive un primo approccio al problema del riconoscimento (Sense) dei mezzi aerei che un generico velivolo UAV può incontrare durante la normale condotta del volo. In particolare, si descrivono le strategie impiegate e gli ambienti software utilizzati per testare alcune procedure di riconoscimento delle immagini applicabili alla fase di detection dell'intruder, situazione tipica del caso di studio. I risultati sperimentali ottenuti dalla progettazione e dallo sviluppo di un apposito software, consistono nell'implementazione e successiva valutazione di diverse tecniche, individuando le criticità del problema.