Entorn de programació pel robot Stäubli mitjantçant MatLab, aplicació a un sistema de recol·lecció de peces basat en visió artificial

Els objectius del projecte són: realitzar un intèrpret de comandes en VAL3 que rebi les ordres a través d’una connexió TCP/IP; realitzar una toolbox de Matlab per enviar diferents ordres mitjançant una connexió TCP/IP; adquirir i processar mitjançant Matlab imatges de la càmera en temps real i detectar la posició d’objectes artificials mitjançant la segmentació per color i dissenyar i realitzar una aplicació amb Matlab que reculli peces detectades amb la càmera. L’abast del projecte inclou: l’estudi del llenguatge de programació VAL3 i disseny de l’ intèrpret de comandes, l’estudi de les llibreries de Matlab per comunicació mitjançant TCP/IP, per l’adquisició d’imatges, pel processament d’imatges i per la programació en C; el disseny de la aplicació recol·lectora de peces i la implementació de: un intèrpret de comandes en VAL3, la toolbox pel control del robot STAUBLI en Matlab i la aplicació recol·lectora de peces mitjançant el processament d’imatges en temps real també en Matlab

An approach to coded structured light to obtain three dimensional information

The human visual ability to perceive depth looks like a puzzle. We perceive three-dimensional spatial information quickly and efficiently by using the binocular stereopsis of our eyes and, what is mote important the learning of the most common objects which we achieved through living. Nowadays, modelling the behaviour of our brain is a fiction, that is why the huge problem of 3D perception and further, interpretation is split into a sequence of easier problems. A lot of research is involved in robot vision in order to obtain 3D information of the surrounded scene. Most of this research is based on modelling the stereopsis of humans by using two cameras as if they were two eyes. This method is known as stereo vision and has been widely studied in the past and is being studied at present, and a lot of work will be surely done in the future. This fact allows us to affirm that this topic is one of the most interesting ones in computer vision. The stereo vision principle is based on obtaining the three dimensional position of an object point from the position of its projective points in both camera image planes. However, before inferring 3D information, the mathematical models of both cameras have to be known. This step is known as camera calibration and is broadly describes in the thesis. Perhaps the most important problem in stereo vision is the determination of the pair of homologue points in the two images, known as the correspondence problem, and it is also one of the most difficult problems to be solved which is currently investigated by a lot of researchers. The epipolar geometry allows us to reduce the correspondence problem. An approach to the epipolar geometry is describes in the thesis. Nevertheless, it does not solve it at all as a lot of considerations have to be taken into account. As an example we have to consider points without correspondence due to a surface occlusion or simply due to a projection out of the camera scope. The interest of the thesis is focused on structured light which has been considered as one of the most frequently used techniques in order to reduce the problems related lo stereo vision. Structured light is based on the relationship between a projected light pattern its projection and an image sensor. The deformations between the pattern projected into the scene and the one captured by the camera, permits to obtain three dimensional information of the illuminated scene. This technique has been widely used in such applications as: 3D object reconstruction, robot navigation, quality control, and so on. Although the projection of regular patterns solve the problem of points without match, it does not solve the problem of multiple matching, which leads us to use hard computing algorithms in order to search the correct matches. In recent years, another structured light technique has increased in importance. This technique is based on the codification of the light projected on the scene in order to be used as a tool to obtain an unique match. Each token of light is imaged by the camera, we have to read the label (decode the pattern) in order to solve the correspondence problem. The advantages and disadvantages of stereo vision against structured light and a survey on coded structured light are related and discussed. The work carried out in the frame of this thesis has permitted to present a new coded structured light pattern which solves the correspondence problem uniquely and robust. Unique, as each token of light is coded by a different word which removes the problem of multiple matching. Robust, since the pattern has been coded using the position of each token of light with respect to both co-ordinate axis. Algorithms and experimental results are included in the thesis. The reader can see examples 3D measurement of static objects, and the more complicated measurement of moving objects. The technique can be used in both cases as the pattern is coded by a single projection shot. Then it can be used in several applications of robot vision. Our interest is focused on the mathematical study of the camera and pattern projector models. We are also interested in how these models can be obtained by calibration, and how they can be used to obtained three dimensional information from two correspondence points. Furthermore, we have studied structured light and coded structured light, and we have presented a new coded structured light pattern. However, in this thesis we started from the assumption that the correspondence points could be well-segmented from the captured image. Computer vision constitutes a huge problem and a lot of work is being done at all levels of human vision modelling, starting from a)image acquisition; b) further image enhancement, filtering and processing, c) image segmentation which involves thresholding, thinning, contour detection, texture and colour analysis, and so on. The interest of this thesis starts in the next step, usually known as depth perception or 3D measurement.

An approach to vision-based station keeping for an unmanned underwater vehicle

This paper presents an automatic vision-based system for UUV station keeping. The vehicle is equipped with a down-looking camera, which provides images of the sea-floor. The station keeping system is based on a feature-based motion detection algorithm, which exploits standard correlation and explicit textural analysis to solve the correspondence problem. A visual map of the area surveyed by the vehicle is constructed to increase the flexibility of the system, allowing the vehicle to position itself when it has lost the reference image. The testing platform is the URIS underwater vehicle. Experimental results demonstrating the behavior of the system on a real environment are presented

Accuracy estimation of a new omnidirectional 3D vision sensor

We present a computer vision system that associates omnidirectional vision with structured light with the aim of obtaining depth information for a 360 degrees field of view. The approach proposed in this article combines an omnidirectional camera with a panoramic laser projector. The article shows how the sensor is modelled and its accuracy is proved by means of experimental results. The proposed sensor provides useful information for robot navigation applications, pipe inspection, 3D scene modelling etc

Behaviours implemented using a vision system based on coded light projection

In a search for new sensor systems and new methods for underwater vehicle positioning based on visual observation, this paper presents a computer vision system based on coded light projection. 3D information is taken from an underwater scene. This information is used to test obstacle avoidance behaviour. In addition, the main ideas for achieving stabilisation of the vehicle in front of an object are presented

Modelling stereoscopic vision systems for robotic applications

Aquesta tesi s'emmarca dins del projecte CICYT TAP 1999-0443-C05-01. L'objectiu d'aquest projecte és el disseny, implementació i avaluació de robots mòbils, amb un sistema de control distribuït, sistemes de sensorització i xarxa de comunicacions per realitzar tasques de vigilància. Els robots han de poder-se moure per un entorn reconeixent la posició i orientació dels diferents objectes que l'envolten. Aquesta informació ha de permetre al robot localitzar-se dins de l'entorn on es troba per poder-se moure evitant els possibles obstacles i dur a terme la tasca encomanada. El robot ha de generar un mapa dinàmic de l'entorn que serà utilitzat per localitzar la seva posició. L'objectiu principal d'aquest projecte és aconseguir que un robot explori i construeixi un mapa de l'entorn sense la necessitat de modificar el propi entorn. Aquesta tesi està enfocada en l'estudi de la geometria dels sistemes de visió estereoscòpics formats per dues càmeres amb l'objectiu d'obtenir informació geomètrica 3D de l'entorn d'un vehicle. Aquest objectiu tracta de l'estudi del modelatge i la calibració de càmeres i en la comprensió de la geometria epipolar. Aquesta geometria està continguda en el que s'anomena emph{matriu fonamental}. Cal realitzar un estudi del càlcul de la matriu fonamental d'un sistema estereoscòpic amb la finalitat de reduir el problema de la correspondència entre dos plans imatge. Un altre objectiu és estudiar els mètodes d'estimació del moviment basats en la geometria epipolar diferencial per tal de percebre el moviment del robot i obtenir-ne la posició. Els estudis de la geometria que envolta els sistemes de visió estereoscòpics ens permeten presentar un sistema de visió per computador muntat en un robot mòbil que navega en un entorn desconegut. El sistema fa que el robot sigui capaç de generar un mapa dinàmic de l'entorn a mesura que es desplaça i determinar quin ha estat el moviment del robot per tal de emph{localitzar-se} dins del mapa. La tesi presenta un estudi comparatiu dels mètodes de calibració de càmeres més utilitzats en les últimes dècades. Aquestes tècniques cobreixen un gran ventall dels mètodes de calibració clàssics. Aquest mètodes permeten estimar els paràmetres de la càmera a partir d'un conjunt de punts 3D i de les seves corresponents projeccions 2D en una imatge. Per tant, aquest estudi descriu un total de cinc tècniques de calibració diferents que inclouen la calibració implicita respecte l'explicita i calibració lineal respecte no lineal. Cal remarcar que s'ha fet un gran esforç en utilitzar la mateixa nomenclatura i s'ha estandaritzat la notació en totes les tècniques presentades. Aquesta és una de les dificultats principals a l'hora de poder comparar les tècniques de calibració ja què cada autor defineix diferents sistemes de coordenades i diferents conjunts de paràmetres. El lector és introduït a la calibració de càmeres amb la tècnica lineal i implícita proposada per Hall i amb la tècnica lineal i explicita proposada per Faugeras-Toscani. A continuació es passa a descriure el mètode a de Faugeras incloent el modelatge de la distorsió de les lents de forma radial. Seguidament es descriu el conegut mètode proposat per Tsai, i finalment es realitza una descripció detallada del mètode de calibració proposat per Weng. Tots els mètodes són comparats tant des del punt de vista de model de càmera utilitzat com de la precisió de la calibració. S'han implementat tots aquests mètodes i s'ha analitzat la precisió presentant resultats obtinguts tant utilitzant dades sintètiques com càmeres reals. Calibrant cada una de les càmeres del sistema estereoscòpic es poden establir un conjunt de restriccions geomètri ques entre les dues imatges. Aquestes relacions són el que s'anomena geometria epipolar i estan contingudes en la matriu fonamental. Coneixent la geometria epipolar es pot: simplificar el problema de la correspondència reduint l'espai de cerca a llarg d'una línia epipolar; estimar el moviment d'una càmera quan aquesta està muntada sobre un robot mòbil per realitzar tasques de seguiment o de navegació; reconstruir una escena per aplicacions d'inspecció, propotipatge o generació de motlles. La matriu fonamental s'estima a partir d'un conjunt de punts en una imatges i les seves correspondències en una segona imatge. La tesi presenta un estat de l'art de les tècniques d'estimació de la matriu fonamental. Comença pels mètode lineals com el dels set punts o el mètode dels vuit punts, passa pels mètodes iteratius com el mètode basat en el gradient o el CFNS, fins arribar las mètodes robustos com el M-Estimators, el LMedS o el RANSAC. En aquest treball es descriuen fins a 15 mètodes amb 19 implementacions diferents. Aquestes tècniques són comparades tant des del punt de vista algorísmic com des del punt de vista de la precisió que obtenen. Es presenten el resultats obtinguts tant amb imatges reals com amb imatges sintètiques amb diferents nivells de soroll i amb diferent quantitat de falses correspondències. Tradicionalment, l'estimació del moviment d'una càmera està basada en l'aplicació de la geometria epipolar entre cada dues imatges consecutives. No obstant el cas tradicional de la geometria epipolar té algunes limitacions en el cas d'una càmera situada en un robot mòbil. Les diferencies entre dues imatges consecutives són molt petites cosa que provoca inexactituds en el càlcul de matriu fonamental. A més cal resoldre el problema de la correspondència, aquest procés és molt costós en quant a temps de computació i no és gaire efectiu per aplicacions de temps real. En aquestes circumstàncies les tècniques d'estimació del moviment d'una càmera solen basar-se en el flux òptic i en la geometria epipolar diferencial. En la tesi es realitza un recull de totes aquestes tècniques degudament classificades. Aquests mètodes són descrits unificant la notació emprada i es remarquen les semblances i les diferencies entre el cas discret i el cas diferencial de la geometria epipolar. Per tal de poder aplicar aquests mètodes a l'estimació de moviment d'un robot mòbil, aquest mètodes generals que estimen el moviment d'una càmera amb sis graus de llibertat, han estat adaptats al cas d'un robot mòbil que es desplaça en una superfície plana. Es presenten els resultats obtinguts tant amb el mètodes generals de sis graus de llibertat com amb els adaptats a un robot mòbil utilitzant dades sintètiques i seqüències d'imatges reals. Aquest tesi finalitza amb una proposta de sistema de localització i de construcció d'un mapa fent servir un sistema estereoscòpic situat en un robot mòbil. Diverses aplicacions de robòtica mòbil requereixen d'un sistema de localització amb l'objectiu de facilitar la navegació del vehicle i l'execució del les trajectòries planificades. La localització es sempre relativa al mapa de l'entorn on el robot s'està movent. La construcció de mapes en un entorn desconegut és una tasca important a realitzar per les futures generacions de robots mòbils. El sistema que es presenta realitza la localització i construeix el mapa de l'entorn de forma simultània. A la tesi es descriu el robot mòbil GRILL, que ha estat la plataforma de treball emprada per aquesta aplicació, amb el sistema de visió estereoscòpic que s'ha dissenyat i s'ha muntat en el robot. També es descriu tots el processos que intervenen en el sistema de localització i construcció del mapa. La implementació d'aquest processos ha estat possible gràcies als estudis realitzats i presentats prèviament (calibració de càmeres, estimació de la matriu fonamental, i estimació del moviment) sense els quals no s'hauria pogut plantejar aquest sistema. Finalment es presenten els mapes en diverses trajectòries realitzades pel robot GRILL en el laboratori. Les principals contribucions d'aquest treball són: ·Un estat de l'art sobre mètodes de calibració de càmeres. El mètodes són comparats tan des del punt de vista del model de càmera utilitzat com de la precisió dels mètodes. ·Un estudi dels mètodes d'estimació de la matriu fonamental. Totes les tècniques estudiades són classificades i descrites des d'un punt de vista algorísmic. ·Un recull de les tècniques d'estimació del moviment d'una càmera centrat en el mètodes basat en la geometria epipolar diferencial. Aquestes tècniques han estat adaptades per tal d'estimar el moviment d'un robot mòbil. ·Una aplicació de robòtica mòbil per tal de construir un mapa dinàmic de l'entorn i localitzar-se per mitja d'un sistema estereoscòpic. L'aplicació presentada es descriu tant des del punt de vista del maquinari com del programari que s'ha dissenyat i implementat.

Sistema informàtic d’ajut a la detecció i al seguiment del melanoma

Mitjançant les tècniques de visió per computador aquest projecte pretén desenvolupar una aplicació capaç de segmentar la pell, detectar nevus (pigues i altres taques) i poder comparar imatges de pacients amb risc de contreure melanoma preses en moments diferents. Aquest projecte pretén oferir diferents eines informàtiques als dermatòlegs per a propòsits relacionats amb la investigació. L’ objectiu principal d’ aquest projecte és desenvolupar un sistema informàtic que proporcioni als dermatòlegs agilitat a l’hora de gestionar les dades dels pacients amb les sevesimatges corresponents, ajudar-los en la realització de deteccions dels nevus d’aquestes imatges, i ajudar-los en la comparació d’exploracions (amb les deteccions realitzades)de diferents èpoques d’un mateix pacient

Reconeixement i seguiment d’objectes en vídeo a partir del seu moviment

L’objectiu d’aquest PFC és estudiar la branca de la detecció d’objectes en vídeos segons el seu moviment. Per fer-ho es crearà un algorisme que sigui capaç de tractar un vídeo, calculant el nombre d’objectes de l’escena i quina és la posició de cada un d’aquests. L’algorisme ha de ser capaç de trobar un conjunt de regions útils i a partir d’aquest, separar-lo en diferents grups, cada un representant un objecte en moviment. La finalitat d’aquest projecte és l’estudi de la detecció d’objectes en vídeo. Intentarem crear un algorisme que ens permeti dur a terme aquest estudi i treure’n conclusions. Pretenem fer un algorisme, o un conjunt d’algorismes, en Matlab que sigui capaç de donat qualsevol vídeo, pugui retornar un conjunt de imatges, o un vídeo, amb els diferents objectes de l’escena destacats. Es faran proves en diferents situacions, des de objectes sintètics amb un moviment clarament definit, fins a proves en seqüències reals extretes de diferents pel•lícules. Per últim es pretén comprovar l’eficiència d’aquest. Ja que el projecte s’emmarca en la línia de recerca de robòtica i visió per computador, la tasca principal serà la manipulació d’imatges. Per tant farem servir el Matlab, ja que les imatges no son res més que matrius i aquest programa permet el càlcul vectorial i matricial d’una manera senzilla i realment eficient

Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Segmentació de punts 3D rígids i no rígids obtinguts a partir d’un sistema estèreo

L’estudi consta de dues grans parts que serien la part de dissenyar, desenvolupar i implementar els mètodes de segmentació que ens serviran per separar els punts rígids dels punts no rígids/deformables. I l’altra part seria la d’obtenir reconstruccions 3D a partir d’un sistema estèreo, passant per la calibració de les càmeres del sistema, la realització de captures d’experiments reals, la generació de reconstruccions 3D per finalment posar a prova els mètodes desenvolupats en la part anterior

Millora d’un prototipus de control de qualitat de producció de paper pintat basat en visió per computador

L’objectiu d’aquest projecte és realitzar l’anàlisi, disseny i implementació d’una nova eina per analitzar les diferencies entre el paper que s’està produint i les mostres de referència, que millori els resultats obtinguts pel prototipus anterior i faciliti la interpretació dels resultats obtinguts, per part dels operaris de l’empresa. Partint de dos imatges escannejades que anomenem patró i mostra, que corresponen respectivament a les imatges de referència i de la mostra de producció

Desenvolupament d’un sistema de visió estereoscòpica per a la reconstrucció tridimensional d’objectes

El projecte consisteix en analitzar, dissenyar i desenvolupar un sistema estèreo binocular (format per dues càmeres) sobre un suport que ofereixi la mobilitat i portabilitat necessària per utilitzar-lo de forma independent, és a dir, sense necessitat de connexió a un ordinador, ja que normalment, els sistemes de visió per computador solen incorporar un ordinador amb un frame grabber (placa de captura d’imatges). Per a dur a terme el sistema estèreo més adient, s’analitzaran els requeriments necessaris, s’estudiaran diferents alternatives, i finalment, es desenvoluparà i es demostrarà el funcionament del sistema en qüestió

Rehabilitació i control d'un manipulador industrial

El grup de visió per computadora de la Universitat de Girona, disposava d’un manipulador lineal com a sistema de posicionament, per poder inspeccionar mitjançant visió artificial, la superfície de diverses peces. El control es realitzava a partir d’un PLC, controlant la posició de la plataforma de posicionament a partir d’un servomotor, un servocontrolador i una targeta d’entrada i sortida de polsos. Es pretén la recuperació d’aquest sistema de posicionament lineal a partir de la recopilació de la informació inicial. El nou ús serà enfocat al posicionament i a la classificació de diversos elements. D’aquesta forma es podrà estudiar el funcionament d’un servomotor governat per un servodriver i una targeta d’entrada i sortida de polsos i s’utilitzarà com a element didàctic per a la universitat. Es complementarà la documentació disponible i s’elaborarà informació tècnica

Reconeixement de cd-roms musicals mitjançant visió per computador

Dissenyar, implementar i testejar un sistema per classificar imatges: disseny d’un sistema que primer aprèn com són les imatges d’una classe a partir d’un conjunt d’imatges d’entrenament i després és capaç de classificar noves imatges assignant-les-hi l’ etiqueta corresponent a una de les classes “apreses”. Concretament s’analitzen caràtules de cd-roms, les quals s’han de reconèixer per després reproduir automàticament la música del seu àlbum associat

Differential epipolar constraint in mobile robot egomotion estimation

The estimation of camera egomotion is a well established problem in computer vision. Many approaches have been proposed based on both the discrete and the differential epipolar constraint. The discrete case is mainly used in self-calibrated stereoscopic systems, whereas the differential case deals with a unique moving camera. The article surveys several methods for mobile robot egomotion estimation covering more than 0.5 million samples using synthetic data. Results from real data are also given