New medical registration and segmentation techniques using information-theoretic tools

El processament d'imatges mèdiques és una important àrea de recerca. El desenvolupament de noves tècniques que assisteixin i millorin la interpretació visual de les imatges de manera ràpida i precisa és fonamental en entorns clínics reals. La majoria de contribucions d'aquesta tesi són basades en Teoria de la Informació. Aquesta teoria tracta de la transmissió, l'emmagatzemament i el processament d'informació i és usada en camps tals com física, informàtica, matemàtica, estadística, biologia, gràfics per computador, etc. En aquesta tesi, es presenten nombroses eines basades en la Teoria de la Informació que milloren els mètodes existents en l'àrea del processament d'imatges, en particular en els camps del registre i la segmentació d'imatges. Finalment es presenten dues aplicacions especialitzades per l'assessorament mèdic que han estat desenvolupades en el marc d'aquesta tesi.

Optimization of inverse reflector design

Aquesta tesi presenta un nou mètode pel disseny invers de reflectors. Ens hem centrat en tres temes principals: l’ús de fonts de llum reals i complexes, la definició d’un algoritme ràpid pel càlcul de la il•luminació del reflector, i la definició d’un algoritme d’optimització per trobar més eficientment el reflector desitjat. Les fonts de llum estan representades per models near-field, que es comprimeixen amb un error molt petit, fins i tot per fonts de llum amb milions de raigs i objectes a il•luminar molt propers. Llavors proposem un mètode ràpid per obtenir la distribució de la il•luminació d’un reflector i la seva comparació amb la il•luminació desitjada, i que treballa completament en la GPU. Finalment, proposem un nou mètode d’optimització global que permet trobar la solució en menys passos que molts altres mètodes d’optimització clàssics, i alhora evitant mínims locals.

Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Segmentació de punts 3D rígids i no rígids obtinguts a partir d’un sistema estèreo

L’estudi consta de dues grans parts que serien la part de dissenyar, desenvolupar i implementar els mètodes de segmentació que ens serviran per separar els punts rígids dels punts no rígids/deformables. I l’altra part seria la d’obtenir reconstruccions 3D a partir d’un sistema estèreo, passant per la calibració de les càmeres del sistema, la realització de captures d’experiments reals, la generació de reconstruccions 3D per finalment posar a prova els mètodes desenvolupats en la part anterior

Accuracy estimation of a new omnidirectional 3D vision sensor

We present a computer vision system that associates omnidirectional vision with structured light with the aim of obtaining depth information for a 360 degrees field of view. The approach proposed in this article combines an omnidirectional camera with a panoramic laser projector. The article shows how the sensor is modelled and its accuracy is proved by means of experimental results. The proposed sensor provides useful information for robot navigation applications, pipe inspection, 3D scene modelling etc

Overview of coded light projection techniques for automatic 3D profiling

Obtaining automatic 3D profile of objects is one of the most important issues in computer vision. With this information, a large number of applications become feasible: from visual inspection of industrial parts to 3D reconstruction of the environment for mobile robots. In order to achieve 3D data, range finders can be used. Coded structured light approach is one of the most widely used techniques to retrieve 3D information of an unknown surface. An overview of the existing techniques as well as a new classification of patterns for structured light sensors is presented. This kind of systems belong to the group of active triangulation method, which are based on projecting a light pattern and imaging the illuminated scene from one or more points of view. Since the patterns are coded, correspondences between points of the image(s) and points of the projected pattern can be easily found. Once correspondences are found, a classical triangulation strategy between camera(s) and projector device leads to the reconstruction of the surface. Advantages and constraints of the different patterns are discussed

Implementation of a robust coded structured light technique for dynamic 3D measurements

This paper presents the implementation details of a coded structured light system for rapid shape acquisition of unknown surfaces. Such techniques are based on the projection of patterns onto a measuring surface and grabbing images of every projection with a camera. Analyzing the pattern deformations that appear in the images, 3D information of the surface can be calculated. The implemented technique projects a unique pattern so that it can be used to measure moving surfaces. The structure of the pattern is a grid where the color of the slits are selected using a De Bruijn sequence. Moreover, since both axis of the pattern are coded, the cross points of the grid have two codewords (which permits to reconstruct them very precisely), while pixels belonging to horizontal and vertical slits have also a codeword. Different sets of colors are used for horizontal and vertical slits, so the resulting pattern is invariant to rotation. Therefore, the alignment constraint between camera and projector considered by a lot of authors is not necessary

Disseny i construcció d'un motor 3D en temps real per la Gameboy Advance

El projecte desenvolupat ha tractat l’estudi i disseny d’un motor 3D interactiu a la consola Game Boy Advance (GBA). La GBA disposa d’un processador ARM7TDMI a 16’78 Mhz i no disposa de operacions 3D per-hardware, és una consola lenta en comparació les que podem trobar al mercat d’avui en dia. Aquest treball, va partir de la construcció d’un prototipus ray-casting per-columna. Després, vàrem adaptar-lo a una estructura de portals i sectors. Més tard, es va introduir el mapeig de sostre/terra i de paisatges. Per últim, vàrem introduir efectes a la renderització per donar més realisme al recorregut del món, com il·luminació, objectes, etc. Tot i que es va estudiar l’arquitectura d’un motor eficient, no es tenia prou per arribar a tenir un motor interactiu. Una de les tasques més difícils va ser la part de optimització. Per aconseguir-ho s’ha hagut de substituir operacions a temps real costoses a temps de execució, replantejar parts de l’algorisme per fer-lo més eficient, entre altres

Efficient 3D scene modeling and mosaicing

El modelat d'escenes és clau en un gran ventall d'aplicacions que van des de la generació mapes fins a la realitat augmentada. Aquesta tesis presenta una solució completa per a la creació de models 3D amb textura. En primer lloc es presenta un mètode de Structure from Motion seqüencial, a on el model 3D de l'entorn s'actualitza a mesura que s'adquireix nova informació visual. La proposta és més precisa i robusta que l'estat de l'art. També s'ha desenvolupat un mètode online, basat en visual bag-of-words, per a la detecció eficient de llaços. Essent una tècnica completament seqüencial i automàtica, permet la reducció de deriva, millorant la navegació i construcció de mapes. Per tal de construir mapes en àrees extenses, es proposa un algorisme de simplificació de models 3D, orientat a aplicacions online. L'eficiència de les propostes s'ha comparat amb altres mètodes utilitzant diversos conjunts de dades submarines i terrestres.

Hand-held 3D-scanner for large surface registration

L'objectiu d'aquesta tesi és l'estudi de les diferents tècniques per alinear vistes tridimensionals. Aquest estudi ens ha permès detectar els principals problemes de les tècniques existents, aprotant una solució novedosa i contribuint resolent algunes de les mancances detectades especialment en l'alineament de vistes a temps real. Per tal d'adquirir les esmentades vistes, s'ha dissenyat un sensor 3D manual que ens permet fer adquisicions tridimensionals amb total llibertat de moviments. Així mateix, s'han estudiat les tècniques de minimització global per tal de reduir els efectes de la propagació de l'error.