Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Laser stripe peak detector for 3D scanners: a FIR filter approach

The accuracy of a 3D reconstruction using laser scanners is significantly determined by the detection of the laser stripe. Since the energy pattern of such a stripe corresponds to a Gaussian profile, it makes sense to detect the point of maximum light intensity (or peak) by computing the zero-crossing point of the first derivative of such Gaussian profile. However, because noise is present in every physical process, such as electronic image formation, it is not sensitive to perform the derivative of the image of the stripe in almost any situation, unless a previous filtering stage is done. Considering that stripe scanning is an inherently row-parallel process, every row of a given image must be processed independently in order to compute its corresponding peak position in the row. This paper reports on the use of digital filtering techniques in order to cope with the scanning of different surfaces with different optical properties and different noise levels, leading to the proposal of a more accurate numerical peak detector, even at very low signal-to-noise ratios

Entorn de treball per a visualitzar escenes tridimensionals

Creació d'un entorn de treball per tal de visualitzar models tridimensionals en temps real amb dos objectius: proporcionar una interfície gràfica per poder visualitzar interactivament una escena, modificant-ne els seus elements i aconseguir un disseny que faci el projecte altament revisable i reutilitzable en el futur, i serveixi per tant de plataforma per provar altres projectes

Modelatge procedural d’edificis

L’objectiu d’aquest PFC és el desenvolupament d’una eina pel modelatge procedural d’edificis i altres estructures arquitectòniques. El modelatge d’edificis és, per si sol, un bon tema on aplicar‐hi la programació procedural. Un edifici normal compte sempre amb elements que es repeteixen en altura i amplada. El fet de “repetir” una tasca suggereix sempre l’aplicació d’algun tipus de procediment per tal de simplificar i reduir la feina de l’usuari a l’hora de desenvolupar aquesta feina

Ampliación de las capacidades de visualización de un SIG libre mediante la comunicación con un navegador 3D

Las capacidades para la gestión, procesado y análisis de datos geoespaciales que ofrecen los Sistemas de Información Geográfica unidas a las prestaciones de visualización de los navegadores 3D sobre el terreno, abre una cantidad ilimitada de posibilidades en el área de la cartografía digital y su explotación en diferentes ámbitos técnicos y sociales. (...)

Mòdul de visualització 3D d’ ajuda al diagnòstic de les neoplàsies rectals

El diagnòstic mitjançant la imatge mèdica s’ha convertit en una eina fonamental en la pràctica clínica, permet entre altres coses, reconstruir a partir d’un conjunt d’imatges 2D, obtingudes a partir d’aparells de captació, qualsevol part de l’organisme d’un pacient i representar-lo en un model 3D. Sobre aquest model 3D poden realitzar-se diferents operacions que faciliten el diagnòstic i la presa de decisions als especialistes. El projecte que es presenta forma part del desenvolupament de la plataforma informàtica de visualització i tractament de dades mèdiques, anomenada Starviewer, que desenvolupen conjuntament el laboratori de Gràfics i Imatge (GiLab) de la Universitat de Girona i l’ Institut de Diagnòstic per la Imatge (IDI) de l’Hospital Josep Trueta de Girona. En particular, en aquest projecte es centra en el diagnòstic del càncer colorectal i el desenvolupament de mètodes i tècniques de suport al seu diagnòstic. Els dos punts claus en el tractament d’aqueta patologia són: la detecció de les lesions I l’estudi de l’evolució d’aquestes lesions, una vegada s’ha iniciat el tractament tumoral. L’objectiu principal d’aquest projecte és implementar i integrar en la plataforma Starviewer les tècniques de visualització i processament de dades necessàries per donar suport als especialistes en el diagnòstic de les lesions del colon. Donada la dificultat en el processament de les dades reals del budell ens proposem: dissenyar i implementar un sistema per crear models sintètics del budell; estudiar, implementar i avaluar les tècniques de processament d’imatge que calen per segmentar lesions de budell; dissenyar i implementar un sistema d’exploració del budell iintegrar de tots els mòduls implementats en la plataforma starviewer

Visualización geográfica 3D. Estándares y aplicaciones

Desde la aparición de Google Earth se ha desencadenado una proliferación de aplicaciones de “visores 3D” o globos virtuales facilitando a los usuarios la navegación y exploración de cualquier localización de la Tierra en formato 3D. A estas alturas, nadie puede negar la repercusión mediática de este tipo de aplicaciones y, sobretodo, el impacto diseminador de conceptos geográficos (capas, mapas, etc.) que ha tenido sobre la gran mayoría de usuarios, normalmente no especializados en el dominio geográfico. En el ámbito del software libre, a los originales World Wind (.NET) y Ossimplanet se han venido uniendo iniciativas en otras plataformas como Marble KDE, nuevas versiones de WordWind (Java SDK), a las que últimamente se están añadiendo iniciativas españolas dignas de consideración, como el Capaware canario y el módulo 3D de gvSIG. En este artículo se analiza el estado del desarrollo de estos proyectos, así como los estándares y formatos específicos que se están elaborando en el OGC para el ámbito específico de la información geográfica tridimensional (modelado de escenarios, objetos, terreno o cachés)

Segmentació de punts 3D rígids i no rígids obtinguts a partir d’un sistema estèreo

L’estudi consta de dues grans parts que serien la part de dissenyar, desenvolupar i implementar els mètodes de segmentació que ens serviran per separar els punts rígids dels punts no rígids/deformables. I l’altra part seria la d’obtenir reconstruccions 3D a partir d’un sistema estèreo, passant per la calibració de les càmeres del sistema, la realització de captures d’experiments reals, la generació de reconstruccions 3D per finalment posar a prova els mètodes desenvolupats en la part anterior

Desenvolupament d’un sistema de visió estereoscòpica per a la reconstrucció tridimensional d’objectes

El projecte consisteix en analitzar, dissenyar i desenvolupar un sistema estèreo binocular (format per dues càmeres) sobre un suport que ofereixi la mobilitat i portabilitat necessària per utilitzar-lo de forma independent, és a dir, sense necessitat de connexió a un ordinador, ja que normalment, els sistemes de visió per computador solen incorporar un ordinador amb un frame grabber (placa de captura d’imatges). Per a dur a terme el sistema estèreo més adient, s’analitzaran els requeriments necessaris, s’estudiaran diferents alternatives, i finalment, es desenvoluparà i es demostrarà el funcionament del sistema en qüestió

Modelatge basat en exemples de carrers d’una ciutat

L’objectiu d’aquest projecte és el desenvolupament d’una eina de generació de xarxes de carrers a partir d’exemples. L’eina ha de permetre generar una xarxa de carrers nova que sigui semblant a l’existent en un mapa vectorial donat. A més, també es pretén unir aquesta aplicació amb l’urbanEngine per tal de poder generar vistes en 3D sobre aquestes xarxes de carrers, a més d’ampliar les opcions de l’urbanEngine a l’hora de crear ciutats

Modelatge procedural de ciutats

L’objectiu d’aquest projecte és el desenvolupament d’una eina pel modelatge procedural de ciutats i xarxes de carrers. El modelatge de carrers és, per si sol, un bon tema on aplicar-hi la programació procedural. Les ciutats solen comptar amb patrons que es van repetint al llarg del territori. El fet de “repetir” una tasca suggereix sempre l’aplicació d’algun tipus de procediment per tal de simplificar i reduir la feina de l’usuari a l’hora de desenvolupar aquesta tasca. Shan utilitzat bàsicament tres eines diferents: Un modelador 3D, un llenguatge d’scripting i un llenguatge flexible per a definir els edificis

Recovering Euclidean deformable models from stereo-motion

In this paper we present a novel structure from motion (SfM) approach able to infer 3D deformable models from uncalibrated stereo images. Using a stereo setup dramatically improves the 3D model estimation when the observed 3D shape is mostly deforming without undergoing strong rigid motion. Our approach first calibrates the stereo system automatically and then computes a single metric rigid structure for each frame. Afterwards, these 3D shapes are aligned to a reference view using a RANSAC method in order to compute the mean shape of the object and to select the subset of points on the object which have remained rigid throughout the sequence without deforming. The selected rigid points are then used to compute frame-wise shape registration and to extract the motion parameters robustly from frame to frame. Finally, all this information is used in a global optimization stage with bundle adjustment which allows to refine the frame-wise initial solution and also to recover the non-rigid 3D model. We show results on synthetic and real data that prove the performance of the proposed method even when there is no rigid motion in the original sequence

Surface registration from range image fusion

The registration of full 3-D models is an important task in computer vision. Range finders only reconstruct a partial view of the object. Many authors have proposed several techniques to register 3D surfaces from multiple views in which there are basically two aspects to consider. First, poor registration in which some sort of correspondences are established. Second, accurate registration in order to obtain a better solution. A survey of the most common techniques is presented and includes experimental results of some of them

Online Robust 3D Mapping Using Structure from Motion Cues

This paper presents a complete solution for creating accurate 3D textured models from monocular video sequences. The methods are developed within the framework of sequential structure from motion, where a 3D model of the environment is maintained and updated as new visual information becomes available. The camera position is recovered by directly associating the 3D scene model with local image observations. Compared to standard structure from motion techniques, this approach decreases the error accumulation while increasing the robustness to scene occlusions and feature association failures. The obtained 3D information is used to generate high quality, composite visual maps of the scene (mosaics). The visual maps are used to create texture-mapped, realistic views of the scene

Omnidirectional Depth Computation from a Single Image

Omnidirectional cameras offer a much wider field of view than the perspective ones and alleviate the problems due to occlusions. However, both types of cameras suffer from the lack of depth perception. A practical method for obtaining depth in computer vision is to project a known structured light pattern on the scene avoiding the problems and costs involved by stereo vision. This paper is focused on the idea of combining omnidirectional vision and structured light with the aim to provide 3D information about the scene. The resulting sensor is formed by a single catadioptric camera and an omnidirectional light projector. It is also discussed how this sensor can be used in robot navigation applications