Online Robust 3D Mapping Using Structure from Motion Cues

This paper presents a complete solution for creating accurate 3D textured models from monocular video sequences. The methods are developed within the framework of sequential structure from motion, where a 3D model of the environment is maintained and updated as new visual information becomes available. The camera position is recovered by directly associating the 3D scene model with local image observations. Compared to standard structure from motion techniques, this approach decreases the error accumulation while increasing the robustness to scene occlusions and feature association failures. The obtained 3D information is used to generate high quality, composite visual maps of the scene (mosaics). The visual maps are used to create texture-mapped, realistic views of the scene

Efficient 3D scene modeling and mosaicing

El modelat d'escenes és clau en un gran ventall d'aplicacions que van des de la generació mapes fins a la realitat augmentada. Aquesta tesis presenta una solució completa per a la creació de models 3D amb textura. En primer lloc es presenta un mètode de Structure from Motion seqüencial, a on el model 3D de l'entorn s'actualitza a mesura que s'adquireix nova informació visual. La proposta és més precisa i robusta que l'estat de l'art. També s'ha desenvolupat un mètode online, basat en visual bag-of-words, per a la detecció eficient de llaços. Essent una tècnica completament seqüencial i automàtica, permet la reducció de deriva, millorant la navegació i construcció de mapes. Per tal de construir mapes en àrees extenses, es proposa un algorisme de simplificació de models 3D, orientat a aplicacions online. L'eficiència de les propostes s'ha comparat amb altres mètodes utilitzant diversos conjunts de dades submarines i terrestres.

Recovering Euclidean deformable models from stereo-motion

In this paper we present a novel structure from motion (SfM) approach able to infer 3D deformable models from uncalibrated stereo images. Using a stereo setup dramatically improves the 3D model estimation when the observed 3D shape is mostly deforming without undergoing strong rigid motion. Our approach first calibrates the stereo system automatically and then computes a single metric rigid structure for each frame. Afterwards, these 3D shapes are aligned to a reference view using a RANSAC method in order to compute the mean shape of the object and to select the subset of points on the object which have remained rigid throughout the sequence without deforming. The selected rigid points are then used to compute frame-wise shape registration and to extract the motion parameters robustly from frame to frame. Finally, all this information is used in a global optimization stage with bundle adjustment which allows to refine the frame-wise initial solution and also to recover the non-rigid 3D model. We show results on synthetic and real data that prove the performance of the proposed method even when there is no rigid motion in the original sequence

An approach to coded structured light to obtain three dimensional information

The human visual ability to perceive depth looks like a puzzle. We perceive three-dimensional spatial information quickly and efficiently by using the binocular stereopsis of our eyes and, what is mote important the learning of the most common objects which we achieved through living. Nowadays, modelling the behaviour of our brain is a fiction, that is why the huge problem of 3D perception and further, interpretation is split into a sequence of easier problems. A lot of research is involved in robot vision in order to obtain 3D information of the surrounded scene. Most of this research is based on modelling the stereopsis of humans by using two cameras as if they were two eyes. This method is known as stereo vision and has been widely studied in the past and is being studied at present, and a lot of work will be surely done in the future. This fact allows us to affirm that this topic is one of the most interesting ones in computer vision. The stereo vision principle is based on obtaining the three dimensional position of an object point from the position of its projective points in both camera image planes. However, before inferring 3D information, the mathematical models of both cameras have to be known. This step is known as camera calibration and is broadly describes in the thesis. Perhaps the most important problem in stereo vision is the determination of the pair of homologue points in the two images, known as the correspondence problem, and it is also one of the most difficult problems to be solved which is currently investigated by a lot of researchers. The epipolar geometry allows us to reduce the correspondence problem. An approach to the epipolar geometry is describes in the thesis. Nevertheless, it does not solve it at all as a lot of considerations have to be taken into account. As an example we have to consider points without correspondence due to a surface occlusion or simply due to a projection out of the camera scope. The interest of the thesis is focused on structured light which has been considered as one of the most frequently used techniques in order to reduce the problems related lo stereo vision. Structured light is based on the relationship between a projected light pattern its projection and an image sensor. The deformations between the pattern projected into the scene and the one captured by the camera, permits to obtain three dimensional information of the illuminated scene. This technique has been widely used in such applications as: 3D object reconstruction, robot navigation, quality control, and so on. Although the projection of regular patterns solve the problem of points without match, it does not solve the problem of multiple matching, which leads us to use hard computing algorithms in order to search the correct matches. In recent years, another structured light technique has increased in importance. This technique is based on the codification of the light projected on the scene in order to be used as a tool to obtain an unique match. Each token of light is imaged by the camera, we have to read the label (decode the pattern) in order to solve the correspondence problem. The advantages and disadvantages of stereo vision against structured light and a survey on coded structured light are related and discussed. The work carried out in the frame of this thesis has permitted to present a new coded structured light pattern which solves the correspondence problem uniquely and robust. Unique, as each token of light is coded by a different word which removes the problem of multiple matching. Robust, since the pattern has been coded using the position of each token of light with respect to both co-ordinate axis. Algorithms and experimental results are included in the thesis. The reader can see examples 3D measurement of static objects, and the more complicated measurement of moving objects. The technique can be used in both cases as the pattern is coded by a single projection shot. Then it can be used in several applications of robot vision. Our interest is focused on the mathematical study of the camera and pattern projector models. We are also interested in how these models can be obtained by calibration, and how they can be used to obtained three dimensional information from two correspondence points. Furthermore, we have studied structured light and coded structured light, and we have presented a new coded structured light pattern. However, in this thesis we started from the assumption that the correspondence points could be well-segmented from the captured image. Computer vision constitutes a huge problem and a lot of work is being done at all levels of human vision modelling, starting from a)image acquisition; b) further image enhancement, filtering and processing, c) image segmentation which involves thresholding, thinning, contour detection, texture and colour analysis, and so on. The interest of this thesis starts in the next step, usually known as depth perception or 3D measurement.

Mòdul de visualització 3D d’ ajuda al diagnòstic de les neoplàsies rectals

El diagnòstic mitjançant la imatge mèdica s’ha convertit en una eina fonamental en la pràctica clínica, permet entre altres coses, reconstruir a partir d’un conjunt d’imatges 2D, obtingudes a partir d’aparells de captació, qualsevol part de l’organisme d’un pacient i representar-lo en un model 3D. Sobre aquest model 3D poden realitzar-se diferents operacions que faciliten el diagnòstic i la presa de decisions als especialistes. El projecte que es presenta forma part del desenvolupament de la plataforma informàtica de visualització i tractament de dades mèdiques, anomenada Starviewer, que desenvolupen conjuntament el laboratori de Gràfics i Imatge (GiLab) de la Universitat de Girona i l’ Institut de Diagnòstic per la Imatge (IDI) de l’Hospital Josep Trueta de Girona. En particular, en aquest projecte es centra en el diagnòstic del càncer colorectal i el desenvolupament de mètodes i tècniques de suport al seu diagnòstic. Els dos punts claus en el tractament d’aqueta patologia són: la detecció de les lesions I l’estudi de l’evolució d’aquestes lesions, una vegada s’ha iniciat el tractament tumoral. L’objectiu principal d’aquest projecte és implementar i integrar en la plataforma Starviewer les tècniques de visualització i processament de dades necessàries per donar suport als especialistes en el diagnòstic de les lesions del colon. Donada la dificultat en el processament de les dades reals del budell ens proposem: dissenyar i implementar un sistema per crear models sintètics del budell; estudiar, implementar i avaluar les tècniques de processament d’imatge que calen per segmentar lesions de budell; dissenyar i implementar un sistema d’exploració del budell iintegrar de tots els mòduls implementats en la plataforma starviewer

Laser stripe peak detector for 3D scanners: a FIR filter approach

The accuracy of a 3D reconstruction using laser scanners is significantly determined by the detection of the laser stripe. Since the energy pattern of such a stripe corresponds to a Gaussian profile, it makes sense to detect the point of maximum light intensity (or peak) by computing the zero-crossing point of the first derivative of such Gaussian profile. However, because noise is present in every physical process, such as electronic image formation, it is not sensitive to perform the derivative of the image of the stripe in almost any situation, unless a previous filtering stage is done. Considering that stripe scanning is an inherently row-parallel process, every row of a given image must be processed independently in order to compute its corresponding peak position in the row. This paper reports on the use of digital filtering techniques in order to cope with the scanning of different surfaces with different optical properties and different noise levels, leading to the proposal of a more accurate numerical peak detector, even at very low signal-to-noise ratios

Overview of coded light projection techniques for automatic 3D profiling

Obtaining automatic 3D profile of objects is one of the most important issues in computer vision. With this information, a large number of applications become feasible: from visual inspection of industrial parts to 3D reconstruction of the environment for mobile robots. In order to achieve 3D data, range finders can be used. Coded structured light approach is one of the most widely used techniques to retrieve 3D information of an unknown surface. An overview of the existing techniques as well as a new classification of patterns for structured light sensors is presented. This kind of systems belong to the group of active triangulation method, which are based on projecting a light pattern and imaging the illuminated scene from one or more points of view. Since the patterns are coded, correspondences between points of the image(s) and points of the projected pattern can be easily found. Once correspondences are found, a classical triangulation strategy between camera(s) and projector device leads to the reconstruction of the surface. Advantages and constraints of the different patterns are discussed

Cap a un model per interpretar i facilitar l'aprendre: estratègies i recursos per a la reflexió-acció en i des de la pràctica

1.- L'enquadrament d'aquest treball de recerca s'ha fet en i des de la praxis. EI que interessa és descobrir i proposar instruments pedagògics d'ajuda, assequibles i contextualitzats, especialment en el terreny de la comunicació i la interacció Educador-Educand. La metodologia que s'ha fet servir és de caire qualitatiu, etnogràfic, en un enfocament basat en la investigació-acció. La visió de la persona és volgudament holística; els sentiments, els significats, I' orientació personal, I' autodirecció. esdevenen elements centrals. La hipòtesi de treball, en la qual es fonamenta la recerca, podria formular-se així: 'En la pràctica, els Educadors, d'una forma més o menys reflexiva, perceben i interpreten el procés d'aprendre dels Educands; hi intervenen, el mediatitzen; n'avaluen la direcció i l'encert". A partir d'aquest supòsit, l'investigador veu convenient donar resposta a tres qüestions centrals: A) Com comprenem i interpretem els Educadors el procés d'aprendre dels Educands?; B) Quin tipus d'intervenció resultarà adient per promoure i/o facilitar l'aprendre?; C) Amb quins instruments i estratègies comptem per ajudar pedagògicament? 2.- Per llegir l'aprendre, l'investigador fa ús d'un model mental, indispensable per ordenar les dades de l'experiència. Convé, per tant, explicitar-lo, fer-ne ciència, coneixement compartit. En aquesta direcció de treball se li plantegen dos tipus d'interrogants: A) Quins són els elements comuns a qualsevol experiència d'aprenentatge?; Quina mena d'activitat o experiència personal desenvolupen tots els Educands; i B) Com es manifesta aquesta experiència? Amb quins indicadors? Quina mena de "text" llegeix l'Educador per orientar la seva intervenció d'ajuda? 3.- L'aprenentatge. en aquest treball, és considerat per l'investigador com la resultant de tres processos personals: el posicionament, l'estratègia i l'avaluació. Quan l'Educador vol compartir amb l'Educand el seu procés idiosincràtic d'aprendre, procura reconstruir amb ell aquestes tres accions bàsiques: A) Com es posiciona: què tem o desitja, què creu, què espera, quines expectatives viu, com es motiva? B) Quines són les seves pautes d'actuació: com treballa, com memoritza, com recupera la informació que té a la memòria, què fa davant d'un problema... ? C) Què busca; què és important per a ella; què pretén... ? 4.- Davant la complexitat dels missatges emesos per l'Educand l'investigador opta per llegir tres tipus de "textos": els productes i els resultats; les conductes; i els missatges parlats. Entre tots tres, pensa, podrà trobar elements i indicadors adequats per fonamentar, sempre hipotèticament, la seva actuació pedagògica. 5.- Procura sobretot detectar i fer existir els èxits, aquells productes i/o resultats que l'Educand troba valuosos, per tal d'ajudar-lo a prendre consciència dels seu repertori personal d'estratègies i capacitats. En aquest àmbit es proposen tres actituds o enfocaments del treball d'ajuda: A) El primer fa referència a la presa de consciència de l'estratègia personal, que s'amaga darrera el producte valorat. B) El segon apunta cap al respecte per l'estratègia que cadascú executa i, per tant, li és familiar. L'Educand la necessita. Es la seva. Es troba en la seva experiència, encara que no necessàriament existeixi en la seva construcció conscient. C) El tercer ,el duu a valorar l'estratègia d'acord amb les finalitats de l'Educand. La seva adequació es legitima pel que es proposa. Partim del supòsit que tota conducta es troba dirigida per un propòsit a vegades difícil de copsar i no sempre recomanable per a l'Educand. 6.- La conducta percebuda de l'Educand és entesa com un missatge, un conjunt d'indicadors de la seva activitat contextualitzada, interna i externa; missatge que, en relació amb altres, com els productes i les verbalitzacions, manifesta fragments dels seus significats, projectes, estratègies, valors. Es fa un èmfasi especial en les conductes "internes", els gestos mentals, l'acció interior, tramesa per mitja de microcomportaments sovint no conscient, i certificada per mitjà de la verbalització del viscut. 7.- Parlar amb l'Educand suposa dues menes d'accions: escoltar i emetre. Escoltem per comprendre; emetem per perfilar la comprensió i també per ajudar. En l'emissió, el missatge pedagògic té dues funcions: a) rellançar i orientar el pensament i l'autoexploració de l'Educand; i b) influir per tal que desenvolupi amb èxit el seu projecte d'aprendre. Interessa d'una manera especial ajudar a integrar en la consciència de l'Educand aquests elements de la seva experiència que poden facilitar-li l'adquisició del coneixement. I entenem que, en aquesta empresa, la paraula i la interacció verbal poden tenir-hi un joc important. Per aquesta raó s'ha considerat necessari oferir un model d'anàlisi de la interacció i els missatges verbals. 8.- "Les persones aprenen sempre, amb recursos, processos i sistemes de valoració idiosincràtics, per fa qual cosa la seva orientació en el context esdevé un referent central en el disseny de l'ajuda pedagògica i en la seva avaluació". Aquesta és la hipòtesi de sortida per dissenyar la intervenció pedagògica. Tothom aprèn, inevitablement; la qüestió és quina cosa està aprenent i de quina manera els seus resultats d'ara són mediatitzats per l'experiència passada i, alhora, condicionen el seu aprendre futur. L'aprenent es posiciona, anticipa el procés d' aprendre, valora la seva. capacitat per desenvolupar-lo amb èxit, es motiva en una determinada direcció, d'acord amb la seva experiència, els seus aprenentatges anteriors. Executa estratègies, mostra un tipus d'intel·ligència, una forma personal de processar la informació. Pretén quelcom. És un sistema obert en relació amb el medi: hi ha uns valors que dirigeixen la seva presa de decisions. Utilitza uns criteris propis, una gamma personal d'opcions conscients. Avalua el que fa, el resultat que obté i la seva capacitat personal. 9.- L'ajuda pedagògica que I' autor proposa s'encamina sobretot a facilitar en l'Educand la descoberta dels seus propis recursos. Es tracta de portar-lo cap a la consideració atenta de la seva pròpia experiència, per amplificar-la i fer-la existir com a recurs conscient . Ha dibuixat i experimentat tres conjunts d'intervenció cadascun enfocat vers un àmbit de l'experiència d'aprendre, el qual col·loca com a prioritari, sense oblidar qualsevol dels altres que pugui ser rellevant, per comprendre o ajudar. A) Intervenció sobre el posicionament. En aquest àmbit enfoca l'estil de motivació que executa l'Educand, mira de corregir-lo, si cal, a partir de l'anàlisi i la comprensió de les seves formes de motivar-se quan ell viu l'èxit. Treballa proposant objectius paradoxals de fracàs gairebé impossible, buscant l'assoliment de petits èxits, potser aparentment insignificants, però estratègics; prescriu l'automatisme, per modificar-lo si l'Educand ho desitja; comprova el procés d'anticipació de I' experiència que l'aprenent es construeix per orientar-se; l'ajuda a contextualitzar anticipació i a fer ús dels seus Ilenguatges interns més eficaços i còmodes;... B) Intervenció sobre les estratègies i processos. En un segon enfocament, no necessàriament posterior al descrit, considera les estratègies de I'Educand, també a partir dels seus encerts i èxits. Mira de portar-lo cap a fa descripció i presa de consciència de les seves maneres de fer mes còmodes i segures, les que lliguen amb les seves preferències cerebrals. Quan viu dificultats, el convida a explorar les excepcions, els moments en els quals les seves realitzacions són satisfactòries. Pretén sobretot modificar les seves creences limitants, posant-lo en conflicte amb els fets de l'experiència. A vegades, caldrà facilitar l'adquisició d'estratègies i procediments nous que l'Educand considera plausibles. Es tracta específicament de fer existir opcions noves d'actuació per tal d'assolir allò que vol i/o necessita. C) Intervenció sobre el sistema de valors de l'Educand. L'Educand viu uns valors, els quals expliquen el seu món intern les conductes que realitza i els resultats que obté. Aquest àmbit és col·locat, en el model, al centre del procés d'aprendre. Hom actua amb propòsits determinats, no necessariament conscients. L'obertura de la persona a l'experiència d'aprendre es dirigeix segons criteris i valors irrenunciables. 10.- L 'Educador procura compartir els objectius de l'Educand i els seus projectes per assolir-los; vol tanmateix que se'n faci coneixedor i director responsable. Per a això li convé preguntar-se per quina mena d'experiència està desenvolupant i quin sentit ecològic te per a ell. L'Educador, el seu model del món, la seva persona, està compromès en el procés d'ajuda. No és només un tècnic que aplica recursos objectius. El seu model de comunicació, el seu pensament, les seves expectatives i anticipacions, tenen un pes considerable en el tipus d'intervenció pedagògica que durà a terme i, d'escreix, en el tipus d' aprenentatge que facilita. En la intervenció, l'Educador parteix d'una avaluació intencionadament positiva, centrada en els recursos i les solucions, en la metacognició i l'autoregulació dels processos, a partir de premisses que pressuposen l'èxit personal.

Hand-held 3D-scanner for large surface registration

L'objectiu d'aquesta tesi és l'estudi de les diferents tècniques per alinear vistes tridimensionals. Aquest estudi ens ha permès detectar els principals problemes de les tècniques existents, aprotant una solució novedosa i contribuint resolent algunes de les mancances detectades especialment en l'alineament de vistes a temps real. Per tal d'adquirir les esmentades vistes, s'ha dissenyat un sensor 3D manual que ens permet fer adquisicions tridimensionals amb total llibertat de moviments. Així mateix, s'han estudiat les tècniques de minimització global per tal de reduir els efectes de la propagació de l'error.

Integració 3D de detectors de píxels híbrids

La miniaturització de la industria microelectrònica és un fet del tot inqüestionables i la tecnologia CMOS no n'és una excepció. En conseqüència la comunitat científica s'ha plantejat dos grans reptes: En primer lloc portar la tecnologia CMOS el més lluny possible ('Beyond CMOS') tot desenvolupant sistemes d'altes prestacions com microprocessadors, micro - nanosistemes o bé sistemes de píxels. I en segon lloc encetar una nova generació electrònica basada en tecnologies totalment diferents dins l'àmbit de les Nanotecnologies. Tots aquests avanços exigeixen una recerca i innovació constant en la resta d'àrees complementaries com són les d'encapsulat. L'encapsulat ha de satisfer bàsicament tres funcions: Interfície elèctrica del sistema amb l'exterior, Proporcionar un suport mecànic al sistema i Proporcionar un camí de dissipació de calor. Per tant, si tenim en compte que la majoria d'aquests dispositius d'altes prestacions demanden un alt nombre d'entrades i sortides, els mòduls multixip (MCMs) i la tecnologia flip chip es presenten com una solució molt interessant per aquests tipus de dispositiu. L'objectiu d'aquesta tesi és la de desenvolupar una tecnologia de mòduls multixip basada en interconnexions flip chip per a la integració de detectors de píxels híbrids, que inclou: 1) El desenvolupament d'una tecnologia de bumping basada en bumps de soldadura Sn/Ag eutèctics dipositats per electrodeposició amb un pitch de 50µm, i 2) El desenvolupament d'una tecnologia de vies d'or en silici que permet interconnectar i apilar xips verticalment (3D packaging) amb un pitch de 100µm. Finalment aquesta alta capacitat d'interconnexió dels encapsulats flip chip ha permès que sistemes de píxels tradicionalment monolítics puguin evolucionar cap a sistemes híbrids més compactes i complexes, i que en aquesta tesi s'ha vist reflectit transferint la tecnologia desenvolupada al camp de la física d'altes energies, en concret implantant el sistema de bump bonding d'un mamògraf digital. Addicionalment s'ha implantat també un dispositiu detector híbrid modular per a la reconstrucció d'imatges 3D en temps real, que ha donat lloc a una patent.