Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Efficient 3D scene modeling and mosaicing

El modelat d'escenes és clau en un gran ventall d'aplicacions que van des de la generació mapes fins a la realitat augmentada. Aquesta tesis presenta una solució completa per a la creació de models 3D amb textura. En primer lloc es presenta un mètode de Structure from Motion seqüencial, a on el model 3D de l'entorn s'actualitza a mesura que s'adquireix nova informació visual. La proposta és més precisa i robusta que l'estat de l'art. També s'ha desenvolupat un mètode online, basat en visual bag-of-words, per a la detecció eficient de llaços. Essent una tècnica completament seqüencial i automàtica, permet la reducció de deriva, millorant la navegació i construcció de mapes. Per tal de construir mapes en àrees extenses, es proposa un algorisme de simplificació de models 3D, orientat a aplicacions online. L'eficiència de les propostes s'ha comparat amb altres mètodes utilitzant diversos conjunts de dades submarines i terrestres.

Disparity-defined objects moving in depth do not elicit three-dimensional shape constancy

Observers generally fail to recover three-dimensional shape accurately from binocular disparity. Typically, depth is overestimated at near distances and underestimated at far distances [Johnston, E. B. (1991). Systematic distortions of shape from stereopsis. Vision Research, 31, 1351–1360]. A simple prediction from this is that disparity-defined objects should appear to expand in depth when moving towards the observer, and compress in depth when moving away. However, additional information is provided when an object moves from which 3D Euclidean shape can be recovered, be this through the addition of structure from motion information [Richards, W. (1985). Structure from stereo and motion. Journal of the Optical Society of America A, 2, 343–349], or the use of non-generic strategies [Todd, J. T., & Norman, J. F. (2003). The visual perception of 3-D shape from multiple cues: Are observers capable of perceiving metric structure? Perception and Psychophysics, 65, 31–47]. Here, we investigated shape constancy for objects moving in depth. We found that to be perceived as constant in shape, objects needed to contract in depth when moving toward the observer, and expand in depth when moving away, countering the effects of incorrect distance scaling (Johnston, 1991). This is a striking example of the failure of shape con- stancy, but one that is predicted if observers neither accurately estimate object distance in order to recover Euclidean shape, nor are able to base their responses on a simpler processing strategy.

Um sistema para extração automática de keyframes a partir de fluxos de vídeo direcionado à reconstrução tridimensional de cenários virtuais

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

Leopoli-Cencelle beyond virtual reality Documentazione, interpretazione e comprensione di una città medievale

La città medievale di Leopoli-Cencelle (fondata da Papa Leone IV nell‘854 d.C. non lontano da Civitavecchia) è stata oggetto di studio e di periodiche campagne di scavo a partire dal 1994. Le stratigrafie investigate con metodi tradizionali, hanno portato alla luce le numerose trasformazioni che la città ha subìto nel corso della sua esistenza in vita. Case, torri, botteghe e strati di vissuto, sono stati interpretati sin dall’inizio dello scavo basandosi sulla documentazione tradizionale e bi-dimensionale, legata al dato cartaceo e al disegno. Il presente lavoro intende re-interpretare i dati di scavo con l’ausilio delle tecnologie digitali. Per il progetto sono stati utilizzati un laser scanner, tecniche di Computer Vision e modellazione 3D. I tre metodi sono stati combinati in modo da poter visualizzare tridimensionalmente gli edifici abitativi scavati, con la possibilità di sovrapporre semplici modelli 3D che permettano di formulare ipotesi differenti sulla forma e sull’uso degli spazi. Modellare spazio e tempo offrendo varie possibilità di scelta, permette di combinare i dati reali tridimensionali, acquisiti con un laser scanner, con semplici modelli filologici in 3D e offre l’opportunità di valutare diverse possibili interpretazioni delle caratteristiche dell’edificio in base agli spazi, ai materiali, alle tecniche costruttive. Lo scopo del progetto è andare oltre la Realtà Virtuale, con la possibilità di analizzare i resti e di re-interpretare la funzione di un edificio, sia in fase di scavo che a scavo concluso. Dal punto di vista della ricerca, la possibilità di visualizzare le ipotesi sul campo favorisce una comprensione più profonda del contesto archeologico. Un secondo obiettivo è la comunicazione a un pubblico di “non-archeologi”. Si vuole offrire a normali visitatori la possibilità di comprendere e sperimentare il processo interpretativo, fornendo loro qualcosa in più rispetto a una sola ipotesi definitiva.

A Semantic-based Framework for Digital Survey of Architectural Heritage

The research aims at developing a framework for semantic-based digital survey of architectural heritage. Rooted in knowledge-based modeling which extracts mathematical constraints of geometry from architectural treatises, as-built information of architecture obtained from image-based modeling is integrated with the ideal model in BIM platform. The knowledge-based modeling transforms the geometry and parametric relation of architectural components from 2D printings to 3D digital models, and create large amount variations based on shape grammar in real time thanks to parametric modeling. It also provides prior knowledge for semantically segmenting unorganized survey data. The emergence of SfM (Structure from Motion) provides access to reconstruct large complex architectural scenes with high flexibility, low cost and full automation, but low reliability of metric accuracy. We solve this problem by combing photogrammetric approaches which consists of camera configuration, image enhancement, and bundle adjustment, etc. Experiments show the accuracy of image-based modeling following our workflow is comparable to that from range-based modeling. We also demonstrate positive results of our optimized approach in digital reconstruction of portico where low-texture-vault and dramatical transition of illumination bring huge difficulties in the workflow without optimization. Once the as-built model is obtained, it is integrated with the ideal model in BIM platform which allows multiple data enrichment. In spite of its promising prospect in AEC industry, BIM is developed with limited consideration of reverse-engineering from survey data. Besides representing the architectural heritage in parallel ways (ideal model and as-built model) and comparing their difference, we concern how to create as-built model in BIM software which is still an open area to be addressed. The research is supposed to be fundamental for research of architectural history, documentation and conservation of architectural heritage, and renovation of existing buildings.

Restauro e applicazioni informatiche: il cantiere di palazzo del Podestà in Bologna.

La tesi si pone il duplice obiettivo, da un lato, di seguire e approfondire i lavori di restauro e messa in sicurezza delle facciate di palazzo del Podestà, dall'altro, contemporaneamente, di proporre, sviluppare e sperimentare strumenti digitali da utilizzare durante la progettazione e l'esecuzione degli interventi di Restauro. Il settore del restauro architettonico si presenta, più di tanti altri, caratterizzato dalla molteplicità delle figure che intervengono nel corso del processso produttivo e dalla grandissima varietà e quantità di informazioni che entrano in gioco, partendo dalla fase di rilievo dello stato di fatto, fino all'indispensabile documentazione di fine lavori. Prendendo avvio, dunque, dal tirocinio svolto presso la Leonardo S.r.l. di Bologna, si è svolta una riflessione sui processi gestionali ed operativi legati alle operazioni di restauro e ci si è proposti di sviluppare e proporre alcuni strumenti digitali che, senza stravolgere l'attuale processo produttivo, potessero portare benefici operativi all'attività aziendale, facilitare il controllo ed il feedback da parte del committente e migliorare ed alleggerire l'onere della rendicontazione dei lavori. L'orizzonte di questi strumenti è multiplo: per l'attualità è stata sviluppata, in collaborazione con l'ENEA di Bologna, un'applicazione mobile su piattaforma FileMaker per la gestione delle operazioni di restauro attraverso la creazione di un database per la gestione delle analisi e del cantiere; mentre, per uno sviluppo "a regime" fra qualche anno, si è valutata l'efficacia di tecnologie SfM (Structure from Motion) per il rilievo speditivo e la documentazione. Nell'ottica di sviluppi ancora più lontani, infine, le due fasi saranno riunite nella proposta di tecnologie di realtà aumentata con l'obiettivo futuribile di poter passare direttamente dalla realtà e dal rilievo tridimensionale speditivo al progetto ed alla documentazione, senza dovere necessariamente passare da elaborati grafici bidimensionali. Durante tutte queste fasi lo sviluppo delle tecnologie è proceduto di pari passo con il cantiere di palazzo del Podestà, tanto nelle fasi di approfondita ricerca storica, quanto nella produzione delle schede di intervento. L'occasione della ricerca storica ha anche permesso di stilare un semplice regesto, corredato da immagini e bibliografia che raduna ed integra con materiali inediti i numerosi contributi sul tema che si sono succeduti dalla fine del XIX ai giorni nostri.

Il rilievo della facciata della chiesa di Santa Lucia a Bologna, mediante sistemi fotogrammetrici a basso costo e open source.

Questo elaborato presenta una procedura di rilievo eseguito con la scansione Laser e la Fotogrammetria per lo studio della facciata della Chiesa di Santa Lucia in Bologna e le successive elaborazioni dei dati tramite software di correlazione automatica Open Source e commerciali Low Cost basati sui principi della Structure from Motion. Nel particolare, il rilievo laser è stato eseguito da 5 posizioni diverse e tramite l’utilizzo di 7 target, mentre il rilievo fotogrammetrico è stato di tipo speditivo poiché le prese sono state eseguite solo da terra ed è stato impiegato un tempo di lavoro minimo (una decina di minuti). I punti di appoggio per la georeferenziazione dei dati fotogrammetrici sono stati estratti dal datum fornito dal laser e dal set di fotogrammi a disposizione è stato ottenuta una nuvola di punti densa tramite programmi Open Source e con software commerciali. Si sono quindi potuti operare confronti tra i risultati ottenuti con la fotogrammetria e tra il dato che si aveva di riferimento, cioè il modello tridimensionale ottenuto grazie al rilievo laser. In questo modo si è potuto verificare l’accuratezza dei risultati ottenuti con la fotogrammetria ed è stato possibile determinare quale calcolo teorico approssimativo dell’errore poteva essere funzionante per questo caso di studio e casi simili. Inoltre viene mostrato come produrre un foto raddrizzamento tramite l’utilizzo di una sola foto utilizzando un programma freeware. Successivamente è stata vettorializzata la facciata della chiesa ed è stata valutata l’accuratezza di tale prodotto, sempre confrontandola con il dato di riferimento, ed infine è stato determinato quale calcolo teorico dell’errore poteva essere utilizzato in questo caso. Infine, avendo notato la diffusione nel commercio odierno della stampa di oggetti 3D, è stato proposto un procedimento per passare da una nuvola di punti tridimensionale ad un modello 3D stampato.

Visual Fixation for 3D Video Stabilization

Visual fixation is employed by humans and some animals to keep a specific 3D location at the center of the visual gaze. Inspired by this phenomenon in nature, this paper explores the idea to transfer this mechanism to the context of video stabilization for a handheld video camera. A novel approach is presented that stabilizes a video by fixating on automatically extracted 3D target points. This approach is different from existing automatic solutions that stabilize the video by smoothing. To determine the 3D target points, the recorded scene is analyzed with a stateof- the-art structure-from-motion algorithm, which estimates camera motion and reconstructs a 3D point cloud of the static scene objects. Special algorithms are presented that search either virtual or real 3D target points, which back-project close to the center of the image for as long a period of time as possible. The stabilization algorithm then transforms the original images of the sequence so that these 3D target points are kept exactly in the center of the image, which, in case of real 3D target points, produces a perfectly stable result at the image center. Furthermore, different methods of additional user interaction are investigated. It is shown that the stabilization process can easily be controlled and that it can be combined with state-of-theart tracking techniques in order to obtain a powerful image stabilization tool. The approach is evaluated on a variety of videos taken with a hand-held camera in natural scenes.

Generating Realistic Camera Shake for Virtual Scenes

When depicting both virtual and physical worlds, the viewer's impression of presence in these worlds is strongly linked to camera motion. Plausible and artist-controlled camera movement can substantially increase scene immersion. While physical camera motion exhibits subtle details of position, rotation, and acceleration, these details are often missing for virtual camera motion. In this work, we analyze camera movement using signal theory. Our system allows us to stylize a smooth user-defined virtual base camera motion by enriching it with plausible details. A key component of our system is a database of videos filmed by physical cameras. These videos are analyzed with a camera-motion estimation algorithm (structure-from-motion) and labeled manually with a specific style. By considering spectral properties of location, orientation and acceleration, our solution learns camera motion details. Consequently, an arbitrary virtual base motion, defined in any conventional animation package, can be automatically modified according to a user-selected style. In an animation package the camera motion base path is typically defined by the user via function curves. Another possibility is to obtain the camera path by using a mixed reality camera in motion capturing studio. As shown in our experiments, the resulting shots are still fully artist-controlled, but appear richer and more physically plausible.

Uso de nubes de puntos 3D para identificación y caracterización de familias de discontinuidades planas en afloramientos rocosos y evaluación de la calidad geomecánica

En este trabajo se estudia el uso de las nubes de puntos en 3D, es decir, un conjunto de puntos en un sistema de referencia cartesiano en R3, para la identificación y caracterización de las discontinuidades que afloran en un macizo rocoso y su aplicación al campo de la Mecánica de Rocas. Las nubes de puntos utilizadas se han adquirido mediante tres técnicas: sintéticas, 3D laser scanner y la técnica de fotogrametría digital Structure From Motion (SfM). El enfoque está orientado a la extracción y caracterización de familias de discontinuidades y su aplicación a la evaluación de la calidad de un talud rocoso mediante la clasificación geomecánica Slope Mass Rating (SMR). El contenido de la misma está dividido en tres bloques, como son: (1) metodología de extracción de discontinuidades y clasificación de la nube de puntos 3D; (2) análisis de espaciados normales en nubes de puntos 3D; y (3) análisis de la evaluación de la calidad geomecánica de taludes rocoso mediante la clasificación geomecánica SMR a partir de nubes de puntos 3D. La primera línea de investigación consiste en el estudio de las nubes de puntos 3D con la finalidad de extraer y caracterizar las discontinuidades planas presentes en la superficie de un macizo rocoso. En primer lugar, se ha recopilado información de las metodologías existentes y la disponibilidad de programas para su estudio. Esto motivó la decisión de investigar y diseñar un proceso de clasificación novedoso, que muestre todos los pasos para su programación e incluso ofreciendo el código programado a la comunidad científica bajo licencia GNU GPL. De esta forma, se ha diseñado una novedosa metodología y se ha programado un software que analiza nubes de puntos 3D de forma semi-automática, permitiendo al usuario interactuar con el proceso de clasificación. Dicho software se llama Discontinuity Set Extractor (DSE). El método se ha validado empleando nubes de puntos sintéticas y adquiridas con 3D laser scanner. En primer lugar, este código analiza la nube de puntos efectuando un test de coplanaridad para cada punto y sus vecinos próximos para, a continuación, calcular el vector normal de la superficie en el punto estudiado. En segundo lugar, se representan los polos de los vectores normales calculados en el paso previo en una falsilla estereográfica. A continuación se calcula la densidad de los polos y los polos con mayor densidad o polos principales. Estos indican las orientaciones de la superficie más representadas, y por tanto las familias de discontinuidades. En tercer lugar, se asigna a cada punto una familia en dependencia del ángulo formado por el vector normal del punto y el de la familia. En este punto el usuario puede visualizar la nube de puntos clasificada con las familias de discontinuidades que ha determinado para validar el resultado intermedio. En cuarto lugar, se realiza un análisis cluster en el que se determina la agrupación de puntos según planos para cada familia (clusters). A continuación, se filtran aquellos que no tengan un número de puntos suficiente y se determina la ecuación de cada plano. Finalmente, se exportan los resultados de la clasificación a un archivo de texto para su análisis y representación en otros programas. La segunda línea de investigación consiste en el estudio del espaciado entre discontinuidades planas que afloran en macizos rocosos a partir de nubes de puntos 3D. Se desarrolló una metodología de cálculo de espaciados a partir de nubes de puntos 3D previamente clasificadas con el fin de determinar las relaciones espaciales entre planos de cada familia y calcular el espaciado normal. El fundamento novedoso del método propuesto es determinar el espaciado normal de familia basándonos en los mismos principios que en campo, pero sin la restricción de las limitaciones espaciales, condiciones de inseguridad y dificultades inherentes al proceso. Se consideraron dos aspectos de las discontinuidades: su persistencia finita o infinita, siendo la primera el aspecto más novedoso de esta publicación. El desarrollo y aplicación del método a varios casos de estudio permitió determinar su ámbito de aplicación. La validación se llevó a cabo con nubes de puntos sintéticas y adquiridas con 3D laser scanner. La tercera línea de investigación consiste en el análisis de la aplicación de la información obtenida con nubes de puntos 3D a la evaluación de la calidad de un talud rocoso mediante la clasificación geomecánica SMR. El análisis se centró en la influencia del uso de orientaciones determinadas con distintas fuentes de información (datos de campo y técnicas de adquisición remota) en la determinación de los factores de ajuste y al valor del índice SMR. Los resultados de este análisis muestran que el uso de fuentes de información y técnicas ampliamente aceptadas pueden ocasionar cambios en la evaluación de la calidad del talud rocoso de hasta una clase geomecánica (es decir, 20 unidades). Asimismo, los análisis realizados han permitido constatar la validez del índice SMR para cartografiar zonas inestables de un talud. Los métodos y programas informáticos desarrollados suponen un importante avance científico para el uso de nubes de puntos 3D para: (1) el estudio y caracterización de las discontinuidades de los macizos rocosos y (2) su aplicación a la evaluación de la calidad de taludes en roca mediante las clasificaciones geomecánicas. Asimismo, las conclusiones obtenidas y los medios y métodos empleados en esta tesis doctoral podrán ser contrastadas y utilizados por otros investigadores, al estar disponibles en la web del autor bajo licencia GNU GPL.

Using Terrestrial LiDAR to Monitor Erosion within the Gold Basin Landslide Complex, Verlot, WA

In 2014 the United States Forest Service closed the Gold Basin Campground of western Washington in an effort to protect the public from unstable hillslopes directly adjacent to the campground. The Gold Basin Landslide Complex (GBLC) is actively eroding via block fall, dry ravel, and debris flows, which contribute sediment into the South Fork of the Stillaguamish River. This sediment diminishes the salmonid population within the South Fork of the Stillaguamish River by reducing habitable spawning grounds, which is a big concern to the Stillaguamish Tribe of Indians. In this investigation, I quantified patterns of degradation and total volume of sediment erosion from the middle lobe of the GBLC over the period of July 2015 through January 2016 using terrestrial (ground-based) LiDAR (TLS). I characterized site specific stratigraphy and geomorphic processes, and laid the groundwork for future, long-term monitoring of this site. Results of this investigation determined that ~ 4,800m3 of sediment was eroded from the middle lobe of the GBLC during the 6 month study period (July 2015 – January 2016). This erosion likely occurred from debris flows, raveling of poorly sorted sand and gravel deposits and block failures of high plasticity silts and clays, and/or other mass wasting mechanisms. The generalized stratigraphic sequence in the GBLC consists of alternating massive beds of sand and gravel with silts and clays. The low permeability of these silts and clays provide a perfect venue for groundwater to percolate, as I observed during field investigations, which likely contributes to the active instability of the hillslopes. Continued monitoring and mapping of this complex will lead to viable information that could help both the United States Forest Service and the Stillaguamish Tribe.

Observations of Joints Present in the Lawton Clay Member of the Vashon Stade, Exposed at a Coastal Bluff in Discovery Park, Seattle, Washington

The southwest-facing coastal bluff present at Discovery Park, Seattle, Washington, displays distinctive joints throughout the exposed Lawton Clay Member. Exhibiting a characteristic local stratigraphy of permeable advance outwash over the impermeable proglacial lacustrine clay, this bluff is located in an area of Seattle at high risk from landslides. This project addressed the relationship between the joints observed at this coastal bluff and the coherency of the bluff as a whole, through remote sensing and field measurements. Aerial drone photography taken of the bluff was processed through a photogrammetry software to produce a 3-dimensional Structure from Motion model, allowing for a digital manipulation and broad examination of the bluff not possible by foot. Stereonet plots produced from these measurements provided insight into patterns of varying joint strike along a horizontal transect of the observed bluff face. Taken together, these two visualizations provided a better picture of the possible chicken-and-egg interaction of the joints and bluff topography; they demonstrated the likelihood that the joint formation at the bluff was most likely to be primarily influenced by the local topography of the bluff over other sources of possible tensional stress in the immediate area.

Self-calibrated, multi-spectral photometric stereo for 3D face capture

This paper addresses the problem of obtaining 3d detailed reconstructions of human faces in real-time and with inexpensive hardware. We present an algorithm based on a monocular multi-spectral photometric-stereo setup. This system is known to capture high-detailed deforming 3d surfaces at high frame rates and without having to use any expensive hardware or synchronized light stage. However, the main challenge of such a setup is the calibration stage, which depends on the lights setup and how they interact with the specific material being captured, in this case, human faces. For this purpose we develop a self-calibration technique where the person being captured is asked to perform a rigid motion in front of the camera, maintaining a neutral expression. Rigidity constrains are then used to compute the head's motion with a structure-from-motion algorithm. Once the motion is obtained, a multi-view stereo algorithm reconstructs a coarse 3d model of the face. This coarse model is then used to estimate the lighting parameters with a stratified approach: In the first step we use a RANSAC search to identify purely diffuse points on the face and to simultaneously estimate this diffuse reflectance model. In the second step we apply non-linear optimization to fit a non-Lambertian reflectance model to the outliers of the previous step. The calibration procedure is validated with synthetic and real data.

Modelo para reconstrução 3D de cenas baseado em imagens

3D Reconstruction is the process used to obtain a detailed graphical model in three dimensions that represents some real objectified scene. This process uses sequences of images taken from the scene, so it can automatically extract the information about the depth of feature points. These points are then highlighted using some computational technique on the images that compose the used dataset. Using SURF feature points this work propose a model for obtaining depth information of feature points detected by the system. At the ending, the proposed system extract three important information from the images dataset: the 3D position for feature points; relative rotation and translation matrices between images; the realtion between the baseline for adjacent images and the 3D point accuracy error found.