Restauro e applicazioni informatiche: il cantiere di palazzo del Podestà in Bologna.

La tesi si pone il duplice obiettivo, da un lato, di seguire e approfondire i lavori di restauro e messa in sicurezza delle facciate di palazzo del Podestà, dall'altro, contemporaneamente, di proporre, sviluppare e sperimentare strumenti digitali da utilizzare durante la progettazione e l'esecuzione degli interventi di Restauro. Il settore del restauro architettonico si presenta, più di tanti altri, caratterizzato dalla molteplicità delle figure che intervengono nel corso del processso produttivo e dalla grandissima varietà e quantità di informazioni che entrano in gioco, partendo dalla fase di rilievo dello stato di fatto, fino all'indispensabile documentazione di fine lavori. Prendendo avvio, dunque, dal tirocinio svolto presso la Leonardo S.r.l. di Bologna, si è svolta una riflessione sui processi gestionali ed operativi legati alle operazioni di restauro e ci si è proposti di sviluppare e proporre alcuni strumenti digitali che, senza stravolgere l'attuale processo produttivo, potessero portare benefici operativi all'attività aziendale, facilitare il controllo ed il feedback da parte del committente e migliorare ed alleggerire l'onere della rendicontazione dei lavori. L'orizzonte di questi strumenti è multiplo: per l'attualità è stata sviluppata, in collaborazione con l'ENEA di Bologna, un'applicazione mobile su piattaforma FileMaker per la gestione delle operazioni di restauro attraverso la creazione di un database per la gestione delle analisi e del cantiere; mentre, per uno sviluppo "a regime" fra qualche anno, si è valutata l'efficacia di tecnologie SfM (Structure from Motion) per il rilievo speditivo e la documentazione. Nell'ottica di sviluppi ancora più lontani, infine, le due fasi saranno riunite nella proposta di tecnologie di realtà aumentata con l'obiettivo futuribile di poter passare direttamente dalla realtà e dal rilievo tridimensionale speditivo al progetto ed alla documentazione, senza dovere necessariamente passare da elaborati grafici bidimensionali. Durante tutte queste fasi lo sviluppo delle tecnologie è proceduto di pari passo con il cantiere di palazzo del Podestà, tanto nelle fasi di approfondita ricerca storica, quanto nella produzione delle schede di intervento. L'occasione della ricerca storica ha anche permesso di stilare un semplice regesto, corredato da immagini e bibliografia che raduna ed integra con materiali inediti i numerosi contributi sul tema che si sono succeduti dalla fine del XIX ai giorni nostri.

Il rilievo della facciata della chiesa di Santa Lucia a Bologna, mediante sistemi fotogrammetrici a basso costo e open source.

Questo elaborato presenta una procedura di rilievo eseguito con la scansione Laser e la Fotogrammetria per lo studio della facciata della Chiesa di Santa Lucia in Bologna e le successive elaborazioni dei dati tramite software di correlazione automatica Open Source e commerciali Low Cost basati sui principi della Structure from Motion. Nel particolare, il rilievo laser è stato eseguito da 5 posizioni diverse e tramite l’utilizzo di 7 target, mentre il rilievo fotogrammetrico è stato di tipo speditivo poiché le prese sono state eseguite solo da terra ed è stato impiegato un tempo di lavoro minimo (una decina di minuti). I punti di appoggio per la georeferenziazione dei dati fotogrammetrici sono stati estratti dal datum fornito dal laser e dal set di fotogrammi a disposizione è stato ottenuta una nuvola di punti densa tramite programmi Open Source e con software commerciali. Si sono quindi potuti operare confronti tra i risultati ottenuti con la fotogrammetria e tra il dato che si aveva di riferimento, cioè il modello tridimensionale ottenuto grazie al rilievo laser. In questo modo si è potuto verificare l’accuratezza dei risultati ottenuti con la fotogrammetria ed è stato possibile determinare quale calcolo teorico approssimativo dell’errore poteva essere funzionante per questo caso di studio e casi simili. Inoltre viene mostrato come produrre un foto raddrizzamento tramite l’utilizzo di una sola foto utilizzando un programma freeware. Successivamente è stata vettorializzata la facciata della chiesa ed è stata valutata l’accuratezza di tale prodotto, sempre confrontandola con il dato di riferimento, ed infine è stato determinato quale calcolo teorico dell’errore poteva essere utilizzato in questo caso. Infine, avendo notato la diffusione nel commercio odierno della stampa di oggetti 3D, è stato proposto un procedimento per passare da una nuvola di punti tridimensionale ad un modello 3D stampato.

Visual Fixation for 3D Video Stabilization

Visual fixation is employed by humans and some animals to keep a specific 3D location at the center of the visual gaze. Inspired by this phenomenon in nature, this paper explores the idea to transfer this mechanism to the context of video stabilization for a handheld video camera. A novel approach is presented that stabilizes a video by fixating on automatically extracted 3D target points. This approach is different from existing automatic solutions that stabilize the video by smoothing. To determine the 3D target points, the recorded scene is analyzed with a stateof- the-art structure-from-motion algorithm, which estimates camera motion and reconstructs a 3D point cloud of the static scene objects. Special algorithms are presented that search either virtual or real 3D target points, which back-project close to the center of the image for as long a period of time as possible. The stabilization algorithm then transforms the original images of the sequence so that these 3D target points are kept exactly in the center of the image, which, in case of real 3D target points, produces a perfectly stable result at the image center. Furthermore, different methods of additional user interaction are investigated. It is shown that the stabilization process can easily be controlled and that it can be combined with state-of-theart tracking techniques in order to obtain a powerful image stabilization tool. The approach is evaluated on a variety of videos taken with a hand-held camera in natural scenes.

Generating Realistic Camera Shake for Virtual Scenes

When depicting both virtual and physical worlds, the viewer's impression of presence in these worlds is strongly linked to camera motion. Plausible and artist-controlled camera movement can substantially increase scene immersion. While physical camera motion exhibits subtle details of position, rotation, and acceleration, these details are often missing for virtual camera motion. In this work, we analyze camera movement using signal theory. Our system allows us to stylize a smooth user-defined virtual base camera motion by enriching it with plausible details. A key component of our system is a database of videos filmed by physical cameras. These videos are analyzed with a camera-motion estimation algorithm (structure-from-motion) and labeled manually with a specific style. By considering spectral properties of location, orientation and acceleration, our solution learns camera motion details. Consequently, an arbitrary virtual base motion, defined in any conventional animation package, can be automatically modified according to a user-selected style. In an animation package the camera motion base path is typically defined by the user via function curves. Another possibility is to obtain the camera path by using a mixed reality camera in motion capturing studio. As shown in our experiments, the resulting shots are still fully artist-controlled, but appear richer and more physically plausible.

Uso de nubes de puntos 3D para identificación y caracterización de familias de discontinuidades planas en afloramientos rocosos y evaluación de la calidad geomecánica

En este trabajo se estudia el uso de las nubes de puntos en 3D, es decir, un conjunto de puntos en un sistema de referencia cartesiano en R3, para la identificación y caracterización de las discontinuidades que afloran en un macizo rocoso y su aplicación al campo de la Mecánica de Rocas. Las nubes de puntos utilizadas se han adquirido mediante tres técnicas: sintéticas, 3D laser scanner y la técnica de fotogrametría digital Structure From Motion (SfM). El enfoque está orientado a la extracción y caracterización de familias de discontinuidades y su aplicación a la evaluación de la calidad de un talud rocoso mediante la clasificación geomecánica Slope Mass Rating (SMR). El contenido de la misma está dividido en tres bloques, como son: (1) metodología de extracción de discontinuidades y clasificación de la nube de puntos 3D; (2) análisis de espaciados normales en nubes de puntos 3D; y (3) análisis de la evaluación de la calidad geomecánica de taludes rocoso mediante la clasificación geomecánica SMR a partir de nubes de puntos 3D. La primera línea de investigación consiste en el estudio de las nubes de puntos 3D con la finalidad de extraer y caracterizar las discontinuidades planas presentes en la superficie de un macizo rocoso. En primer lugar, se ha recopilado información de las metodologías existentes y la disponibilidad de programas para su estudio. Esto motivó la decisión de investigar y diseñar un proceso de clasificación novedoso, que muestre todos los pasos para su programación e incluso ofreciendo el código programado a la comunidad científica bajo licencia GNU GPL. De esta forma, se ha diseñado una novedosa metodología y se ha programado un software que analiza nubes de puntos 3D de forma semi-automática, permitiendo al usuario interactuar con el proceso de clasificación. Dicho software se llama Discontinuity Set Extractor (DSE). El método se ha validado empleando nubes de puntos sintéticas y adquiridas con 3D laser scanner. En primer lugar, este código analiza la nube de puntos efectuando un test de coplanaridad para cada punto y sus vecinos próximos para, a continuación, calcular el vector normal de la superficie en el punto estudiado. En segundo lugar, se representan los polos de los vectores normales calculados en el paso previo en una falsilla estereográfica. A continuación se calcula la densidad de los polos y los polos con mayor densidad o polos principales. Estos indican las orientaciones de la superficie más representadas, y por tanto las familias de discontinuidades. En tercer lugar, se asigna a cada punto una familia en dependencia del ángulo formado por el vector normal del punto y el de la familia. En este punto el usuario puede visualizar la nube de puntos clasificada con las familias de discontinuidades que ha determinado para validar el resultado intermedio. En cuarto lugar, se realiza un análisis cluster en el que se determina la agrupación de puntos según planos para cada familia (clusters). A continuación, se filtran aquellos que no tengan un número de puntos suficiente y se determina la ecuación de cada plano. Finalmente, se exportan los resultados de la clasificación a un archivo de texto para su análisis y representación en otros programas. La segunda línea de investigación consiste en el estudio del espaciado entre discontinuidades planas que afloran en macizos rocosos a partir de nubes de puntos 3D. Se desarrolló una metodología de cálculo de espaciados a partir de nubes de puntos 3D previamente clasificadas con el fin de determinar las relaciones espaciales entre planos de cada familia y calcular el espaciado normal. El fundamento novedoso del método propuesto es determinar el espaciado normal de familia basándonos en los mismos principios que en campo, pero sin la restricción de las limitaciones espaciales, condiciones de inseguridad y dificultades inherentes al proceso. Se consideraron dos aspectos de las discontinuidades: su persistencia finita o infinita, siendo la primera el aspecto más novedoso de esta publicación. El desarrollo y aplicación del método a varios casos de estudio permitió determinar su ámbito de aplicación. La validación se llevó a cabo con nubes de puntos sintéticas y adquiridas con 3D laser scanner. La tercera línea de investigación consiste en el análisis de la aplicación de la información obtenida con nubes de puntos 3D a la evaluación de la calidad de un talud rocoso mediante la clasificación geomecánica SMR. El análisis se centró en la influencia del uso de orientaciones determinadas con distintas fuentes de información (datos de campo y técnicas de adquisición remota) en la determinación de los factores de ajuste y al valor del índice SMR. Los resultados de este análisis muestran que el uso de fuentes de información y técnicas ampliamente aceptadas pueden ocasionar cambios en la evaluación de la calidad del talud rocoso de hasta una clase geomecánica (es decir, 20 unidades). Asimismo, los análisis realizados han permitido constatar la validez del índice SMR para cartografiar zonas inestables de un talud. Los métodos y programas informáticos desarrollados suponen un importante avance científico para el uso de nubes de puntos 3D para: (1) el estudio y caracterización de las discontinuidades de los macizos rocosos y (2) su aplicación a la evaluación de la calidad de taludes en roca mediante las clasificaciones geomecánicas. Asimismo, las conclusiones obtenidas y los medios y métodos empleados en esta tesis doctoral podrán ser contrastadas y utilizados por otros investigadores, al estar disponibles en la web del autor bajo licencia GNU GPL.

Using Terrestrial LiDAR to Monitor Erosion within the Gold Basin Landslide Complex, Verlot, WA

In 2014 the United States Forest Service closed the Gold Basin Campground of western Washington in an effort to protect the public from unstable hillslopes directly adjacent to the campground. The Gold Basin Landslide Complex (GBLC) is actively eroding via block fall, dry ravel, and debris flows, which contribute sediment into the South Fork of the Stillaguamish River. This sediment diminishes the salmonid population within the South Fork of the Stillaguamish River by reducing habitable spawning grounds, which is a big concern to the Stillaguamish Tribe of Indians. In this investigation, I quantified patterns of degradation and total volume of sediment erosion from the middle lobe of the GBLC over the period of July 2015 through January 2016 using terrestrial (ground-based) LiDAR (TLS). I characterized site specific stratigraphy and geomorphic processes, and laid the groundwork for future, long-term monitoring of this site. Results of this investigation determined that ~ 4,800m3 of sediment was eroded from the middle lobe of the GBLC during the 6 month study period (July 2015 – January 2016). This erosion likely occurred from debris flows, raveling of poorly sorted sand and gravel deposits and block failures of high plasticity silts and clays, and/or other mass wasting mechanisms. The generalized stratigraphic sequence in the GBLC consists of alternating massive beds of sand and gravel with silts and clays. The low permeability of these silts and clays provide a perfect venue for groundwater to percolate, as I observed during field investigations, which likely contributes to the active instability of the hillslopes. Continued monitoring and mapping of this complex will lead to viable information that could help both the United States Forest Service and the Stillaguamish Tribe.

Observations of Joints Present in the Lawton Clay Member of the Vashon Stade, Exposed at a Coastal Bluff in Discovery Park, Seattle, Washington

The southwest-facing coastal bluff present at Discovery Park, Seattle, Washington, displays distinctive joints throughout the exposed Lawton Clay Member. Exhibiting a characteristic local stratigraphy of permeable advance outwash over the impermeable proglacial lacustrine clay, this bluff is located in an area of Seattle at high risk from landslides. This project addressed the relationship between the joints observed at this coastal bluff and the coherency of the bluff as a whole, through remote sensing and field measurements. Aerial drone photography taken of the bluff was processed through a photogrammetry software to produce a 3-dimensional Structure from Motion model, allowing for a digital manipulation and broad examination of the bluff not possible by foot. Stereonet plots produced from these measurements provided insight into patterns of varying joint strike along a horizontal transect of the observed bluff face. Taken together, these two visualizations provided a better picture of the possible chicken-and-egg interaction of the joints and bluff topography; they demonstrated the likelihood that the joint formation at the bluff was most likely to be primarily influenced by the local topography of the bluff over other sources of possible tensional stress in the immediate area.

Self-calibrated, multi-spectral photometric stereo for 3D face capture

This paper addresses the problem of obtaining 3d detailed reconstructions of human faces in real-time and with inexpensive hardware. We present an algorithm based on a monocular multi-spectral photometric-stereo setup. This system is known to capture high-detailed deforming 3d surfaces at high frame rates and without having to use any expensive hardware or synchronized light stage. However, the main challenge of such a setup is the calibration stage, which depends on the lights setup and how they interact with the specific material being captured, in this case, human faces. For this purpose we develop a self-calibration technique where the person being captured is asked to perform a rigid motion in front of the camera, maintaining a neutral expression. Rigidity constrains are then used to compute the head's motion with a structure-from-motion algorithm. Once the motion is obtained, a multi-view stereo algorithm reconstructs a coarse 3d model of the face. This coarse model is then used to estimate the lighting parameters with a stratified approach: In the first step we use a RANSAC search to identify purely diffuse points on the face and to simultaneously estimate this diffuse reflectance model. In the second step we apply non-linear optimization to fit a non-Lambertian reflectance model to the outliers of the previous step. The calibration procedure is validated with synthetic and real data.

Modelo para reconstrução 3D de cenas baseado em imagens

3D Reconstruction is the process used to obtain a detailed graphical model in three dimensions that represents some real objectified scene. This process uses sequences of images taken from the scene, so it can automatically extract the information about the depth of feature points. These points are then highlighted using some computational technique on the images that compose the used dataset. Using SURF feature points this work propose a model for obtaining depth information of feature points detected by the system. At the ending, the proposed system extract three important information from the images dataset: the 3D position for feature points; relative rotation and translation matrices between images; the realtion between the baseline for adjacent images and the 3D point accuracy error found.

Rilievo fotogrammetrico da drone per la generazione di modelli termici di porzioni di territorio

In questo elaborato viene sperimentato un iter processuale che consenta di utilizzare i sensori termici affiancati a fotocamere digitale in ambito fotogrammetrico al fine di ottenere prodotto dal quale sono estrapolabili informazioni geometriche e termiche dell’oggetto di studio. Il rilievo fotogrammetrico è stato svolto mediante l’utilizzo di un drone con equipaggiamento multisensoriale, termico e digitale, su una porzione di territorio soggetto ad anomalie termiche nei pressi di Medolla (MO). Per l’analisi termica e geometrica sono stati posizionati sul campo 5 target termici di cui ne sono state misurate le coordinate per la georeferenziazione delle nuvole dense di punti e la temperatura. In particolare sono state eseguite due riprese aeree dalle quali sono stati estratti i frame necessari per i processi di restituzione fotogrammetrica. Le immagini sono state sottoposte ad una fase di trattamento che ha prodotto immagini rettificate prive di delle distorsioni impresse dall’obbiettivo. Per la creazione degli elaborati vettoriali e raster a colori e termici sono stati impiegati inizialmente software di fotogrammetria digitale in grado di fornire scene tridimensionali georeferenziate dell’oggetto. Sono state sviluppate sia in un ambiente open-source, sia sfruttando programmi commerciali. Le nuvole dense sono state successivamente trattate su una piattaforma gratuita ad interfaccia grafica. In questo modo è stato possibile effettuare dei confronti tra i diversi prodotti e valutare le potenzialità dei software stessi. Viene mostrato come creare un modello tridimensionale, contenente sia informazioni geometriche che informazioni termiche, partendo dalla nuvola termica e da quella a colori. Entrambe georeferenziate utilizzando gli stessi punti fotogrammetrici d’appoggio. Infine i prodotti ottenuti sono stati analizzati in un ambiente GIS realizzando sovrapposizioni grafiche, confronti numerici, interpolazioni, sezioni e profili.

Photographs of the Mount Meager, southwestern British Columbia

On August 6, 2010, a large (~50 Mm**3) debris avalanche occurred on the flank of Mount Meager in the southern Coast Mountains of British Columbia, Canada. We studied the deposits to infer the morphodynamics of the landslide from initiation to emplacement. Structure from motion (SfM) photogrammetry, based on oblique photos taken with a standard SLR camera during a low helicopter traverse, was used to create high-resolution orthophotos and base maps. Interpretation of the images and maps allowed us to recognize two main rheological phases in the debris avalanche. Just below the source area, in the valley of Capricorn Creek, the landslide separated into two phases, one water-rich and more mobile, and the other water-poor and less mobile. The water-rich phase spread quickly, achieved high superelevation on the valley sides, and left distal scattered deposits. The main water-poor phase moved more slowly, did not superelevate, and formed a thick continuous deposit (up to ~30 m) on the valley floor. The water-poor flow deposit has structural features such as hummocks, brittle-ductile faults, and shear zones. Our study, based on a freshly emplaced deposit, advances understanding of large mass movements by showing that a single landslide can develop multiple rheology phases with different behaviours. Rheological evolution and separation of phases should always be taken into account to provide better risk assessment scenarios.

La generazione di modelli tridimensionali densi in ambito architettonico mediante la fotogrammetria digitale

The Italian territory offers a wide range of treasures in the field of Cultural Assets. This is a highly relevant property, which needs an accurate management and preservation performed by appropriate tools, also giving attention to the maintenance and safeguard from risk factors. Nowadays the increasing development of new digital technologies, added by remarkable steps forward got by the subject of Geomatic makes possible an efficient integration among different techniques, helped also by spread of solutions to improve the data import-export and transmission between different devices. The main objective of this thesis is to experience the photogrammetric restitution implemented in a commercial software of digital photogrammetry, in order to generate a dense 3D model of the facade of the Basilica Sant'Apollinare Nuovo in Ravenna. The 1st Chapter, after a general introduction regarding the 3D survey of Cultural Heritage and some considerations linked to the use of digital photogrammetry in this field, is focused to analyze the case of stereoscopic and the monoscopic approach. In particular, it develops the theme of close-range photogrammetry. The 2nd Chapter, exposes the theme of digital images, from color theory until their appearing on the monitor. The 3rd Chapter, develops the case study of the Basilica di Sant'Apollinare Nuovo, the historical, architectural and religious of the same. Also, it is examined the issue of photogrammetry and laser scanning of the case study. The final part of the same chapter, treats the processing of data processing the software Agisoft PhotoScan, in order to generate, by means of Structure from Motion technique, a digital geometric 3D model of the Basilica Facade. The digital model has been scaled on the basis of measurements made on the field. With the software it was possible to accomplish the three phases of the photogrammetric data processing: internal orientation, exterior orientation and restitution.

Il Vestibolo di Piazza d'Oro - Rilievi per la modellazione 3D ed il texturing

Il caso studio del vestibolo ottagonale di Villa Adriana ha dato la possibilità di applicare ad un edificio di notevole valore storico e artistico tecniche di restituzione digitale e di modellazione tridimensionale basate su applicativi di modellazione geometrica, con lo scopo di generarne il modello 3D digitale fotorealistico e polifunzionale. Nel caso specifico del vestibolo, un modello tridimensionale di questo tipo risulta utile a fini documentativi, a sostegno di ipotesi costruttive e come strumento per la valutazione di interventi di restauro. Il percorso intrapreso ha permesso di valutare le criticità nelle tecniche di acquisizione, modellazione e foto-modellazione tridimensionale applicate in ambito archeologico, tecniche usate abitualmente anche in settori quali l’architettura, il design industriale ma anche nel cinema (effetti speciali e film d’animazione) e in ambito videoludico, con obiettivi differenti: nel settore del design e della progettazione industriale il Reverse Modeling viene impiegato per eseguire controlli di qualità e rispetto delle tolleranze sul prodotto finale, mentre in ambito cinematografico e videoludico (in combinazione con altri software) permette la creazione di modelli realistici da inserire all’interno di film o videogiochi, (modelli non solo di oggetti ma anche di persone). La generazione di un modello tridimensionale ottenuto tramite Reverse Modeling è frutto di un processo opposto alla progettazione e può avvenire secondo diverse strategie, ognuna delle quali presenta vantaggi e svantaggi specifici che la rendono più indicata in alcuni casi piuttosto che in altri. In questo studio sono state analizzate acquisizioni tridimensionali effettuate tramite Laser Scan e tramite applicazioni Structure from Motion/Dense Stereo View.

The Accuracy and Reliability of Traditional Surface Flow Type Mapping: Is It Time for A New Method of Characterising Physical River Habitat?

Surface flow types (SFT) are advocated as ecologically relevant hydraulic units, often mapped visually from the bankside to characterise rapidly the physical habitat of rivers. SFT mapping is simple, non-invasive and cost-efficient. However, it is also qualitative, subjective and plagued by difficulties in recording accurately the spatial extent of SFT units. Quantitative validation of the underlying physical habitat parameters is often lacking, and does not consistently differentiate between SFTs. Here, we investigate explicitly the accuracy, reliability and statistical separability of traditionally mapped SFTs as indicators of physical habitat, using independent, hydraulic and topographic data collected during three surveys of a c. 50m reach of the River Arrow, Warwickshire, England. We also explore the potential of a novel remote sensing approach, comprising a small unmanned aerial system (sUAS) and Structure-from-Motion photogrammetry (SfM), as an alternative method of physical habitat characterisation. Our key findings indicate that SFT mapping accuracy is highly variable, with overall mapping accuracy not exceeding 74%. Results from analysis of similarity (ANOSIM) tests found that strong differences did not exist between all SFT pairs. This leads us to question the suitability of SFTs for characterising physical habitat for river science and management applications. In contrast, the sUAS-SfM approach provided high resolution, spatially continuous, spatially explicit, quantitative measurements of water depth and point cloud roughness at the microscale (spatial scales ≤1m). Such data are acquired rapidly, inexpensively, and provide new opportunities for examining the heterogeneity of physical habitat over a range of spatial and temporal scales. Whilst continued refinement of the sUAS-SfM approach is required, we propose that this method offers an opportunity to move away from broad, mesoscale classifications of physical habitat (spatial scales 10-100m), and towards continuous, quantitative measurements of the continuum of hydraulic and geomorphic conditions which actually exists at the microscale.

Exploring the World's Visual History

Thesis (Ph.D.)--University of Washington, 2016-08