Tecniche geomatiche di reverse engineering nel campo dei Beni Culturali

La salvaguardia e conservazione del Patrimonio Artistico ed Architettonico rappresentano un aspetto imprescindibile di ogni cultura, e trovano le loro fondamenta nella coscienza e conoscenza dei Beni. Il rilievo è l’operazione basilare per acquisire una conoscenza rigorosa di un oggetto nella sua geometria e in altre sue caratteristiche. Le finalità delle operazioni di rilevamento sono molteplici, dall’archiviazione a scopo di documentazione fino all’indagine conservativa volta alla diagnostica e alla progettazione di interventi. I modelli digitali, introdotti dallo sviluppo tecnologico degli ultimi decenni, permettono una perfetta conoscenza del bene, non necessitano di contatto diretto durante la fase di rilevamento e possono essere elaborati secondo le esigenze del caso. Le tecniche adottate nel Reverse Engineering si differenziano per il tipo di sensore utilizzato: quelle fotogrammetriche utilizzano sensori di tipo “passivo” e trovano oggi largo impiego nel settore dei Beni Culturali grazie agli strumenti di Structure from Motion, mentre strumenti basati su sensori di tipo “attivo” utilizzano Laser o proiezione di luce strutturata e sono in grado di rilevare con grande precisione geometrie anche molto complesse. La costruzione del modello della fontana del Nettuno e della torre Garisenda di Bologna costituiscono un valido esempio di applicazione delle tecniche di rilievo digitale, e dimostrano la validità delle stesse su oggetti di diversa dimensione in due diversi ambiti applicativi: il restauro e il monitoraggio. Gli sviluppi futuri del Reverse Engineering in questo ambito sono molteplici, e la Geomatica rappresenta senza dubbio una disciplina fondamentale per poterli realizzare.

Non-standard signatures from Cosmic Microwave Background polarisation

In this Thesis we focus on non-standard signatures from CMB polarisation, which might hint at the existence of new phenomena beyond the standard models for Cosmology and Particle physics. With the Planck ESA mission, CMB temperature anisotropies have been observed at the cosmic variance limit, but polarisation remains to be further investigated. CMB polarisation data are important not only because they contribute to provide tighter constraints of cosmological parameters but also because they allow the investigation of physical processes that would be precluded if just the CMB temperature maps were considered. We take polarisation data into account to assess the statistical significance of the anomalies currently observed only in the CMB temperature map and to constrain the Cosmic Birefringence (CB) effect, which is expected in parity-violating extensions of the standard electromagnetism. In particular, we propose a new one-dimensional estimator for the lack of power anomaly capable of taking both temperature and polarisation into account jointly. With the aim of studying the anisotropic CB we develop and perform two different and complementary methods able to evaluate the power spectrum of the CB. Finally, by employing these estimators and methodologies on Planck data we provide new constraints beyond what already known in literature. The measure of CMB polarisation represents a technological challenge and to make accurate estimates, one has to keep an exquisite control of the systematic effects. In order to investigate the impact of spurious signal in forthcoming CMB polarisation experiments, we study the interplay between half-wave plates (HWP) non-idealities and the beams. Our analysis suggests that certain HWP configurations, depending on the complexity of Galactic foregrounds and the beam models, significantly impacts the B-mode reconstruction fidelity and could limit the capabilities of next-generation CMB experiments. We provide also a first study of the impact of non-ideal HWPs on CB.

Il ruolo delle tecniche geomatiche nella realizzazione di Digital Twin City: una sperimentazione sulla città di Bologna

L’incessante urbanizzazione e il continuo aumento della popolazione urbana stanno generando nuove sfide per le pubbliche amministrazioni, le quali necessitano soluzioni per la gestione sostenibile di risorse primarie (cibo, acqua, suolo, fonti energetiche) e la corretta pianificazione delle città, allo scopo di salvaguardare le condizioni ambientali, la salute dei cittadini e il progresso economico: in questo complesso panorama si afferma il concetto di Digital Twin City (DTC) o gemello digitale della città, la controparte virtuale di oggetti e processi in ambiente urbano in grado di comunicare con essi e di simularne, replicarne e predirne i possibili scenari. In questo contesto, un elemento essenziale è costituito dal modello geometrico 3D ad alta fedeltà dell'ambiente urbano, e la Geomatica fornisce gli strumenti più idonei alla sua realizzazione. La presente elaborazione si sviluppa in tre parti: nella prima è stata condotta un’analisi della letteratura sui DTC, in cui sono state evidenziate le sue caratteristiche principali come l’architettura, le tecnologie abilitanti, alcune possibili modellazioni, ostacoli, scenari futuri ed esempi di applicazioni reali, giungendo alla conclusione che un accurato modello 3D della città deve essere alla base dei DTC; nella seconda parte è stata illustrata nel dettaglio la teoria delle principali tecniche geomatiche per la realizzazione di modelli 3D ad alta fedeltà, tra cui le tecniche fotogrammetriche di aerotriangolazione e l’algoritmo Structure from Motion (SfM); nella terza e ultima parte è stata condotta una sperimentazione su tre zone campione del comune di Bologna di cui, grazie ad un dataset di fotogrammi nadirali e obliqui ottenuto da un volo fotogrammetrico realizzato nel 2022, sono state ottenute Reality Meshes e ortofoto/DSM. I prodotti della terza zona sono stati confrontati con i medesimi ottenuti da un dataset del 2017. Infine, sono state illustrati alcuni strumenti di misura e di ritocco dei prodotti 3D e 2D.

Sistema de visão para percepção e navegação de um UAV Quadrotor

Mestrado em Engenharia Electrotécnica e de Computadores

Estrutura a partir do Movimento em Sistemas Autónomos

Mestrado em Engenharia Electrotécnica e de Computadores - Ramo de Sistemas Autónomos

Extracció del mapa de profunditat a partir d'una seqüència d'imatges

Aquest projecte resol les fases inicials d'un altre projecte més gran que té com a objectiu la conversió automàtica de seqüències d'imatges a 3D. El projecte s'ha centrat en la reconstrucció calibrada de col·leccions d'imatges mitjançant la tècnica anomenada structure from motion. Aquesta tècnica forma part de l'àmbit de la visió per computador i s'utilitza per obtenir la posició i l'orientació de les diferents càmeres juntament amb una reconstrucció 3D de l'escena en forma de núvol de punts.

Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Efficient 3D scene modeling and mosaicing

El modelat d'escenes és clau en un gran ventall d'aplicacions que van des de la generació mapes fins a la realitat augmentada. Aquesta tesis presenta una solució completa per a la creació de models 3D amb textura. En primer lloc es presenta un mètode de Structure from Motion seqüencial, a on el model 3D de l'entorn s'actualitza a mesura que s'adquireix nova informació visual. La proposta és més precisa i robusta que l'estat de l'art. També s'ha desenvolupat un mètode online, basat en visual bag-of-words, per a la detecció eficient de llaços. Essent una tècnica completament seqüencial i automàtica, permet la reducció de deriva, millorant la navegació i construcció de mapes. Per tal de construir mapes en àrees extenses, es proposa un algorisme de simplificació de models 3D, orientat a aplicacions online. L'eficiència de les propostes s'ha comparat amb altres mètodes utilitzant diversos conjunts de dades submarines i terrestres.

Um sistema para extração automática de keyframes a partir de fluxos de vídeo direcionado à reconstrução tridimensional de cenários virtuais

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

A Semantic-based Framework for Digital Survey of Architectural Heritage

The research aims at developing a framework for semantic-based digital survey of architectural heritage. Rooted in knowledge-based modeling which extracts mathematical constraints of geometry from architectural treatises, as-built information of architecture obtained from image-based modeling is integrated with the ideal model in BIM platform. The knowledge-based modeling transforms the geometry and parametric relation of architectural components from 2D printings to 3D digital models, and create large amount variations based on shape grammar in real time thanks to parametric modeling. It also provides prior knowledge for semantically segmenting unorganized survey data. The emergence of SfM (Structure from Motion) provides access to reconstruct large complex architectural scenes with high flexibility, low cost and full automation, but low reliability of metric accuracy. We solve this problem by combing photogrammetric approaches which consists of camera configuration, image enhancement, and bundle adjustment, etc. Experiments show the accuracy of image-based modeling following our workflow is comparable to that from range-based modeling. We also demonstrate positive results of our optimized approach in digital reconstruction of portico where low-texture-vault and dramatical transition of illumination bring huge difficulties in the workflow without optimization. Once the as-built model is obtained, it is integrated with the ideal model in BIM platform which allows multiple data enrichment. In spite of its promising prospect in AEC industry, BIM is developed with limited consideration of reverse-engineering from survey data. Besides representing the architectural heritage in parallel ways (ideal model and as-built model) and comparing their difference, we concern how to create as-built model in BIM software which is still an open area to be addressed. The research is supposed to be fundamental for research of architectural history, documentation and conservation of architectural heritage, and renovation of existing buildings.

Restauro e applicazioni informatiche: il cantiere di palazzo del Podestà in Bologna.

La tesi si pone il duplice obiettivo, da un lato, di seguire e approfondire i lavori di restauro e messa in sicurezza delle facciate di palazzo del Podestà, dall'altro, contemporaneamente, di proporre, sviluppare e sperimentare strumenti digitali da utilizzare durante la progettazione e l'esecuzione degli interventi di Restauro. Il settore del restauro architettonico si presenta, più di tanti altri, caratterizzato dalla molteplicità delle figure che intervengono nel corso del processso produttivo e dalla grandissima varietà e quantità di informazioni che entrano in gioco, partendo dalla fase di rilievo dello stato di fatto, fino all'indispensabile documentazione di fine lavori. Prendendo avvio, dunque, dal tirocinio svolto presso la Leonardo S.r.l. di Bologna, si è svolta una riflessione sui processi gestionali ed operativi legati alle operazioni di restauro e ci si è proposti di sviluppare e proporre alcuni strumenti digitali che, senza stravolgere l'attuale processo produttivo, potessero portare benefici operativi all'attività aziendale, facilitare il controllo ed il feedback da parte del committente e migliorare ed alleggerire l'onere della rendicontazione dei lavori. L'orizzonte di questi strumenti è multiplo: per l'attualità è stata sviluppata, in collaborazione con l'ENEA di Bologna, un'applicazione mobile su piattaforma FileMaker per la gestione delle operazioni di restauro attraverso la creazione di un database per la gestione delle analisi e del cantiere; mentre, per uno sviluppo "a regime" fra qualche anno, si è valutata l'efficacia di tecnologie SfM (Structure from Motion) per il rilievo speditivo e la documentazione. Nell'ottica di sviluppi ancora più lontani, infine, le due fasi saranno riunite nella proposta di tecnologie di realtà aumentata con l'obiettivo futuribile di poter passare direttamente dalla realtà e dal rilievo tridimensionale speditivo al progetto ed alla documentazione, senza dovere necessariamente passare da elaborati grafici bidimensionali. Durante tutte queste fasi lo sviluppo delle tecnologie è proceduto di pari passo con il cantiere di palazzo del Podestà, tanto nelle fasi di approfondita ricerca storica, quanto nella produzione delle schede di intervento. L'occasione della ricerca storica ha anche permesso di stilare un semplice regesto, corredato da immagini e bibliografia che raduna ed integra con materiali inediti i numerosi contributi sul tema che si sono succeduti dalla fine del XIX ai giorni nostri.

Il rilievo della facciata della chiesa di Santa Lucia a Bologna, mediante sistemi fotogrammetrici a basso costo e open source.

Questo elaborato presenta una procedura di rilievo eseguito con la scansione Laser e la Fotogrammetria per lo studio della facciata della Chiesa di Santa Lucia in Bologna e le successive elaborazioni dei dati tramite software di correlazione automatica Open Source e commerciali Low Cost basati sui principi della Structure from Motion. Nel particolare, il rilievo laser è stato eseguito da 5 posizioni diverse e tramite l’utilizzo di 7 target, mentre il rilievo fotogrammetrico è stato di tipo speditivo poiché le prese sono state eseguite solo da terra ed è stato impiegato un tempo di lavoro minimo (una decina di minuti). I punti di appoggio per la georeferenziazione dei dati fotogrammetrici sono stati estratti dal datum fornito dal laser e dal set di fotogrammi a disposizione è stato ottenuta una nuvola di punti densa tramite programmi Open Source e con software commerciali. Si sono quindi potuti operare confronti tra i risultati ottenuti con la fotogrammetria e tra il dato che si aveva di riferimento, cioè il modello tridimensionale ottenuto grazie al rilievo laser. In questo modo si è potuto verificare l’accuratezza dei risultati ottenuti con la fotogrammetria ed è stato possibile determinare quale calcolo teorico approssimativo dell’errore poteva essere funzionante per questo caso di studio e casi simili. Inoltre viene mostrato come produrre un foto raddrizzamento tramite l’utilizzo di una sola foto utilizzando un programma freeware. Successivamente è stata vettorializzata la facciata della chiesa ed è stata valutata l’accuratezza di tale prodotto, sempre confrontandola con il dato di riferimento, ed infine è stato determinato quale calcolo teorico dell’errore poteva essere utilizzato in questo caso. Infine, avendo notato la diffusione nel commercio odierno della stampa di oggetti 3D, è stato proposto un procedimento per passare da una nuvola di punti tridimensionale ad un modello 3D stampato.

Visual Fixation for 3D Video Stabilization

Visual fixation is employed by humans and some animals to keep a specific 3D location at the center of the visual gaze. Inspired by this phenomenon in nature, this paper explores the idea to transfer this mechanism to the context of video stabilization for a handheld video camera. A novel approach is presented that stabilizes a video by fixating on automatically extracted 3D target points. This approach is different from existing automatic solutions that stabilize the video by smoothing. To determine the 3D target points, the recorded scene is analyzed with a stateof- the-art structure-from-motion algorithm, which estimates camera motion and reconstructs a 3D point cloud of the static scene objects. Special algorithms are presented that search either virtual or real 3D target points, which back-project close to the center of the image for as long a period of time as possible. The stabilization algorithm then transforms the original images of the sequence so that these 3D target points are kept exactly in the center of the image, which, in case of real 3D target points, produces a perfectly stable result at the image center. Furthermore, different methods of additional user interaction are investigated. It is shown that the stabilization process can easily be controlled and that it can be combined with state-of-theart tracking techniques in order to obtain a powerful image stabilization tool. The approach is evaluated on a variety of videos taken with a hand-held camera in natural scenes.

Generating Realistic Camera Shake for Virtual Scenes

When depicting both virtual and physical worlds, the viewer's impression of presence in these worlds is strongly linked to camera motion. Plausible and artist-controlled camera movement can substantially increase scene immersion. While physical camera motion exhibits subtle details of position, rotation, and acceleration, these details are often missing for virtual camera motion. In this work, we analyze camera movement using signal theory. Our system allows us to stylize a smooth user-defined virtual base camera motion by enriching it with plausible details. A key component of our system is a database of videos filmed by physical cameras. These videos are analyzed with a camera-motion estimation algorithm (structure-from-motion) and labeled manually with a specific style. By considering spectral properties of location, orientation and acceleration, our solution learns camera motion details. Consequently, an arbitrary virtual base motion, defined in any conventional animation package, can be automatically modified according to a user-selected style. In an animation package the camera motion base path is typically defined by the user via function curves. Another possibility is to obtain the camera path by using a mixed reality camera in motion capturing studio. As shown in our experiments, the resulting shots are still fully artist-controlled, but appear richer and more physically plausible.