Digital 3D reconstruction as a research environment in art and architecture history: uncertainty classification and visualisation

The dissertation addresses the still not solved challenges concerned with the source-based digital 3D reconstruction, visualisation and documentation in the domain of archaeology, art and architecture history. The emerging BIM methodology and the exchange data format IFC are changing the way of collaboration, visualisation and documentation in the planning, construction and facility management process. The introduction and development of the Semantic Web (Web 3.0), spreading the idea of structured, formalised and linked data, offers semantically enriched human- and machine-readable data. In contrast to civil engineering and cultural heritage, academic object-oriented disciplines, like archaeology, art and architecture history, are acting as outside spectators. Since the 1990s, it has been argued that a 3D model is not likely to be considered a scientific reconstruction unless it is grounded on accurate documentation and visualisation. However, these standards are still missing and the validation of the outcomes is not fulfilled. Meanwhile, the digital research data remain ephemeral and continue to fill the growing digital cemeteries. This study focuses, therefore, on the evaluation of the source-based digital 3D reconstructions and, especially, on uncertainty assessment in the case of hypothetical reconstructions of destroyed or never built artefacts according to scientific principles, making the models shareable and reusable by a potentially wide audience. The work initially focuses on terminology and on the definition of a workflow especially related to the classification and visualisation of uncertainty. The workflow is then applied to specific cases of 3D models uploaded to the DFG repository of the AI Mainz. In this way, the available methods of documenting, visualising and communicating uncertainty are analysed. In the end, this process will lead to a validation or a correction of the workflow and the initial assumptions, but also (dealing with different hypotheses) to a better definition of the levels of uncertainty.

La Ricostruzione 3D di Bologna nel XVI Secolo

Il lavoro presentato ha come oggetto la ricostruzione tridimensionale della città di Bologna nella sua fase rinascimentale. Tale lavoro vuole fornire un modello 3D delle architetture e degli spazi urbani utilizzabile sia per scopi di ricerca nell’ambito della storia delle città sia per un uso didattico-divulgativo nel settore del turismo culturale. La base del lavoro è una fonte iconografica di grande importanza: l’affresco raffigurante Bologna risalente al 1575 e situato in Vaticano; questa è una veduta a volo d’uccello di grandi dimensioni dell’intero tessuto urbano bolognese all’interno della terza cerchia di mura. In esso sono rappresentate in maniera particolareggiata le architetture civili e ecclesiastiche, gli spazi ortivi e cortilivi interni agli isolati e alcune importanti strutture urbane presenti in città alla fine del Cinquecento, come l’area portuale e i canali interni alla città, oggi non più visibili. La ricostruzione tridimensionale è stata realizzata tramite Blender, software per la modellazione 3D opensource, attraverso le fasi di modellazione, texturing e creazione materiali (mediante campionamento delle principali cromie presenti nell’affresco), illuminazione e animazione. Una parte della modellazione è stata poi testata all’interno di un GIS per verificare l’utilizzo delle geometrie 3D come elementi collegabili ad altre fonti storiche relative allo sviluppo urbano e quindi sfruttabili per la ricerca storica. Grande attenzione infine è stata data all’uso dei modelli virtuali a scopo didattico-divulgativo e per il turismo culturale. La modellazione è stata utilizzata all’interno di un motore grafico 3D per costruire un ambiente virtuale interattivo nel quale un utente anche non esperto possa muoversi per esplorare gli spazi urbani della Bologna del Cinquecento. In ultimo è stato impostato lo sviluppo di un’applicazione per sistemi mobile (Iphone e Ipad) al fine di fornire uno strumento per la conoscenza della città storica in mobilità, attraverso la comparazione dello stato attuale con quello ricostruito virtualmente.

L'area dei Lungarni di Pisa nel tardo Medioevo (XIV-XV secolo). un tentativo di ricostruzione in 3D.

Lo scopo di questa ricerca è la ricostruzione dei Lungarni di Pisa nel Tardo Medioevo (XIV-XV secolo); lo studio intende sottolineare le trasformazioni urbanistiche che hanno cambiato il volto di Pisa nel corso del tempo e ricordare che l’area fluviale ebbe un ruolo di primo piano come baricentro commerciale ed economico della città, vocazione che si è in gran parte persa con l’età moderna e contemporanea. La metodologia seguita, affinata e perfezionata durante la partecipazione al progetto Nu.M.E. (Nuovo Museo Elettronico della Città di Bologna), si basa sull’analisi e il confronto di fonti eterogenee ma complementari, che includono precedenti studi di storia dell’urbanistica, un corpus di documentazione di epoca medievale (provvedimenti amministrativi come gli Statuti del Comune di Pisa, ma anche descrizioni di cronisti e viaggiatori), fonti iconografiche, tra cui vedute e mappe cinquecentesche o successive, e fonti materiali, come le persistenze medievali ancora osservabili all’interno degli edifici ed i reperti rinvenuti durante alcune campagne di scavo archeologiche. Il modello 3D non è concepito come statico e “chiuso”, ma è liberamente esplorabile all’interno di un engine tridimensionale; tale prodotto può essere destinato a livelli di utenza diversi, che includono sia studiosi e specialisti interessati a conoscere un maggior numero di informazioni e ad approfondire la ricerca, sia semplici cittadini appassionati di storia o utenti più giovani, come studenti di scuole medie superiori e inferiori.

Understanding 3D structures from sketches

Sketches are a unique way to communicate: drawing a simple sketch does not require any training, sketches convey information that is hard to describe with words, they are powerful enough to represent almost any concept, and nowadays, it is possible to draw directly from mobile devices. Motivated from the unique characteristics of sketches and fascinated by the human ability to imagine 3D objects from drawings, this thesis focuses on automatically associating geometric information to sketches. The main research directions of the thesis can be summarized as obtaining geometric information from freehand scene sketches to improve 2D sketch-based tasks and investigating Vision-Language models to overcome 3D sketch-based tasks limitations. The first part of the thesis concerns geometric information prediction from scene sketches improving scene sketch to image generation and unlocking new creativity effects. The thesis proceeds showing a study conducted on the Vision-Language models embedding space considering sketches, line renderings and RGB renderings of 3D shape to overcome the use of supervised datasets for 3D sketch-based tasks, that are limited and hard to acquire. Following the obtained observations and results, Vision-Language models are applied to Sketch Based Shape Retrieval without the need of training on supervised datasets. We then analyze the use of Vision-Language models for sketch based 3D reconstruction in an unsupervised manner. In the final chapter we report the results obtained in an additional project carried during the PhD, which has lead to the development of a framework to learn an embedding space of neural networks that can be navigated to get ready-to-use models with desired characteristics.

Methodologies for visual correspondence

Visual correspondence is a key computer vision task that aims at identifying projections of the same 3D point into images taken either from different viewpoints or at different time instances. This task has been the subject of intense research activities in the last years in scenarios such as object recognition, motion detection, stereo vision, pattern matching, image registration. The approaches proposed in literature typically aim at improving the state of the art by increasing the reliability, the accuracy or the computational efficiency of visual correspondence algorithms. The research work carried out during the Ph.D. course and presented in this dissertation deals with three specific visual correspondence problems: fast pattern matching, stereo correspondence and robust image matching. The dissertation presents original contributions to the theory of visual correspondence, as well as applications dealing with 3D reconstruction and multi-view video surveillance.

Low-dimensional carbon allotropes: an electron microscopy investigation

The research reported in this manuscript concerns the structural characterization of graphene membranes and single-walled carbon nanotubes (SWCNTs). The experimental investigation was performed using a wide range of transmission electron microscopy (TEM) techniques, from conventional imaging and diffraction, to advanced interferometric methods, like electron holography and Geometric Phase Analysis (GPA), using a low-voltage optical set-up, to reduce radiation damage in the samples. Electron holography was used to successfully measure the mean electrostatic potential of an isolated SWCNT and that of a mono-atomically thin graphene crystal. The high accuracy achieved in the phase determination, made it possible to measure, for the first time, the valence-charge redistribution induced by the lattice curvature in an individual SWCNT. A novel methodology for the 3D reconstruction of the waviness of a 2D crystal membrane has been developed. Unlike other available TEM reconstruction techniques, like tomography, this new one requires processing of just a single HREM micrograph. The modulations of the inter-planar distances in the HREM image are measured using Geometric Phase Analysis, and used to recover the waviness of the crystal. The method was applied to the case of a folded FGC, and a height variation of 0.8 nm of the surface was successfully determined with nanometric lateral resolution. The adhesion of SWCNTs to the surface of graphene was studied, mixing shortened SWCNTs of different chiralities and FGC membranes. The spontaneous atomic match of the two lattices was directly imaged using HREM, and we found that graphene membranes act as tangential nano-sieves, preferentially grafting achiral tubes to their surface.

Leopoli-Cencelle beyond virtual reality Documentazione, interpretazione e comprensione di una città medievale

La città medievale di Leopoli-Cencelle (fondata da Papa Leone IV nell‘854 d.C. non lontano da Civitavecchia) è stata oggetto di studio e di periodiche campagne di scavo a partire dal 1994. Le stratigrafie investigate con metodi tradizionali, hanno portato alla luce le numerose trasformazioni che la città ha subìto nel corso della sua esistenza in vita. Case, torri, botteghe e strati di vissuto, sono stati interpretati sin dall’inizio dello scavo basandosi sulla documentazione tradizionale e bi-dimensionale, legata al dato cartaceo e al disegno. Il presente lavoro intende re-interpretare i dati di scavo con l’ausilio delle tecnologie digitali. Per il progetto sono stati utilizzati un laser scanner, tecniche di Computer Vision e modellazione 3D. I tre metodi sono stati combinati in modo da poter visualizzare tridimensionalmente gli edifici abitativi scavati, con la possibilità di sovrapporre semplici modelli 3D che permettano di formulare ipotesi differenti sulla forma e sull’uso degli spazi. Modellare spazio e tempo offrendo varie possibilità di scelta, permette di combinare i dati reali tridimensionali, acquisiti con un laser scanner, con semplici modelli filologici in 3D e offre l’opportunità di valutare diverse possibili interpretazioni delle caratteristiche dell’edificio in base agli spazi, ai materiali, alle tecniche costruttive. Lo scopo del progetto è andare oltre la Realtà Virtuale, con la possibilità di analizzare i resti e di re-interpretare la funzione di un edificio, sia in fase di scavo che a scavo concluso. Dal punto di vista della ricerca, la possibilità di visualizzare le ipotesi sul campo favorisce una comprensione più profonda del contesto archeologico. Un secondo obiettivo è la comunicazione a un pubblico di “non-archeologi”. Si vuole offrire a normali visitatori la possibilità di comprendere e sperimentare il processo interpretativo, fornendo loro qualcosa in più rispetto a una sola ipotesi definitiva.

Iconografia musicale nella Ferrara di Alfonso I d'Este

Questa tesi coniuga metodologie tradizionali e nuove tecnologie per far luce sulla straordinaria proliferazione di immagini musicali che caratterizza il ducato di Alfonso I d’Este (1505-1534) e offrire la possibilità di esplorare in modo nuovo uno degli ambienti più significativi del Rinascimento: il Camerino delle Pitture, studiolo del Duca. Il lavoro svolto ha portato all’individuazione di 60 opere finora mai analizzate da un punto di vista iconografico-musicale, ad eccezione di pochissimi casi, e alla creazione del primo catalogo iconografico-musicale sulla Ferrara di Alfonso I (vol. II). Il vol. I della tesi espone gli approfondimenti critici. Il corpus raccolto nel catalogo è inquadrato nel particolare contesto culturale di ricercata sinergia tra le arti, alla luce della dimensione cortese del consumo musicale ma soprattutto del valore identitario che Alfonso stesso attribuiva alla musica. Le immagini musicali sono quindi analizzate nella duplice veste di testimonianze storiche (sui contesti esecutivi, sulle sonorità degli ensembles, sulla diffusione e l’interesse per alcuni strumenti e sul loro valore di emblemi dell’elegante ed armonica vita cortese) e di omaggio verso il Duca, i suoi gusti artistici e le sue vedute culturali. Ad Alfonso e alle sue identificazioni mitologiche è dedicata la seconda parte. Un accurato profilo caratteriale prelude all’analisi di alcune delle opere più significative della committenza alfonsina con particolare attenzione ai capolavori provenienti dai suoi studioli, lo Studio dei Marmi e il Camerino delle Pitture. Quest’ultimo è al centro anche della terza ed ultima parte della tesi che ne propone, in conclusione, un’originale elaborazione 3D in cui è possibile avere informazioni storico-critiche sulle opere e, soprattutto, ascoltare una registrazione inedita del canone di Adrian Willaert raffigurato nel Baccanale degli Andrii di Tiziano, autentico manifesto identitario e culturale di Alfonso.

3-D reconstruction of the human skeleton during motion

L’analisi del movimento umano ha come obiettivo la descrizione del movimento assoluto e relativo dei segmenti ossei del soggetto e, ove richiesto, dei relativi tessuti molli durante l’esecuzione di esercizi fisici. La bioingegneria mette a disposizione dell’analisi del movimento gli strumenti ed i metodi necessari per una valutazione quantitativa di efficacia, funzione e/o qualità del movimento umano, consentendo al clinico l’analisi di aspetti non individuabili con gli esami tradizionali. Tali valutazioni possono essere di ausilio all’analisi clinica di pazienti e, specialmente con riferimento a problemi ortopedici, richiedono una elevata accuratezza e precisione perché il loro uso sia valido. Il miglioramento della affidabilità dell’analisi del movimento ha quindi un impatto positivo sia sulla metodologia utilizzata, sia sulle ricadute cliniche della stessa. Per perseguire gli obiettivi scientifici descritti, è necessario effettuare una stima precisa ed accurata della posizione e orientamento nello spazio dei segmenti ossei in esame durante l’esecuzione di un qualsiasi atto motorio. Tale descrizione può essere ottenuta mediante la definizione di un modello della porzione del corpo sotto analisi e la misura di due tipi di informazione: una relativa al movimento ed una alla morfologia. L’obiettivo è quindi stimare il vettore posizione e la matrice di orientamento necessari a descrivere la collocazione nello spazio virtuale 3D di un osso utilizzando le posizioni di punti, definiti sulla superficie cutanea ottenute attraverso la stereofotogrammetria. Le traiettorie dei marker, così ottenute, vengono utilizzate per la ricostruzione della posizione e dell’orientamento istantaneo di un sistema di assi solidale con il segmento sotto esame (sistema tecnico) (Cappozzo et al. 2005). Tali traiettorie e conseguentemente i sistemi tecnici, sono affetti da due tipi di errore, uno associato allo strumento di misura e l’altro associato alla presenza di tessuti molli interposti tra osso e cute. La propagazione di quest’ultimo ai risultati finali è molto più distruttiva rispetto a quella dell’errore strumentale che è facilmente minimizzabile attraverso semplici tecniche di filtraggio (Chiari et al. 2005). In letteratura è stato evidenziato che l’errore dovuto alla deformabilità dei tessuti molli durante l’analisi del movimento umano provoca inaccuratezze tali da mettere a rischio l’utilizzabilità dei risultati. A tal proposito Andriacchi scrive: “attualmente, uno dei fattori critici che rallentano il progresso negli studi del movimento umano è la misura del movimento scheletrico partendo dai marcatori posti sulla cute” (Andriacchi et al. 2000). Relativamente alla morfologia, essa può essere acquisita, ad esempio, attraverso l’utilizzazione di tecniche per bioimmagini. Queste vengono fornite con riferimento a sistemi di assi locali in generale diversi dai sistemi tecnici. Per integrare i dati relativi al movimento con i dati morfologici occorre determinare l’operatore che consente la trasformazione tra questi due sistemi di assi (matrice di registrazione) e di conseguenza è fondamentale l’individuazione di particolari terne di riferimento, dette terne anatomiche. L’identificazione di queste terne richiede la localizzazione sul segmento osseo di particolari punti notevoli, detti repere anatomici, rispetto ad un sistema di riferimento solidale con l’osso sotto esame. Tale operazione prende il nome di calibrazione anatomica. Nella maggior parte dei laboratori di analisi del movimento viene implementata una calibrazione anatomica a “bassa risoluzione” che prevede la descrizione della morfologia dell’osso a partire dall’informazione relativa alla posizione di alcuni repere corrispondenti a prominenze ossee individuabili tramite palpazione. Attraverso la stereofotogrammetria è quindi possibile registrare la posizione di questi repere rispetto ad un sistema tecnico. Un diverso approccio di calibrazione anatomica può essere realizzato avvalendosi delle tecniche ad “alta risoluzione”, ovvero attraverso l’uso di bioimmagini. In questo caso è necessario disporre di una rappresentazione digitale dell’osso in un sistema di riferimento morfologico e localizzare i repere d’interesse attraverso palpazione in ambiente virtuale (Benedetti et al. 1994 ; Van Sint Jan et al. 2002; Van Sint Jan et al. 2003). Un simile approccio è difficilmente applicabile nella maggior parte dei laboratori di analisi del movimento, in quanto normalmente non si dispone della strumentazione necessaria per ottenere le bioimmagini; inoltre è noto che tale strumentazione in alcuni casi può essere invasiva. Per entrambe le calibrazioni anatomiche rimane da tenere in considerazione che, generalmente, i repere anatomici sono dei punti definiti arbitrariamente all’interno di un’area più vasta e irregolare che i manuali di anatomia definiscono essere il repere anatomico. L’identificazione dei repere attraverso una loro descrizione verbale è quindi povera in precisione e la difficoltà nella loro identificazione tramite palpazione manuale, a causa della presenza dei tessuti molli interposti, genera errori sia in precisione che in accuratezza. Tali errori si propagano alla stima della cinematica e della dinamica articolare (Ramakrishnan et al. 1991; Della Croce et al. 1999). Della Croce (Della Croce et al. 1999) ha inoltre evidenziato che gli errori che influenzano la collocazione nello spazio delle terne anatomiche non dipendono soltanto dalla precisione con cui vengono identificati i repere anatomici, ma anche dalle regole che si utilizzano per definire le terne. E’ infine necessario evidenziare che la palpazione manuale richiede tempo e può essere effettuata esclusivamente da personale altamente specializzato, risultando quindi molto onerosa (Simon 2004). La presente tesi prende lo spunto dai problemi sopra elencati e ha come obiettivo quello di migliorare la qualità delle informazioni necessarie alla ricostruzione della cinematica 3D dei segmenti ossei in esame affrontando i problemi posti dall’artefatto di tessuto molle e le limitazioni intrinseche nelle attuali procedure di calibrazione anatomica. I problemi sono stati affrontati sia mediante procedure di elaborazione dei dati, sia apportando modifiche ai protocolli sperimentali che consentano di conseguire tale obiettivo. Per quanto riguarda l’artefatto da tessuto molle, si è affrontato l’obiettivo di sviluppare un metodo di stima che fosse specifico per il soggetto e per l’atto motorio in esame e, conseguentemente, di elaborare un metodo che ne consentisse la minimizzazione. Il metodo di stima è non invasivo, non impone restrizione al movimento dei tessuti molli, utilizza la sola misura stereofotogrammetrica ed è basato sul principio della media correlata. Le prestazioni del metodo sono state valutate su dati ottenuti mediante una misura 3D stereofotogrammetrica e fluoroscopica sincrona (Stagni et al. 2005), (Stagni et al. 2005). La coerenza dei risultati raggiunti attraverso i due differenti metodi permette di considerare ragionevoli le stime dell’artefatto ottenute con il nuovo metodo. Tale metodo fornisce informazioni sull’artefatto di pelle in differenti porzioni della coscia del soggetto e durante diversi compiti motori, può quindi essere utilizzato come base per un piazzamento ottimo dei marcatori. Lo si è quindi utilizzato come punto di partenza per elaborare un metodo di compensazione dell’errore dovuto all’artefatto di pelle che lo modella come combinazione lineare degli angoli articolari di anca e ginocchio. Il metodo di compensazione è stato validato attraverso una procedura di simulazione sviluppata ad-hoc. Relativamente alla calibrazione anatomica si è ritenuto prioritario affrontare il problema associato all’identificazione dei repere anatomici perseguendo i seguenti obiettivi: 1. migliorare la precisione nell’identificazione dei repere e, di conseguenza, la ripetibilità dell’identificazione delle terne anatomiche e della cinematica articolare, 2. diminuire il tempo richiesto, 3. permettere che la procedura di identificazione possa essere eseguita anche da personale non specializzato. Il perseguimento di tali obiettivi ha portato alla implementazione dei seguenti metodi: • Inizialmente è stata sviluppata una procedura di palpazione virtuale automatica. Dato un osso digitale, la procedura identifica automaticamente i punti di repere più significativi, nella maniera più precisa possibile e senza l'ausilio di un operatore esperto, sulla base delle informazioni ricavabili da un osso digitale di riferimento (template), preliminarmente palpato manualmente. • E’ stato poi condotto uno studio volto ad indagare i fattori metodologici che influenzano le prestazioni del metodo funzionale nell’individuazione del centro articolare d’anca, come prerequisito fondamentale per migliorare la procedura di calibrazione anatomica. A tale scopo sono stati confrontati diversi algoritmi, diversi cluster di marcatori ed è stata valutata la prestazione del metodo in presenza di compensazione dell’artefatto di pelle. • E’stato infine proposto un metodo alternativo di calibrazione anatomica basato sull’individuazione di un insieme di punti non etichettati, giacenti sulla superficie dell’osso e ricostruiti rispetto ad un TF (UP-CAST). A partire dalla posizione di questi punti, misurati su pelvi coscia e gamba, la morfologia del relativo segmento osseo è stata stimata senza identificare i repere, bensì effettuando un’operazione di matching dei punti misurati con un modello digitale dell’osso in esame. La procedura di individuazione dei punti è stata eseguita da personale non specializzato nell’individuazione dei repere anatomici. Ai soggetti in esame è stato richiesto di effettuare dei cicli di cammino in modo tale da poter indagare gli effetti della nuova procedura di calibrazione anatomica sulla determinazione della cinematica articolare. I risultati ottenuti hanno mostrato, per quel che riguarda la identificazione dei repere, che il metodo proposto migliora sia la precisione inter- che intraoperatore, rispetto alla palpazione convenzionale (Della Croce et al. 1999). E’ stato inoltre riscontrato un notevole miglioramento, rispetto ad altri protocolli (Charlton et al. 2004; Schwartz et al. 2004), nella ripetibilità della cinematica 3D di anca e ginocchio. Bisogna inoltre evidenziare che il protocollo è stato applicato da operatori non specializzati nell’identificazione dei repere anatomici. Grazie a questo miglioramento, la presenza di diversi operatori nel laboratorio non genera una riduzione di ripetibilità. Infine, il tempo richiesto per la procedura è drasticamente diminuito. Per una analisi che include la pelvi e i due arti inferiori, ad esempio, l’identificazione dei 16 repere caratteristici usando la calibrazione convenzionale richiede circa 15 minuti, mentre col nuovo metodo tra i 5 e i 10 minuti.

The reconstruction of skeletal movement: the soft tissue artefact issue

In 3D human movement analysis performed using stereophotogrammetric systems and skin markers, bone pose can only be estimated in an indirect fashion. During a movement, soft tissue deformations make the markers move with respect to the underlying bone generating soft tissue artefact (STA). STA has devastating effects on bone pose estimation and its compensation remains an open question. The aim of this PhD thesis was to contribute to the solution of this crucial issue. Modelling STA using measurable trial-specific variables is a fundamental prerequisite for its removal from marker trajectories. Two STA model architectures are proposed. Initially, a thigh marker-level artefact model is presented. STA was modelled as a linear combination of joint angles involved in the movement. This model was calibrated using ex-vivo and in-vivo STA invasive measures. The considerable number of model parameters led to defining STA approximations. Three definitions were proposed to represent STA as a series of modes: individual marker displacements, marker-cluster geometrical transformations (MCGT), and skin envelope shape variations. Modes were selected using two criteria: one based on modal energy and another on the selection of modes chosen a priori. The MCGT allows to select either rigid or non-rigid STA components. It was also empirically demonstrated that only the rigid component affects joint kinematics, regardless of the non-rigid amplitude. Therefore, a model of thigh and shank STA rigid component at cluster-level was then defined. An acceptable trade-off between STA compensation effectiveness and number of parameters can be obtained, improving joint kinematics accuracy. The obtained results lead to two main potential applications: the proposed models can generate realistic STAs for simulation purposes to compare different skeletal kinematics estimators; and, more importantly, focusing only on the STA rigid component, the model attains a satisfactory STA reconstruction with less parameters, facilitating its incorporation in an pose estimator.

Scene Reconstruction And Understanding By RGB-D Sensors

This thesis investigates interactive scene reconstruction and understanding using RGB-D data only. Indeed, we believe that depth cameras will still be in the near future a cheap and low-power 3D sensing alternative suitable for mobile devices too. Therefore, our contributions build on top of state-of-the-art approaches to achieve advances in three main challenging scenarios, namely mobile mapping, large scale surface reconstruction and semantic modeling. First, we will describe an effective approach dealing with Simultaneous Localization And Mapping (SLAM) on platforms with limited resources, such as a tablet device. Unlike previous methods, dense reconstruction is achieved by reprojection of RGB-D frames, while local consistency is maintained by deploying relative bundle adjustment principles. We will show quantitative results comparing our technique to the state-of-the-art as well as detailed reconstruction of various environments ranging from rooms to small apartments. Then, we will address large scale surface modeling from depth maps exploiting parallel GPU computing. We will develop a real-time camera tracking method based on the popular KinectFusion system and an online surface alignment technique capable of counteracting drift errors and closing small loops. We will show very high quality meshes outperforming existing methods on publicly available datasets as well as on data recorded with our RGB-D camera even in complete darkness. Finally, we will move to our Semantic Bundle Adjustment framework to effectively combine object detection and SLAM in a unified system. Though the mathematical framework we will describe does not restrict to a particular sensing technology, in the experimental section we will refer, again, only to RGB-D sensing. We will discuss successful implementations of our algorithm showing the benefit of a joint object detection, camera tracking and environment mapping.

Sviluppo di un sistema di Realta Aumentata applicato a un modello 3D della prostata, sviluppato a partire da immagini RM, al fine di facilitare la dissezione del tumore e la conservazione dei fasci neuro vascolari durante l'intervento chirurgico di prostatectomia radicale robot-assistita

La realtà aumentata (AR) è una nuova tecnologia adottata in chirurgia prostatica con l'obiettivo di migliorare la conservazione dei fasci neurovascolari (NVB) ed evitare i margini chirurgici positivi (PSM). Abbiamo arruolato prospetticamente pazienti con diagnosi di cancro alla prostata (PCa) sul base di biopsia di fusione mirata con mpMRI positiva. Prima dell'intervento, i pazienti arruolati sono stati indirizzati a sottoporsi a ricostruzione del modello virtuale 3D basato su mpMRI preoperatoria immagini. Infine, il chirurgo ha eseguito la RARP con l'ausilio del modello 3D proiettato in AR all'interno della console robotica (RARP guidata AR-3D). I pazienti sottoposti a AR RARP sono stati confrontati con quelli sottoposti a "RARP standard" nello stesso periodo. Nel complesso, i tassi di PSM erano comparabili tra i due gruppi; I PSM a livello della lesione indice erano significativamente più bassi nei pazienti riferiti al gruppo AR-3D (5%) rispetto a quelli nel gruppo di controllo (20%; p = 0,01). La nuova tecnica di guida AR-3D per l'analisi IFS può consentono di ridurre i PSM a livello della lesione dell'indice