Scene Reconstruction And Understanding By RGB-D Sensors

This thesis investigates interactive scene reconstruction and understanding using RGB-D data only. Indeed, we believe that depth cameras will still be in the near future a cheap and low-power 3D sensing alternative suitable for mobile devices too. Therefore, our contributions build on top of state-of-the-art approaches to achieve advances in three main challenging scenarios, namely mobile mapping, large scale surface reconstruction and semantic modeling. First, we will describe an effective approach dealing with Simultaneous Localization And Mapping (SLAM) on platforms with limited resources, such as a tablet device. Unlike previous methods, dense reconstruction is achieved by reprojection of RGB-D frames, while local consistency is maintained by deploying relative bundle adjustment principles. We will show quantitative results comparing our technique to the state-of-the-art as well as detailed reconstruction of various environments ranging from rooms to small apartments. Then, we will address large scale surface modeling from depth maps exploiting parallel GPU computing. We will develop a real-time camera tracking method based on the popular KinectFusion system and an online surface alignment technique capable of counteracting drift errors and closing small loops. We will show very high quality meshes outperforming existing methods on publicly available datasets as well as on data recorded with our RGB-D camera even in complete darkness. Finally, we will move to our Semantic Bundle Adjustment framework to effectively combine object detection and SLAM in a unified system. Though the mathematical framework we will describe does not restrict to a particular sensing technology, in the experimental section we will refer, again, only to RGB-D sensing. We will discuss successful implementations of our algorithm showing the benefit of a joint object detection, camera tracking and environment mapping.

3-D reconstruction of the human skeleton during motion

L’analisi del movimento umano ha come obiettivo la descrizione del movimento assoluto e relativo dei segmenti ossei del soggetto e, ove richiesto, dei relativi tessuti molli durante l’esecuzione di esercizi fisici. La bioingegneria mette a disposizione dell’analisi del movimento gli strumenti ed i metodi necessari per una valutazione quantitativa di efficacia, funzione e/o qualità del movimento umano, consentendo al clinico l’analisi di aspetti non individuabili con gli esami tradizionali. Tali valutazioni possono essere di ausilio all’analisi clinica di pazienti e, specialmente con riferimento a problemi ortopedici, richiedono una elevata accuratezza e precisione perché il loro uso sia valido. Il miglioramento della affidabilità dell’analisi del movimento ha quindi un impatto positivo sia sulla metodologia utilizzata, sia sulle ricadute cliniche della stessa. Per perseguire gli obiettivi scientifici descritti, è necessario effettuare una stima precisa ed accurata della posizione e orientamento nello spazio dei segmenti ossei in esame durante l’esecuzione di un qualsiasi atto motorio. Tale descrizione può essere ottenuta mediante la definizione di un modello della porzione del corpo sotto analisi e la misura di due tipi di informazione: una relativa al movimento ed una alla morfologia. L’obiettivo è quindi stimare il vettore posizione e la matrice di orientamento necessari a descrivere la collocazione nello spazio virtuale 3D di un osso utilizzando le posizioni di punti, definiti sulla superficie cutanea ottenute attraverso la stereofotogrammetria. Le traiettorie dei marker, così ottenute, vengono utilizzate per la ricostruzione della posizione e dell’orientamento istantaneo di un sistema di assi solidale con il segmento sotto esame (sistema tecnico) (Cappozzo et al. 2005). Tali traiettorie e conseguentemente i sistemi tecnici, sono affetti da due tipi di errore, uno associato allo strumento di misura e l’altro associato alla presenza di tessuti molli interposti tra osso e cute. La propagazione di quest’ultimo ai risultati finali è molto più distruttiva rispetto a quella dell’errore strumentale che è facilmente minimizzabile attraverso semplici tecniche di filtraggio (Chiari et al. 2005). In letteratura è stato evidenziato che l’errore dovuto alla deformabilità dei tessuti molli durante l’analisi del movimento umano provoca inaccuratezze tali da mettere a rischio l’utilizzabilità dei risultati. A tal proposito Andriacchi scrive: “attualmente, uno dei fattori critici che rallentano il progresso negli studi del movimento umano è la misura del movimento scheletrico partendo dai marcatori posti sulla cute” (Andriacchi et al. 2000). Relativamente alla morfologia, essa può essere acquisita, ad esempio, attraverso l’utilizzazione di tecniche per bioimmagini. Queste vengono fornite con riferimento a sistemi di assi locali in generale diversi dai sistemi tecnici. Per integrare i dati relativi al movimento con i dati morfologici occorre determinare l’operatore che consente la trasformazione tra questi due sistemi di assi (matrice di registrazione) e di conseguenza è fondamentale l’individuazione di particolari terne di riferimento, dette terne anatomiche. L’identificazione di queste terne richiede la localizzazione sul segmento osseo di particolari punti notevoli, detti repere anatomici, rispetto ad un sistema di riferimento solidale con l’osso sotto esame. Tale operazione prende il nome di calibrazione anatomica. Nella maggior parte dei laboratori di analisi del movimento viene implementata una calibrazione anatomica a “bassa risoluzione” che prevede la descrizione della morfologia dell’osso a partire dall’informazione relativa alla posizione di alcuni repere corrispondenti a prominenze ossee individuabili tramite palpazione. Attraverso la stereofotogrammetria è quindi possibile registrare la posizione di questi repere rispetto ad un sistema tecnico. Un diverso approccio di calibrazione anatomica può essere realizzato avvalendosi delle tecniche ad “alta risoluzione”, ovvero attraverso l’uso di bioimmagini. In questo caso è necessario disporre di una rappresentazione digitale dell’osso in un sistema di riferimento morfologico e localizzare i repere d’interesse attraverso palpazione in ambiente virtuale (Benedetti et al. 1994 ; Van Sint Jan et al. 2002; Van Sint Jan et al. 2003). Un simile approccio è difficilmente applicabile nella maggior parte dei laboratori di analisi del movimento, in quanto normalmente non si dispone della strumentazione necessaria per ottenere le bioimmagini; inoltre è noto che tale strumentazione in alcuni casi può essere invasiva. Per entrambe le calibrazioni anatomiche rimane da tenere in considerazione che, generalmente, i repere anatomici sono dei punti definiti arbitrariamente all’interno di un’area più vasta e irregolare che i manuali di anatomia definiscono essere il repere anatomico. L’identificazione dei repere attraverso una loro descrizione verbale è quindi povera in precisione e la difficoltà nella loro identificazione tramite palpazione manuale, a causa della presenza dei tessuti molli interposti, genera errori sia in precisione che in accuratezza. Tali errori si propagano alla stima della cinematica e della dinamica articolare (Ramakrishnan et al. 1991; Della Croce et al. 1999). Della Croce (Della Croce et al. 1999) ha inoltre evidenziato che gli errori che influenzano la collocazione nello spazio delle terne anatomiche non dipendono soltanto dalla precisione con cui vengono identificati i repere anatomici, ma anche dalle regole che si utilizzano per definire le terne. E’ infine necessario evidenziare che la palpazione manuale richiede tempo e può essere effettuata esclusivamente da personale altamente specializzato, risultando quindi molto onerosa (Simon 2004). La presente tesi prende lo spunto dai problemi sopra elencati e ha come obiettivo quello di migliorare la qualità delle informazioni necessarie alla ricostruzione della cinematica 3D dei segmenti ossei in esame affrontando i problemi posti dall’artefatto di tessuto molle e le limitazioni intrinseche nelle attuali procedure di calibrazione anatomica. I problemi sono stati affrontati sia mediante procedure di elaborazione dei dati, sia apportando modifiche ai protocolli sperimentali che consentano di conseguire tale obiettivo. Per quanto riguarda l’artefatto da tessuto molle, si è affrontato l’obiettivo di sviluppare un metodo di stima che fosse specifico per il soggetto e per l’atto motorio in esame e, conseguentemente, di elaborare un metodo che ne consentisse la minimizzazione. Il metodo di stima è non invasivo, non impone restrizione al movimento dei tessuti molli, utilizza la sola misura stereofotogrammetrica ed è basato sul principio della media correlata. Le prestazioni del metodo sono state valutate su dati ottenuti mediante una misura 3D stereofotogrammetrica e fluoroscopica sincrona (Stagni et al. 2005), (Stagni et al. 2005). La coerenza dei risultati raggiunti attraverso i due differenti metodi permette di considerare ragionevoli le stime dell’artefatto ottenute con il nuovo metodo. Tale metodo fornisce informazioni sull’artefatto di pelle in differenti porzioni della coscia del soggetto e durante diversi compiti motori, può quindi essere utilizzato come base per un piazzamento ottimo dei marcatori. Lo si è quindi utilizzato come punto di partenza per elaborare un metodo di compensazione dell’errore dovuto all’artefatto di pelle che lo modella come combinazione lineare degli angoli articolari di anca e ginocchio. Il metodo di compensazione è stato validato attraverso una procedura di simulazione sviluppata ad-hoc. Relativamente alla calibrazione anatomica si è ritenuto prioritario affrontare il problema associato all’identificazione dei repere anatomici perseguendo i seguenti obiettivi: 1. migliorare la precisione nell’identificazione dei repere e, di conseguenza, la ripetibilità dell’identificazione delle terne anatomiche e della cinematica articolare, 2. diminuire il tempo richiesto, 3. permettere che la procedura di identificazione possa essere eseguita anche da personale non specializzato. Il perseguimento di tali obiettivi ha portato alla implementazione dei seguenti metodi: • Inizialmente è stata sviluppata una procedura di palpazione virtuale automatica. Dato un osso digitale, la procedura identifica automaticamente i punti di repere più significativi, nella maniera più precisa possibile e senza l'ausilio di un operatore esperto, sulla base delle informazioni ricavabili da un osso digitale di riferimento (template), preliminarmente palpato manualmente. • E’ stato poi condotto uno studio volto ad indagare i fattori metodologici che influenzano le prestazioni del metodo funzionale nell’individuazione del centro articolare d’anca, come prerequisito fondamentale per migliorare la procedura di calibrazione anatomica. A tale scopo sono stati confrontati diversi algoritmi, diversi cluster di marcatori ed è stata valutata la prestazione del metodo in presenza di compensazione dell’artefatto di pelle. • E’stato infine proposto un metodo alternativo di calibrazione anatomica basato sull’individuazione di un insieme di punti non etichettati, giacenti sulla superficie dell’osso e ricostruiti rispetto ad un TF (UP-CAST). A partire dalla posizione di questi punti, misurati su pelvi coscia e gamba, la morfologia del relativo segmento osseo è stata stimata senza identificare i repere, bensì effettuando un’operazione di matching dei punti misurati con un modello digitale dell’osso in esame. La procedura di individuazione dei punti è stata eseguita da personale non specializzato nell’individuazione dei repere anatomici. Ai soggetti in esame è stato richiesto di effettuare dei cicli di cammino in modo tale da poter indagare gli effetti della nuova procedura di calibrazione anatomica sulla determinazione della cinematica articolare. I risultati ottenuti hanno mostrato, per quel che riguarda la identificazione dei repere, che il metodo proposto migliora sia la precisione inter- che intraoperatore, rispetto alla palpazione convenzionale (Della Croce et al. 1999). E’ stato inoltre riscontrato un notevole miglioramento, rispetto ad altri protocolli (Charlton et al. 2004; Schwartz et al. 2004), nella ripetibilità della cinematica 3D di anca e ginocchio. Bisogna inoltre evidenziare che il protocollo è stato applicato da operatori non specializzati nell’identificazione dei repere anatomici. Grazie a questo miglioramento, la presenza di diversi operatori nel laboratorio non genera una riduzione di ripetibilità. Infine, il tempo richiesto per la procedura è drasticamente diminuito. Per una analisi che include la pelvi e i due arti inferiori, ad esempio, l’identificazione dei 16 repere caratteristici usando la calibrazione convenzionale richiede circa 15 minuti, mentre col nuovo metodo tra i 5 e i 10 minuti.

Methodological improvement of 3D fluoroscopic analysis for the robust quantification of 3D kinematics of human joints

3D video-fluoroscopy is an accurate but cumbersome technique to estimate natural or prosthetic human joint kinematics. This dissertation proposes innovative methodologies to improve the 3D fluoroscopic analysis reliability and usability. Being based on direct radiographic imaging of the joint, and avoiding soft tissue artefact that limits the accuracy of skin marker based techniques, the fluoroscopic analysis has a potential accuracy of the order of mm/deg or better. It can provide fundamental informations for clinical and methodological applications, but, notwithstanding the number of methodological protocols proposed in the literature, time consuming user interaction is exploited to obtain consistent results. The user-dependency prevented a reliable quantification of the actual accuracy and precision of the methods, and, consequently, slowed down the translation to the clinical practice. The objective of the present work was to speed up this process introducing methodological improvements in the analysis. In the thesis, the fluoroscopic analysis was characterized in depth, in order to evaluate its pros and cons, and to provide reliable solutions to overcome its limitations. To this aim, an analytical approach was followed. The major sources of error were isolated with in-silico preliminary studies as: (a) geometric distortion and calibration errors, (b) 2D images and 3D models resolutions, (c) incorrect contour extraction, (d) bone model symmetries, (e) optimization algorithm limitations, (f) user errors. The effect of each criticality was quantified, and verified with an in-vivo preliminary study on the elbow joint. The dominant source of error was identified in the limited extent of the convergence domain for the local optimization algorithms, which forced the user to manually specify the starting pose for the estimating process. To solve this problem, two different approaches were followed: to increase the optimal pose convergence basin, the local approach used sequential alignments of the 6 degrees of freedom in order of sensitivity, or a geometrical feature-based estimation of the initial conditions for the optimization; the global approach used an unsupervised memetic algorithm to optimally explore the search domain. The performances of the technique were evaluated with a series of in-silico studies and validated in-vitro with a phantom based comparison with a radiostereometric gold-standard. The accuracy of the method is joint-dependent, and for the intact knee joint, the new unsupervised algorithm guaranteed a maximum error lower than 0.5 mm for in-plane translations, 10 mm for out-of-plane translation, and of 3 deg for rotations in a mono-planar setup; and lower than 0.5 mm for translations and 1 deg for rotations in a bi-planar setups. The bi-planar setup is best suited when accurate results are needed, such as for methodological research studies. The mono-planar analysis may be enough for clinical application when the analysis time and cost may be an issue. A further reduction of the user interaction was obtained for prosthetic joints kinematics. A mixed region-growing and level-set segmentation method was proposed and halved the analysis time, delegating the computational burden to the machine. In-silico and in-vivo studies demonstrated that the reliability of the new semiautomatic method was comparable to a user defined manual gold-standard. The improved fluoroscopic analysis was finally applied to a first in-vivo methodological study on the foot kinematics. Preliminary evaluations showed that the presented methodology represents a feasible gold-standard for the validation of skin marker based foot kinematics protocols.

Rilevamento e modellazione tridimensionale per oggetti di piccole dimensioni

Oggigiorno  le  richieste  di  rilievi  tridimensionali  e  di  rappresentazioni  3D  ad  alta  qualità  i  sono  sempre  più  frequenti,  e  coinvolgono  un  numero  sempre  maggiore  di  discipline  e  ambiti  applicativi,  quali  quello  industriale,  medico,  archeologico,  forense,  museale, ecc., con ulteriori prospettive di allargamento per quanto riguarda la natura ed  il numero delle realizzazioni.  Il  lavoro  di  ricerca  svolto,  di  natura  prevalentemente  applicata,  vuole  andare  ad  investigare un settore, quello degli oggetti di medie, medio-piccole e soprattutto piccole  dimensioni, che, a parere dell’autore, non è stato ancora investigato a fondo;di questo  d’altra  parte  dà  riscontro  il  numero  relativamente  limitato  di  lavori  presenti  in  letteratura su questo tema.  Sebbene la metodologia di lavoro non sia concettualmente diversa da quella che si  adotta comunemente in ambito close range, le problematiche che sono state incontrate  nel corso dei diversi casi di studio analizzati nel periodo di dottorato hanno evidenziato  la  necessità  di  soluzioni  tecniche  e  metodologiche  specifiche,  anche  in  funzione  dei  requisiti di precisione che competono ad oggetti di piccole dimensioni.  Nel corso degli anni, si è visto  un allargamento della base di utenti che trovano nel  prodotto  3D  un  importante  strumento  di  lavoro;  si  pensi  alla  cinematografia,  alla  computer grafica, alle simulazioni virtuali a partire da modelli 3D realistici, ecc. Questo  trend sembra, al giorno d’oggi, non trovare ancora una battuta d’arresto. Considerando il  settore  dei  Beni  Culturali,  per  esempio,  si  tratta  di  un  campo  di  applicazione  delle  tecniche  geomatiche  abbastanza  ristretto  e  sostanzialmente  nuovo,  in  quanto  le  problematiche di documentazione e visualizzazione di beni mobili ed immobili sono in  genere indirizzate prevalentemente ad oggetti a scala di edificio, porzione di edificio o  elementi  quali  bassorilievi  e  statue,  comunque  con  un  ordine  di  grandezza  che  va  da  qualche  metro  alla  decina  di  metri.  Qualora,  come  detto  in  precedenza,  si  volesse  aumentare  ulteriormente  la  scala  di  indagine  e  di  rappresentazione,  devono  essere  adottate  delle  tecniche  di  rilievo  che  possano  fornire  un'adeguata  precisione,  con  strumenti e tecnologie che possano adattarsi alle diverse configurazioni e caratteristiche  geometriche. Nella  tesi  viene  dunque  affrontata  la  problematica  del  rilievo  e  della  modellazione  tridimensionale,  con  alto  livello  di  dettaglio,  di  oggetti  di  dimensioni  che  variano  da  qualche decina a pochi centimetri; una situazione di questo tipo può aversi in svariati  ambiti,  che  vanno  da  quello  industriale  e  del  design  a  quello  biologico  e  medico,  dall’archeologia ed alla musealizzazione virtuale alle indagini forensi, ecc.  Concentrando  l’analisi  al  campo  dei  Beni  Culturali,  oggi  oggetto  di  importanti  ricerche  applicative  che  trovano  impulso  anche  dallo  sviluppo  delle  nuove  tecnologie,  sono molto numerose e varie le occasioni in cui operare con oggetti di altissimo valore e  dimensioni molto ridotte: un esempio immediato è quello fornito dal rilievo di reperti  archeologici,  ma  nell’ambito  del  restauro,  dell’analisi  dei  materiali,  delle  indagini  non  distruttive, le potenzialità sono di grandissimo interesse..   Comunemente,  fino  a  poco  tempo  fa,  e  soprattutto  in  ambito  museale,  la  documentazione  geometrica  di  un  bene  culturale  mobile  di  piccole  dimensioni  si  è  limitata  ad  una  rappresentazione  fotografica,  riportante  magari  elementi  metrici  minimali,  come  un  righello  posto  di fianco  all’oggetto,  in  grado  di  fornire  una  scala  di  lettura.  Ciò  che  si  è  in  genere  tenuto  in  scarsa  considerazione,  ma  in  grado  invece    di  dare  al  contenuto  informativo  quel  qualcosa  in  più  rispetto  alla  semplice  fotografia,  è  l’adozione  di  metodologie  per  un  rilievo  rigoroso  e  metrico,  metodologie  che  possono  essere di grandissimo interesse non solo a fini di studio e divulgazione dell’oggetto (si  pensi alla problematica della virtualizzazione della fruizione di beni museali) ma anche  per  scopi  diversi  quali  la  duplicazione  e  riproduzione  di  copie  dell’oggetto  (a  scala  identica  al  vero  o  a  scala  diversa).  Di  frequente  infatti  ci  si  trova  di  fronte  a  problematiche  legate  alla  salvaguardia  e  conservazione  dell’oggetto,  in  termini  di  accesso  e  visione  da  parte  del  pubblico,  di  mantenimento  in  particolari  condizioni  microclimatiche, di difficoltà di manipolazione a fini di studio e misura, ecc.   Nella  tesi  sono  state  prese  in  considerazione  le  due  tecniche  geomatiche  che  si  prestano  a  soddisfare  nel  miglior  modo  possibile  i  requisiti  di  correttezza  metrica  e  radiometrica che un rilievo ad elevata precisione richiede. Tali tecniche, rappresentate  dalla fotogrammetria digitale con ottiche Macro e dal laser a scansione, in particolare del  tipo a triangolazione, sono state sperimentate sul campo , in modo da poter valutarne le  potenzialità,  non  solo  alla  luce  dei  risultati  finali  ottenuti,  ma  anche  considerando  i  problemi al contorno che esse comportano.   Nel  corso  di  numerose  sperimentazioni  in  laboratorio  e  sul  campo  sono  stati  analizzati problemi quali la calibrazione di obiettivi macro e la realizzazione di reticoli   speciali atti allo scopo, la qualità dei DSM di origine laser e fotogrammetrica, l’estrazione  di  caratteristiche  morfologiche di  microrilievo,  le  conseguenze  della  compressione  dei  dati  immagine,  la  calibrazione  radiometrica  ed  il  filtraggio  delle  immagini  digitali,  l’allineamento di nuvole di punti con algoritmi ICP. 

La Ricostruzione 3D di Bologna nel XVI Secolo

Il lavoro presentato ha come oggetto la ricostruzione tridimensionale della città di Bologna nella sua fase rinascimentale. Tale lavoro vuole fornire un modello 3D delle architetture e degli spazi urbani utilizzabile sia per scopi di ricerca nell’ambito della storia delle città sia per un uso didattico-divulgativo nel settore del turismo culturale. La base del lavoro è una fonte iconografica di grande importanza: l’affresco raffigurante Bologna risalente al 1575 e situato in Vaticano; questa è una veduta a volo d’uccello di grandi dimensioni dell’intero tessuto urbano bolognese all’interno della terza cerchia di mura. In esso sono rappresentate in maniera particolareggiata le architetture civili e ecclesiastiche, gli spazi ortivi e cortilivi interni agli isolati e alcune importanti strutture urbane presenti in città alla fine del Cinquecento, come l’area portuale e i canali interni alla città, oggi non più visibili. La ricostruzione tridimensionale è stata realizzata tramite Blender, software per la modellazione 3D opensource, attraverso le fasi di modellazione, texturing e creazione materiali (mediante campionamento delle principali cromie presenti nell’affresco), illuminazione e animazione. Una parte della modellazione è stata poi testata all’interno di un GIS per verificare l’utilizzo delle geometrie 3D come elementi collegabili ad altre fonti storiche relative allo sviluppo urbano e quindi sfruttabili per la ricerca storica. Grande attenzione infine è stata data all’uso dei modelli virtuali a scopo didattico-divulgativo e per il turismo culturale. La modellazione è stata utilizzata all’interno di un motore grafico 3D per costruire un ambiente virtuale interattivo nel quale un utente anche non esperto possa muoversi per esplorare gli spazi urbani della Bologna del Cinquecento. In ultimo è stato impostato lo sviluppo di un’applicazione per sistemi mobile (Iphone e Ipad) al fine di fornire uno strumento per la conoscenza della città storica in mobilità, attraverso la comparazione dello stato attuale con quello ricostruito virtualmente.

Coding of reaching in 3-D space

Many psychophysical studies suggest that target depth and direction during reaches are processed independently, but the neurophysiological support to this view is so far limited. Here, we investigated the representation of reach depth and direction by single neurons in an area of the medial posterior parietal cortex (V6A). Single-unit activity was recorded from V6A in two Macaca fascicularis monkeys performing a fixation-to-reach task to targets at different depths and directions. We found that in a substantial percentage of V6A neurons depth and direction signals jointly influenced fixation, planning and arm movement-related activity in 3D space. While target depth and direction were equally encoded during fixation, depth tuning became stronger during arm movement planning, execution and target holding. The spatial tuning of fixation activity was often maintained across epochs, and this occurred more frequently in depth. These findings support for the first time the existence of a common neural substrate for the encoding of target depth and direction during reaching movements in the posterior parietal cortex. Present results also highlight the presence in V6A of several types of cells that process independently or jointly eye position and arm movement planning and execution signals in order to control reaches in 3D space. It is possible that depth and direction influence also the metrics of the reach action and that this effect on the reach kinematic variables can account for the spatial tuning we found in V6A neural activity. For this reason, we recorded and analyzed behavioral data when one monkey performed reaching movements in 3-D space. We evaluated how the target spatial position, in particular target depth and target direction, affected the kinematic parameters and trajectories describing the motor action properties.