3-D reconstruction of the human skeleton during motion

L’analisi del movimento umano ha come obiettivo la descrizione del movimento assoluto e relativo dei segmenti ossei del soggetto e, ove richiesto, dei relativi tessuti molli durante l’esecuzione di esercizi fisici. La bioingegneria mette a disposizione dell’analisi del movimento gli strumenti ed i metodi necessari per una valutazione quantitativa di efficacia, funzione e/o qualità del movimento umano, consentendo al clinico l’analisi di aspetti non individuabili con gli esami tradizionali. Tali valutazioni possono essere di ausilio all’analisi clinica di pazienti e, specialmente con riferimento a problemi ortopedici, richiedono una elevata accuratezza e precisione perché il loro uso sia valido. Il miglioramento della affidabilità dell’analisi del movimento ha quindi un impatto positivo sia sulla metodologia utilizzata, sia sulle ricadute cliniche della stessa. Per perseguire gli obiettivi scientifici descritti, è necessario effettuare una stima precisa ed accurata della posizione e orientamento nello spazio dei segmenti ossei in esame durante l’esecuzione di un qualsiasi atto motorio. Tale descrizione può essere ottenuta mediante la definizione di un modello della porzione del corpo sotto analisi e la misura di due tipi di informazione: una relativa al movimento ed una alla morfologia. L’obiettivo è quindi stimare il vettore posizione e la matrice di orientamento necessari a descrivere la collocazione nello spazio virtuale 3D di un osso utilizzando le posizioni di punti, definiti sulla superficie cutanea ottenute attraverso la stereofotogrammetria. Le traiettorie dei marker, così ottenute, vengono utilizzate per la ricostruzione della posizione e dell’orientamento istantaneo di un sistema di assi solidale con il segmento sotto esame (sistema tecnico) (Cappozzo et al. 2005). Tali traiettorie e conseguentemente i sistemi tecnici, sono affetti da due tipi di errore, uno associato allo strumento di misura e l’altro associato alla presenza di tessuti molli interposti tra osso e cute. La propagazione di quest’ultimo ai risultati finali è molto più distruttiva rispetto a quella dell’errore strumentale che è facilmente minimizzabile attraverso semplici tecniche di filtraggio (Chiari et al. 2005). In letteratura è stato evidenziato che l’errore dovuto alla deformabilità dei tessuti molli durante l’analisi del movimento umano provoca inaccuratezze tali da mettere a rischio l’utilizzabilità dei risultati. A tal proposito Andriacchi scrive: “attualmente, uno dei fattori critici che rallentano il progresso negli studi del movimento umano è la misura del movimento scheletrico partendo dai marcatori posti sulla cute” (Andriacchi et al. 2000). Relativamente alla morfologia, essa può essere acquisita, ad esempio, attraverso l’utilizzazione di tecniche per bioimmagini. Queste vengono fornite con riferimento a sistemi di assi locali in generale diversi dai sistemi tecnici. Per integrare i dati relativi al movimento con i dati morfologici occorre determinare l’operatore che consente la trasformazione tra questi due sistemi di assi (matrice di registrazione) e di conseguenza è fondamentale l’individuazione di particolari terne di riferimento, dette terne anatomiche. L’identificazione di queste terne richiede la localizzazione sul segmento osseo di particolari punti notevoli, detti repere anatomici, rispetto ad un sistema di riferimento solidale con l’osso sotto esame. Tale operazione prende il nome di calibrazione anatomica. Nella maggior parte dei laboratori di analisi del movimento viene implementata una calibrazione anatomica a “bassa risoluzione” che prevede la descrizione della morfologia dell’osso a partire dall’informazione relativa alla posizione di alcuni repere corrispondenti a prominenze ossee individuabili tramite palpazione. Attraverso la stereofotogrammetria è quindi possibile registrare la posizione di questi repere rispetto ad un sistema tecnico. Un diverso approccio di calibrazione anatomica può essere realizzato avvalendosi delle tecniche ad “alta risoluzione”, ovvero attraverso l’uso di bioimmagini. In questo caso è necessario disporre di una rappresentazione digitale dell’osso in un sistema di riferimento morfologico e localizzare i repere d’interesse attraverso palpazione in ambiente virtuale (Benedetti et al. 1994 ; Van Sint Jan et al. 2002; Van Sint Jan et al. 2003). Un simile approccio è difficilmente applicabile nella maggior parte dei laboratori di analisi del movimento, in quanto normalmente non si dispone della strumentazione necessaria per ottenere le bioimmagini; inoltre è noto che tale strumentazione in alcuni casi può essere invasiva. Per entrambe le calibrazioni anatomiche rimane da tenere in considerazione che, generalmente, i repere anatomici sono dei punti definiti arbitrariamente all’interno di un’area più vasta e irregolare che i manuali di anatomia definiscono essere il repere anatomico. L’identificazione dei repere attraverso una loro descrizione verbale è quindi povera in precisione e la difficoltà nella loro identificazione tramite palpazione manuale, a causa della presenza dei tessuti molli interposti, genera errori sia in precisione che in accuratezza. Tali errori si propagano alla stima della cinematica e della dinamica articolare (Ramakrishnan et al. 1991; Della Croce et al. 1999). Della Croce (Della Croce et al. 1999) ha inoltre evidenziato che gli errori che influenzano la collocazione nello spazio delle terne anatomiche non dipendono soltanto dalla precisione con cui vengono identificati i repere anatomici, ma anche dalle regole che si utilizzano per definire le terne. E’ infine necessario evidenziare che la palpazione manuale richiede tempo e può essere effettuata esclusivamente da personale altamente specializzato, risultando quindi molto onerosa (Simon 2004). La presente tesi prende lo spunto dai problemi sopra elencati e ha come obiettivo quello di migliorare la qualità delle informazioni necessarie alla ricostruzione della cinematica 3D dei segmenti ossei in esame affrontando i problemi posti dall’artefatto di tessuto molle e le limitazioni intrinseche nelle attuali procedure di calibrazione anatomica. I problemi sono stati affrontati sia mediante procedure di elaborazione dei dati, sia apportando modifiche ai protocolli sperimentali che consentano di conseguire tale obiettivo. Per quanto riguarda l’artefatto da tessuto molle, si è affrontato l’obiettivo di sviluppare un metodo di stima che fosse specifico per il soggetto e per l’atto motorio in esame e, conseguentemente, di elaborare un metodo che ne consentisse la minimizzazione. Il metodo di stima è non invasivo, non impone restrizione al movimento dei tessuti molli, utilizza la sola misura stereofotogrammetrica ed è basato sul principio della media correlata. Le prestazioni del metodo sono state valutate su dati ottenuti mediante una misura 3D stereofotogrammetrica e fluoroscopica sincrona (Stagni et al. 2005), (Stagni et al. 2005). La coerenza dei risultati raggiunti attraverso i due differenti metodi permette di considerare ragionevoli le stime dell’artefatto ottenute con il nuovo metodo. Tale metodo fornisce informazioni sull’artefatto di pelle in differenti porzioni della coscia del soggetto e durante diversi compiti motori, può quindi essere utilizzato come base per un piazzamento ottimo dei marcatori. Lo si è quindi utilizzato come punto di partenza per elaborare un metodo di compensazione dell’errore dovuto all’artefatto di pelle che lo modella come combinazione lineare degli angoli articolari di anca e ginocchio. Il metodo di compensazione è stato validato attraverso una procedura di simulazione sviluppata ad-hoc. Relativamente alla calibrazione anatomica si è ritenuto prioritario affrontare il problema associato all’identificazione dei repere anatomici perseguendo i seguenti obiettivi: 1. migliorare la precisione nell’identificazione dei repere e, di conseguenza, la ripetibilità dell’identificazione delle terne anatomiche e della cinematica articolare, 2. diminuire il tempo richiesto, 3. permettere che la procedura di identificazione possa essere eseguita anche da personale non specializzato. Il perseguimento di tali obiettivi ha portato alla implementazione dei seguenti metodi: • Inizialmente è stata sviluppata una procedura di palpazione virtuale automatica. Dato un osso digitale, la procedura identifica automaticamente i punti di repere più significativi, nella maniera più precisa possibile e senza l'ausilio di un operatore esperto, sulla base delle informazioni ricavabili da un osso digitale di riferimento (template), preliminarmente palpato manualmente. • E’ stato poi condotto uno studio volto ad indagare i fattori metodologici che influenzano le prestazioni del metodo funzionale nell’individuazione del centro articolare d’anca, come prerequisito fondamentale per migliorare la procedura di calibrazione anatomica. A tale scopo sono stati confrontati diversi algoritmi, diversi cluster di marcatori ed è stata valutata la prestazione del metodo in presenza di compensazione dell’artefatto di pelle. • E’stato infine proposto un metodo alternativo di calibrazione anatomica basato sull’individuazione di un insieme di punti non etichettati, giacenti sulla superficie dell’osso e ricostruiti rispetto ad un TF (UP-CAST). A partire dalla posizione di questi punti, misurati su pelvi coscia e gamba, la morfologia del relativo segmento osseo è stata stimata senza identificare i repere, bensì effettuando un’operazione di matching dei punti misurati con un modello digitale dell’osso in esame. La procedura di individuazione dei punti è stata eseguita da personale non specializzato nell’individuazione dei repere anatomici. Ai soggetti in esame è stato richiesto di effettuare dei cicli di cammino in modo tale da poter indagare gli effetti della nuova procedura di calibrazione anatomica sulla determinazione della cinematica articolare. I risultati ottenuti hanno mostrato, per quel che riguarda la identificazione dei repere, che il metodo proposto migliora sia la precisione inter- che intraoperatore, rispetto alla palpazione convenzionale (Della Croce et al. 1999). E’ stato inoltre riscontrato un notevole miglioramento, rispetto ad altri protocolli (Charlton et al. 2004; Schwartz et al. 2004), nella ripetibilità della cinematica 3D di anca e ginocchio. Bisogna inoltre evidenziare che il protocollo è stato applicato da operatori non specializzati nell’identificazione dei repere anatomici. Grazie a questo miglioramento, la presenza di diversi operatori nel laboratorio non genera una riduzione di ripetibilità. Infine, il tempo richiesto per la procedura è drasticamente diminuito. Per una analisi che include la pelvi e i due arti inferiori, ad esempio, l’identificazione dei 16 repere caratteristici usando la calibrazione convenzionale richiede circa 15 minuti, mentre col nuovo metodo tra i 5 e i 10 minuti.

La Ricostruzione 3D di Bologna nel XVI Secolo

Il lavoro presentato ha come oggetto la ricostruzione tridimensionale della città di Bologna nella sua fase rinascimentale. Tale lavoro vuole fornire un modello 3D delle architetture e degli spazi urbani utilizzabile sia per scopi di ricerca nell’ambito della storia delle città sia per un uso didattico-divulgativo nel settore del turismo culturale. La base del lavoro è una fonte iconografica di grande importanza: l’affresco raffigurante Bologna risalente al 1575 e situato in Vaticano; questa è una veduta a volo d’uccello di grandi dimensioni dell’intero tessuto urbano bolognese all’interno della terza cerchia di mura. In esso sono rappresentate in maniera particolareggiata le architetture civili e ecclesiastiche, gli spazi ortivi e cortilivi interni agli isolati e alcune importanti strutture urbane presenti in città alla fine del Cinquecento, come l’area portuale e i canali interni alla città, oggi non più visibili. La ricostruzione tridimensionale è stata realizzata tramite Blender, software per la modellazione 3D opensource, attraverso le fasi di modellazione, texturing e creazione materiali (mediante campionamento delle principali cromie presenti nell’affresco), illuminazione e animazione. Una parte della modellazione è stata poi testata all’interno di un GIS per verificare l’utilizzo delle geometrie 3D come elementi collegabili ad altre fonti storiche relative allo sviluppo urbano e quindi sfruttabili per la ricerca storica. Grande attenzione infine è stata data all’uso dei modelli virtuali a scopo didattico-divulgativo e per il turismo culturale. La modellazione è stata utilizzata all’interno di un motore grafico 3D per costruire un ambiente virtuale interattivo nel quale un utente anche non esperto possa muoversi per esplorare gli spazi urbani della Bologna del Cinquecento. In ultimo è stato impostato lo sviluppo di un’applicazione per sistemi mobile (Iphone e Ipad) al fine di fornire uno strumento per la conoscenza della città storica in mobilità, attraverso la comparazione dello stato attuale con quello ricostruito virtualmente.

L'area dei Lungarni di Pisa nel tardo Medioevo (XIV-XV secolo). un tentativo di ricostruzione in 3D.

Lo scopo di questa ricerca è la ricostruzione dei Lungarni di Pisa nel Tardo Medioevo (XIV-XV secolo); lo studio intende sottolineare le trasformazioni urbanistiche che hanno cambiato il volto di Pisa nel corso del tempo e ricordare che l’area fluviale ebbe un ruolo di primo piano come baricentro commerciale ed economico della città, vocazione che si è in gran parte persa con l’età moderna e contemporanea. La metodologia seguita, affinata e perfezionata durante la partecipazione al progetto Nu.M.E. (Nuovo Museo Elettronico della Città di Bologna), si basa sull’analisi e il confronto di fonti eterogenee ma complementari, che includono precedenti studi di storia dell’urbanistica, un corpus di documentazione di epoca medievale (provvedimenti amministrativi come gli Statuti del Comune di Pisa, ma anche descrizioni di cronisti e viaggiatori), fonti iconografiche, tra cui vedute e mappe cinquecentesche o successive, e fonti materiali, come le persistenze medievali ancora osservabili all’interno degli edifici ed i reperti rinvenuti durante alcune campagne di scavo archeologiche. Il modello 3D non è concepito come statico e “chiuso”, ma è liberamente esplorabile all’interno di un engine tridimensionale; tale prodotto può essere destinato a livelli di utenza diversi, che includono sia studiosi e specialisti interessati a conoscere un maggior numero di informazioni e ad approfondire la ricerca, sia semplici cittadini appassionati di storia o utenti più giovani, come studenti di scuole medie superiori e inferiori.

The reconstruction of skeletal movement: the soft tissue artefact issue

In 3D human movement analysis performed using stereophotogrammetric systems and skin markers, bone pose can only be estimated in an indirect fashion. During a movement, soft tissue deformations make the markers move with respect to the underlying bone generating soft tissue artefact (STA). STA has devastating effects on bone pose estimation and its compensation remains an open question. The aim of this PhD thesis was to contribute to the solution of this crucial issue. Modelling STA using measurable trial-specific variables is a fundamental prerequisite for its removal from marker trajectories. Two STA model architectures are proposed. Initially, a thigh marker-level artefact model is presented. STA was modelled as a linear combination of joint angles involved in the movement. This model was calibrated using ex-vivo and in-vivo STA invasive measures. The considerable number of model parameters led to defining STA approximations. Three definitions were proposed to represent STA as a series of modes: individual marker displacements, marker-cluster geometrical transformations (MCGT), and skin envelope shape variations. Modes were selected using two criteria: one based on modal energy and another on the selection of modes chosen a priori. The MCGT allows to select either rigid or non-rigid STA components. It was also empirically demonstrated that only the rigid component affects joint kinematics, regardless of the non-rigid amplitude. Therefore, a model of thigh and shank STA rigid component at cluster-level was then defined. An acceptable trade-off between STA compensation effectiveness and number of parameters can be obtained, improving joint kinematics accuracy. The obtained results lead to two main potential applications: the proposed models can generate realistic STAs for simulation purposes to compare different skeletal kinematics estimators; and, more importantly, focusing only on the STA rigid component, the model attains a satisfactory STA reconstruction with less parameters, facilitating its incorporation in an pose estimator.

Scene Reconstruction And Understanding By RGB-D Sensors

This thesis investigates interactive scene reconstruction and understanding using RGB-D data only. Indeed, we believe that depth cameras will still be in the near future a cheap and low-power 3D sensing alternative suitable for mobile devices too. Therefore, our contributions build on top of state-of-the-art approaches to achieve advances in three main challenging scenarios, namely mobile mapping, large scale surface reconstruction and semantic modeling. First, we will describe an effective approach dealing with Simultaneous Localization And Mapping (SLAM) on platforms with limited resources, such as a tablet device. Unlike previous methods, dense reconstruction is achieved by reprojection of RGB-D frames, while local consistency is maintained by deploying relative bundle adjustment principles. We will show quantitative results comparing our technique to the state-of-the-art as well as detailed reconstruction of various environments ranging from rooms to small apartments. Then, we will address large scale surface modeling from depth maps exploiting parallel GPU computing. We will develop a real-time camera tracking method based on the popular KinectFusion system and an online surface alignment technique capable of counteracting drift errors and closing small loops. We will show very high quality meshes outperforming existing methods on publicly available datasets as well as on data recorded with our RGB-D camera even in complete darkness. Finally, we will move to our Semantic Bundle Adjustment framework to effectively combine object detection and SLAM in a unified system. Though the mathematical framework we will describe does not restrict to a particular sensing technology, in the experimental section we will refer, again, only to RGB-D sensing. We will discuss successful implementations of our algorithm showing the benefit of a joint object detection, camera tracking and environment mapping.