Reconstruction 3D des artères par imagerie intravasculaire ultrasonore (IVUS) et angiographie monoplan

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Construction interactive de BRDFs par simulation 2D de micro-géométries en couches multiples

Les modèles de réflexion complexes, avec leurs nombreux paramètres dont certains restent non intuitifs, sont difficiles à contrôler pour obtenir une apparence désirée. De plus, même si un artiste peut plus aisément comprendre la forme de la micro-géométrie d'une surface, sa modélisation en 3D et sa simulation en 4D demeurent extrêmement fastidieuses et coûteuses en mémoire. Nous proposons une solution intermédiaire, où l'artiste représente en 2D une coupe dans un matériau, en dessinant une micro-géométrie de surface en multi-couches. Une simulation efficace par lancer de rayons en seulement 2D capture les distributions de lumière affectées par les micro-géométries. La déviation hors-plan est calculée automatiquement de façon probabiliste en fonction de la normale au point d'intersection et de la direction du rayon incident. Il en résulte des BRDFs isotropes complètes et complexes, simulées à des vitesses interactives, et permettant ainsi une édition interactive de l'apparence de réflectances riches et variées.

Suivi des vaisseaux sanguins en temps réel à partir d’images ultrasonores mode-B et reconstruction 3D : application à la caractérisation des sténoses artérielles

La maladie des artères périphériques (MAP) se manifeste par une réduction (sténose) de la lumière de l’artère des membres inférieurs. Elle est causée par l’athérosclérose, une accumulation de cellules spumeuses, de graisse, de calcium et de débris cellulaires dans la paroi artérielle, généralement dans les bifurcations et les ramifications. Par ailleurs, la MAP peut être causée par d`autres facteurs associés comme l’inflammation, une malformation anatomique et dans de rares cas, au niveau des artères iliaques et fémorales, par la dysplasie fibromusculaire. L’imagerie ultrasonore est le premier moyen de diagnostic de la MAP. La littérature clinique rapporte qu’au niveau de l’artère fémorale, l’écho-Doppler montre une sensibilité de 80 à 98 % et une spécificité de 89 à 99 % à détecter une sténose supérieure à 50 %. Cependant, l’écho-Doppler ne permet pas une cartographie de l’ensemble des artères des membres inférieurs. D’autre part, la reconstruction 3D à partir des images échographiques 2D des artères atteintes de la MAP est fortement opérateur dépendant à cause de la grande variabilité des mesures pendant l’examen par les cliniciens. Pour planifier une intervention chirurgicale, les cliniciens utilisent la tomodensitométrie (CTA), l’angiographie par résonance magnétique (MRA) et l’angiographie par soustraction numérique (DSA). Il est vrai que ces modalités sont très performantes. La CTA montre une grande précision dans la détection et l’évaluation des sténoses supérieures à 50 % avec une sensibilité de 92 à 97 % et une spécificité entre 93 et 97 %. Par contre, elle est ionisante (rayon x) et invasive à cause du produit de contraste, qui peut causer des néphropathies. La MRA avec injection de contraste (CE MRA) est maintenant la plus utilisée. Elle offre une sensibilité de 92 à 99.5 % et une spécificité entre 64 et 99 %. Cependant, elle sous-estime les sténoses et peut aussi causer une néphropathie dans de rares cas. De plus les patients avec stents, implants métalliques ou bien claustrophobes sont exclus de ce type d`examen. La DSA est très performante mais s`avère invasive et ionisante. Aujourd’hui, l’imagerie ultrasonore (3D US) s’est généralisée surtout en obstétrique et échocardiographie. En angiographie il est possible de calculer le volume de la plaque grâce à l’imagerie ultrasonore 3D, ce qui permet un suivi de l’évolution de la plaque athéromateuse au niveau des vaisseaux. L’imagerie intravasculaire ultrasonore (IVUS) est une technique qui mesure ce volume. Cependant, elle est invasive, dispendieuse et risquée. Des études in vivo ont montré qu’avec l’imagerie 3D-US on est capable de quantifier la plaque au niveau de la carotide et de caractériser la géométrie 3D de l'anastomose dans les artères périphériques. Par contre, ces systèmes ne fonctionnent que sur de courtes distances. Par conséquent, ils ne sont pas adaptés pour l’examen de l’artère fémorale, à cause de sa longueur et de sa forme tortueuse. L’intérêt pour la robotique médicale date des années 70. Depuis, plusieurs robots médicaux ont été proposés pour la chirurgie, la thérapie et le diagnostic. Dans le cas du diagnostic artériel, seuls deux prototypes sont proposés, mais non commercialisés. Hippocrate est le premier robot de type maitre/esclave conçu pour des examens des petits segments d’artères (carotide). Il est composé d’un bras à 6 degrés de liberté (ddl) suspendu au-dessus du patient sur un socle rigide. À partir de ce prototype, un contrôleur automatisant les déplacements du robot par rétroaction des images échographiques a été conçu et testé sur des fantômes. Le deuxième est le robot de la Colombie Britannique conçu pour les examens à distance de la carotide. Le mouvement de la sonde est asservi par rétroaction des images US. Les travaux publiés avec les deux robots se limitent à la carotide. Afin d’examiner un long segment d’artère, un système robotique US a été conçu dans notre laboratoire. Le système possède deux modes de fonctionnement, le mode teach/replay (voir annexe 3) et le mode commande libre par l’utilisateur. Dans ce dernier mode, l’utilisateur peut implémenter des programmes personnalisés comme ceux utilisés dans ce projet afin de contrôler les mouvements du robot. Le but de ce projet est de démontrer les performances de ce système robotique dans des conditions proches au contexte clinique avec le mode commande libre par l’utilisateur. Deux objectifs étaient visés: (1) évaluer in vitro le suivi automatique et la reconstruction 3D en temps réel d’une artère en utilisant trois fantômes ayant des géométries réalistes. (2) évaluer in vivo la capacité de ce système d'imagerie robotique pour la cartographie 3D en temps réel d'une artère fémorale normale. Pour le premier objectif, la reconstruction 3D US a été comparée avec les fichiers CAD (computer-aided-design) des fantômes. De plus, pour le troisième fantôme, la reconstruction 3D US a été comparée avec sa reconstruction CTA, considéré comme examen de référence pour évaluer la MAP. Cinq chapitres composent ce mémoire. Dans le premier chapitre, la MAP sera expliquée, puis dans les deuxième et troisième chapitres, l’imagerie 3D ultrasonore et la robotique médicale seront développées. Le quatrième chapitre sera consacré à la présentation d’un article intitulé " A robotic ultrasound scanner for automatic vessel tracking and three-dimensional reconstruction of B-mode images" qui résume les résultats obtenus dans ce projet de maîtrise. Une discussion générale conclura ce mémoire. L’article intitulé " A 3D ultrasound imaging robotic system to detect and quantify lower limb arterial stenoses: in vivo feasibility " de Marie-Ange Janvier et al dans l’annexe 3, permettra également au lecteur de mieux comprendre notre système robotisé. Ma contribution dans cet article était l’acquisition des images mode B, la reconstruction 3D et l’analyse des résultats pour le patient sain.

Personalized 3D reconstruction of the rib cage for clinical assessment of trunk deformities

Scoliosis is a 3D deformity of the spine and rib cage. Extensive validation of 3D reconstruction methods of the spine from biplanar radiography has already been published. In this article, we propose a novel method to reconstruct the rib cage, using the same biplanar views as for the 3D reconstruction of the spine, to allow clinical assessment of whole trunk deformities. This technique uses a semi-automatic segmentation of the ribs in the postero-anterior X-ray view and an interactive segmentation of partial rib edges in the lateral view. The rib midlines are automatically extracted in 2D and reconstructed in 3D using the epipolar geometry. For the ribs not visible in the lateral view, the method predicts their 3D shape. The accuracy of the proposed method has been assessed using data obtained from a synthetic bone model as a gold standard and has also been evaluated using data of real patients with scoliotic deformities. Results show that the reconstructed ribs enable a reliable evaluation of the rib axial rotation, which will allow a 3D clinical assessment of the spine and rib cage deformities.

A semi-automatic method for segmentation and 3D modeling of glioma tumors from brain MRI

This work presents an efficient method for volume rendering of glioma tumors from segmented 2D MRI Datasets with user interactive control, by replacing manual segmentation required in the state of art methods. The most common primary brain tumors are gliomas, evolving from the cerebral supportive cells. For clinical follow-up, the evaluation of the pre- operative tumor volume is essential. Tumor portions were automatically segmented from 2D MR images using morphological filtering techniques. These seg- mented tumor slices were propagated and modeled with the software package. The 3D modeled tumor consists of gray level values of the original image with exact tumor boundary. Axial slices of FLAIR and T2 weighted images were used for extracting tumors. Volumetric assessment of tumor volume with manual segmentation of its outlines is a time-consuming proc- ess and is prone to error. These defects are overcome in this method. Authors verified the performance of our method on several sets of MRI scans. The 3D modeling was also done using segmented 2D slices with the help of a medical software package called 3D DOCTOR for verification purposes. The results were validated with the ground truth models by the Radi- ologist.

3D Simultaneous Inversion for Seismic Structure and Local Hypocenters in Germany under Consideration of Seismic Anisotropy in the Upper Mantel

The main task of this work has been to investigate the effects of anisotropy onto the propagation of seismic waves along the Upper Mantle below Germany and adjacent areas. Refraction- and reflexion seismic experiments proved the existence of Upper Mantle anisotropy and its influence onto the propagation of Pn-waves. By the 3D tomographic investigations that have been done here for the crust and the upper mantle, considering the influence of anisotropy, a gap for the investigations in Europe has been closed. These investigations have been done with the SSH-Inversionprogram of Prof. Dr. M. Koch, which is able to compute simultaneously the seismic structure and hypocenters. For the investigation, a dataset has been available with recordings between the years 1975 to 2003 with a total of 60249 P- and 54212 S-phase records of 10028 seismic events. At the beginning, a precise analysis of the residuals (RES, the difference between calculated and observed arrivaltime) has been done which confirmed the existence of anisotropy for Pn-phases. The recognized sinusoidal distribution has been compensated by an extension of the SSH-program by an ellipse with a slow and rectangular fast axis with azimuth to correct the Pn-velocities. The azimuth of the fast axis has been fixed by the application of the simultaneous inversion at 25° - 27° with a variation of the velocities at +- 2.5 about an average value at 8 km/s. This new value differs from the old one at 35°, recognized in the initial residual analysis. This depends on the new computed hypocenters together with the structure. The application of the elliptical correction has resulted in a better fit of the vertical layered 1D-Model, compared to the results of preceding seismological experiments and 1D and 2D investigations. The optimal result of the 1D-inversion has been used as initial starting model for the 3D-inversions to compute the three dimensional picture of the seismic structure of the Crust and Upper Mantle. The simultaneous inversion has showed an optimization of the relocalization of the hypocenters and the reconstruction of the seismic structure in comparison to the geology and tectonic, as described by other investigations. The investigations for the seismic structure and the relocalization have been confirmed by several different tests. First, synthetic traveltime data are computed with an anisotropic variation and inverted with and without anisotropic correction. Further, tests with randomly disturbed hypocenters and traveltime data have been proceeded to verify the influence of the initial values onto the relocalization accuracy and onto the seismic structure and to test for a further improvement by the application of the anisotropic correction. Finally, the results of the work have been applied onto the Waldkirch earthquake in 2004 to compare the isotropic and the anisotropic relocalization with the initial optimal one to verify whether there is some improvement.

View-Based Strategies for 3D Object Recognition

A persistent issue of debate in the area of 3D object recognition concerns the nature of the experientially acquired object models in the primate visual system. One prominent proposal in this regard has expounded the use of object centered models, such as representations of the objects' 3D structures in a coordinate frame independent of the viewing parameters [Marr and Nishihara, 1978]. In contrast to this is another proposal which suggests that the viewing parameters encountered during the learning phase might be inextricably linked to subsequent performance on a recognition task [Tarr and Pinker, 1989; Poggio and Edelman, 1990]. The 'object model', according to this idea, is simply a collection of the sample views encountered during training. Given that object centered recognition strategies have the attractive feature of leading to viewpoint independence, they have garnered much of the research effort in the field of computational vision. Furthermore, since human recognition performance seems remarkably robust in the face of imaging variations [Ellis et al., 1989], it has often been implicitly assumed that the visual system employs an object centered strategy. In the present study we examine this assumption more closely. Our experimental results with a class of novel 3D structures strongly suggest the use of a view-based strategy by the human visual system even when it has the opportunity of constructing and using object-centered models. In fact, for our chosen class of objects, the results seem to support a stronger claim: 3D object recognition is 2D view-based.

Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Mòdul de visualització 3D d’ ajuda al diagnòstic de les neoplàsies rectals

El diagnòstic mitjançant la imatge mèdica s’ha convertit en una eina fonamental en la pràctica clínica, permet entre altres coses, reconstruir a partir d’un conjunt d’imatges 2D, obtingudes a partir d’aparells de captació, qualsevol part de l’organisme d’un pacient i representar-lo en un model 3D. Sobre aquest model 3D poden realitzar-se diferents operacions que faciliten el diagnòstic i la presa de decisions als especialistes. El projecte que es presenta forma part del desenvolupament de la plataforma informàtica de visualització i tractament de dades mèdiques, anomenada Starviewer, que desenvolupen conjuntament el laboratori de Gràfics i Imatge (GiLab) de la Universitat de Girona i l’ Institut de Diagnòstic per la Imatge (IDI) de l’Hospital Josep Trueta de Girona. En particular, en aquest projecte es centra en el diagnòstic del càncer colorectal i el desenvolupament de mètodes i tècniques de suport al seu diagnòstic. Els dos punts claus en el tractament d’aqueta patologia són: la detecció de les lesions I l’estudi de l’evolució d’aquestes lesions, una vegada s’ha iniciat el tractament tumoral. L’objectiu principal d’aquest projecte és implementar i integrar en la plataforma Starviewer les tècniques de visualització i processament de dades necessàries per donar suport als especialistes en el diagnòstic de les lesions del colon. Donada la dificultat en el processament de les dades reals del budell ens proposem: dissenyar i implementar un sistema per crear models sintètics del budell; estudiar, implementar i avaluar les tècniques de processament d’imatge que calen per segmentar lesions de budell; dissenyar i implementar un sistema d’exploració del budell iintegrar de tots els mòduls implementats en la plataforma starviewer

Desarrollo personalizado de aplicaciones SIG 3D

En los últimos años la proliferación de aplicaciones 3D en SIG ha sido enorme, desde la aparición de Google Earth el usuario está familiarizado con entornos 3D. Por otra parte lo ordenadores con aceleración 3D son comunes en la actualidad y el acceso a banda ancha es prácticamente generalizado, además cada vez hay mayor cantidad de datos públicos que pueden ser utilizados por clientes SIG que sean capas de recibir datos de Internet.Hay varias librerías apropiadas para la realización de este tipo de aplicaciones. IGO SOFTWARE a comenzado a desarrollar aplicaciones 3D con las librería Nasa World Wind SDK para java.Decidimos usar estar librerías por su robustez, sencillez, cantidad de ejemplo, estar hechas en java (nos permite su unión a muchas librerías SIG) y su uso de caché local. Las aplicaciones desarrolladas en 3D no sólo son visualmente más atractivas, también nos ofrecen más información que el SIG clásico en 2D. Gracias a la integración de librerías como SEXTANTE ahora es posible también realizar análisis. En un futuro se espera poder desarrollar también algoritmos de análisis en 3D usando dicha plataforma. Por otra parte, llevamos desde hace algunos años desarrollando aplicaciones para el tratamiento de nubes de puntos proveniente de Láser Escáner y LIDAR, esta plataforma es ideal para mostrar nubes de puntos, por lo que es perfecta para visualizar nubes de puntos georreferenciadas. Mostraremos ejemplos de aplicaciones programadas con estas librerías y las posibilidades que vemos de cara a un futuro a este tipo de desarrollos

Realismo 3D aplicado a la Gestión Municipal

La visualización 3D ofrece una serie de ventajas y funcionalidades cada vez más demandadas, por lo que es conveniente su incorporación a las aplicaciones GIS. El sistema propuesto integra la vista 2D propia de un GIS y la vista 3D garantizando la interacción entre ellas y teniendo por resultado una solución GIS integral. Se permite la carga de Modelos Digitales del Terreno (MDT), de forma directa o empleando servicios OGC-CSW, para la proyección de los elementos 2D, así como la carga de modelos 3D. Además el sistema está dotado de herramientas para extrusión y generación automática de volúmenes empleando parámetros existentes en la información 2D. La generación de las construcciones a partir de su altura y la elaboración de redes tridimensionales a partir de la profundidad en las infraestructuras son algunos casos prácticos de interés. Igualmente se permite no sólo la consulta y visualización sino también la edición 3D, lo que supone una importante ventaja frente a otros sistemas 3D. LocalGIS, Sistema de Información Territorial de software libre aplicado a la gestión municipal, es el sistema GIS empleado para la incorporación del prototipo. Se permite por lo tanto aplicar todas las ventajas y funcionalidades propias del 3D a la gestión municipal que LocalGIS realiza. Esta tecnología ofrece un campo de aplicaciones muy amplio y prometedor

Optimal 3D surface reconstruction from multiview photographic images

This paper describes a new method for reconstructing 3D surface using a small number, e.g. 10, of 2D photographic images. The images are taken at different viewing directions by a perspective camera with full prior knowledge of the camera configurations. The reconstructed object's surface is represented a set of triangular facets. We empirically demonstrate that if the viewing directions are uniformly distributed around the object's viewing sphere, then the reconstructed 3D points optimally cluster closely on a highly curved part of the surface and are widely, spread on smooth or fat parts. The advantage of this property is that the reconstructed points along a surface or a contour generator are not undersampled or underrepresented because surfaces or contours should be sampled or represented with more densely points where their curvatures are high. The more complex the contour's shape, the greater is the number of points required, but the greater the number of points is automatically generated by the proposed method Given that the viewing directions are uniformly distributed, the number and distribution of the reconstructed points depend on the shape or the curvature of the surface regardless of the size of the surface or the size of the object.

3D surface point and wireframe reconstruction from multiview photographic images

This paper describes a new method for reconstructing 3D surface points and a wireframe on the surface of a freeform object using a small number, e.g. 10, of 2D photographic images. The images are taken at different viewing directions by a perspective camera with full prior knowledge of the camera configurations. The reconstructed surface points are frontier points and the wireframe is a network of contour generators. Both of them are reconstructed by pairing apparent contours in the 2D images. Unlike previous works, we empirically demonstrate that if the viewing directions are uniformly distributed around the object's viewing sphere, then the reconstructed 3D points automatically cluster closely on a highly curved part of the surface and are widely spread on smooth or flat parts. The advantage of this property is that the reconstructed points along a surface or a contour generator are not under-sampled or under-represented because surfaces or contours should be sampled or represented with more densely points where their curvatures are high. The more complex the contour's shape, the greater is the number of points required, but the greater the number of points is automatically generated by the proposed method. Given that the viewing directions are uniformly distributed, the number and distribution of the reconstructed points depend on the shape or the curvature of the surface regardless of the size of the surface or the size of the object. The unique pattern of the reconstructed points and contours may be used in 31) object recognition and measurement without computationally intensive full surface reconstruction. The results are obtained from both computer-generated and real objects. (C) 2007 Elsevier B.V. All rights reserved.

3D scanning by multiple fan beam X-ray sources and sensors

*** Purpose – Computer tomography (CT) for 3D reconstruction entails a huge number of coplanar fan-beam projections for each of a large number of 2D slice images, and excessive radiation intensities and dosages. For some applications its rate of throughput is also inadequate. A technique for overcoming these limitations is outlined. *** Design methodology/approach – A novel method to reconstruct 3D surface models of objects is presented, using, typically, ten, 2D projective images. These images are generated by relative motion between this set of objects and a set of ten fanbeam X-ray sources and sensors, with their viewing axes suitably distributed in 2D angular space. *** Findings – The method entails a radiation dosage several orders of magnitude lower than CT, and requires far less computational power. Experimental results are given to illustrate the capability of the technique *** Practical implications – The substantially lower cost of the method and, more particularly, its dramatically lower irradiation make it relevant to many applications precluded by current techniques *** Originality/value – The method can be used in many applications such as aircraft hold-luggage screening, 3D industrial modelling and measurement, and it should also have important applications to medical diagnosis and surgery.

Addressing animal health knowledge gaps in Southern Countries: the creation of a 2D animal health resource room

Livestock are a key asset for the global poor. However, access to relevant information is a critical issue for both livestock development practitioners and the poor themselves. Therefore, the following paper details the creation of an on-line Animal Health Resource Room. The aim was to create an immersive environment, which mimics the benefits of a 3D Virtual Learning Environment without the constraints on download times. Therefore, in the following paper key issues in the dissemination of such a platform such as connectivity and speed are explored within the wider context of the development of the tool itself.