Suivi des vaisseaux sanguins en temps réel à partir d’images ultrasonores mode-B et reconstruction 3D : application à la caractérisation des sténoses artérielles

La maladie des artères périphériques (MAP) se manifeste par une réduction (sténose) de la lumière de l’artère des membres inférieurs. Elle est causée par l’athérosclérose, une accumulation de cellules spumeuses, de graisse, de calcium et de débris cellulaires dans la paroi artérielle, généralement dans les bifurcations et les ramifications. Par ailleurs, la MAP peut être causée par d`autres facteurs associés comme l’inflammation, une malformation anatomique et dans de rares cas, au niveau des artères iliaques et fémorales, par la dysplasie fibromusculaire. L’imagerie ultrasonore est le premier moyen de diagnostic de la MAP. La littérature clinique rapporte qu’au niveau de l’artère fémorale, l’écho-Doppler montre une sensibilité de 80 à 98 % et une spécificité de 89 à 99 % à détecter une sténose supérieure à 50 %. Cependant, l’écho-Doppler ne permet pas une cartographie de l’ensemble des artères des membres inférieurs. D’autre part, la reconstruction 3D à partir des images échographiques 2D des artères atteintes de la MAP est fortement opérateur dépendant à cause de la grande variabilité des mesures pendant l’examen par les cliniciens. Pour planifier une intervention chirurgicale, les cliniciens utilisent la tomodensitométrie (CTA), l’angiographie par résonance magnétique (MRA) et l’angiographie par soustraction numérique (DSA). Il est vrai que ces modalités sont très performantes. La CTA montre une grande précision dans la détection et l’évaluation des sténoses supérieures à 50 % avec une sensibilité de 92 à 97 % et une spécificité entre 93 et 97 %. Par contre, elle est ionisante (rayon x) et invasive à cause du produit de contraste, qui peut causer des néphropathies. La MRA avec injection de contraste (CE MRA) est maintenant la plus utilisée. Elle offre une sensibilité de 92 à 99.5 % et une spécificité entre 64 et 99 %. Cependant, elle sous-estime les sténoses et peut aussi causer une néphropathie dans de rares cas. De plus les patients avec stents, implants métalliques ou bien claustrophobes sont exclus de ce type d`examen. La DSA est très performante mais s`avère invasive et ionisante. Aujourd’hui, l’imagerie ultrasonore (3D US) s’est généralisée surtout en obstétrique et échocardiographie. En angiographie il est possible de calculer le volume de la plaque grâce à l’imagerie ultrasonore 3D, ce qui permet un suivi de l’évolution de la plaque athéromateuse au niveau des vaisseaux. L’imagerie intravasculaire ultrasonore (IVUS) est une technique qui mesure ce volume. Cependant, elle est invasive, dispendieuse et risquée. Des études in vivo ont montré qu’avec l’imagerie 3D-US on est capable de quantifier la plaque au niveau de la carotide et de caractériser la géométrie 3D de l'anastomose dans les artères périphériques. Par contre, ces systèmes ne fonctionnent que sur de courtes distances. Par conséquent, ils ne sont pas adaptés pour l’examen de l’artère fémorale, à cause de sa longueur et de sa forme tortueuse. L’intérêt pour la robotique médicale date des années 70. Depuis, plusieurs robots médicaux ont été proposés pour la chirurgie, la thérapie et le diagnostic. Dans le cas du diagnostic artériel, seuls deux prototypes sont proposés, mais non commercialisés. Hippocrate est le premier robot de type maitre/esclave conçu pour des examens des petits segments d’artères (carotide). Il est composé d’un bras à 6 degrés de liberté (ddl) suspendu au-dessus du patient sur un socle rigide. À partir de ce prototype, un contrôleur automatisant les déplacements du robot par rétroaction des images échographiques a été conçu et testé sur des fantômes. Le deuxième est le robot de la Colombie Britannique conçu pour les examens à distance de la carotide. Le mouvement de la sonde est asservi par rétroaction des images US. Les travaux publiés avec les deux robots se limitent à la carotide. Afin d’examiner un long segment d’artère, un système robotique US a été conçu dans notre laboratoire. Le système possède deux modes de fonctionnement, le mode teach/replay (voir annexe 3) et le mode commande libre par l’utilisateur. Dans ce dernier mode, l’utilisateur peut implémenter des programmes personnalisés comme ceux utilisés dans ce projet afin de contrôler les mouvements du robot. Le but de ce projet est de démontrer les performances de ce système robotique dans des conditions proches au contexte clinique avec le mode commande libre par l’utilisateur. Deux objectifs étaient visés: (1) évaluer in vitro le suivi automatique et la reconstruction 3D en temps réel d’une artère en utilisant trois fantômes ayant des géométries réalistes. (2) évaluer in vivo la capacité de ce système d'imagerie robotique pour la cartographie 3D en temps réel d'une artère fémorale normale. Pour le premier objectif, la reconstruction 3D US a été comparée avec les fichiers CAD (computer-aided-design) des fantômes. De plus, pour le troisième fantôme, la reconstruction 3D US a été comparée avec sa reconstruction CTA, considéré comme examen de référence pour évaluer la MAP. Cinq chapitres composent ce mémoire. Dans le premier chapitre, la MAP sera expliquée, puis dans les deuxième et troisième chapitres, l’imagerie 3D ultrasonore et la robotique médicale seront développées. Le quatrième chapitre sera consacré à la présentation d’un article intitulé " A robotic ultrasound scanner for automatic vessel tracking and three-dimensional reconstruction of B-mode images" qui résume les résultats obtenus dans ce projet de maîtrise. Une discussion générale conclura ce mémoire. L’article intitulé " A 3D ultrasound imaging robotic system to detect and quantify lower limb arterial stenoses: in vivo feasibility " de Marie-Ange Janvier et al dans l’annexe 3, permettra également au lecteur de mieux comprendre notre système robotisé. Ma contribution dans cet article était l’acquisition des images mode B, la reconstruction 3D et l’analyse des résultats pour le patient sain.

Analysis of the esophagogastric junction using the 3D high resolution manometry

Contexte & Objectifs : La manométrie perfusée conventionnelle et la manométrie haute résolution (HRM) ont permis le développement d’une variété de paramètres pour mieux comprendre la motilité de l'œsophage et quantifier les caractéristiques de la jonction œsophago-gastrique (JOG). Cependant, l'anatomie de la JOG est complexe et les enregistrements de manométrie détectent à la fois la pression des structures intrinsèques et des structures extrinsèques à l'œsophage. Ces différents composants ont des rôles distincts au niveau de la JOG. Les pressions dominantes ainsi détectées au niveau de la JOG sont attribuables au sphincter œsophagien inférieur (SOI) et aux piliers du diaphragme (CD), mais aucune des technologies manométriques actuelles n’est capable de distinguer ces différents composants de la JOG. Lorsqu’on analyse les caractéristiques de la JOG au repos, celle ci se comporte avant tout comme une barrière antireflux. Les paramètres manométriques les plus couramment utilisés dans ce but sont la longueur de la JOG et le point d’inversion respiratoire (RIP), défini comme le lieu où le pic de la courbe de pression inspiratoire change de positif (dans l’abdomen) à négatif (dans le thorax), lors de la classique manœuvre de « pull-through ». Cependant, l'importance de ces mesures reste marginale comme en témoigne une récente prise de position de l’American Gastroenterology Association Institute (AGAI) (1) qui concluait que « le rôle actuel de la manométrie dans le reflux gastro-œsophagien (RGO) est d'exclure les troubles moteurs comme cause des symptômes présentés par la patient ». Lors de la déglutition, la mesure objective de la relaxation de la JOG est la pression de relaxation intégrée (IRP), qui permet de faire la distinction entre une relaxation normale et une relaxation anormale de la JOG. Toutefois, puisque la HRM utilise des pressions moyennes à chaque niveau de capteurs, certaines études de manométrie laissent suggérer qu’il existe une zone de haute pression persistante au niveau de la JOG même si un transit est mis en évidence en vidéofluoroscopie. Récemment, la manométrie haute résolution « 3D » (3D-HRM) a été développée (Given Imaging, Duluth, GA) avec le potentiel de simplifier l'évaluation de la morphologie et de la physiologie de la JOG. Le segment « 3D » de ce cathéter de HRM permet l'enregistrement de la pression à la fois de façon axiale et radiale tout en maintenant une position fixe de la sonde, et évitant ainsi la manœuvre de « pull-through ». Par conséquent, la 3D-HRM devrait permettre la mesure de paramètres importants de la JOG tels que sa longueur et le RIP. Les données extraites de l'enregistrement fait par 3D-HRM permettraient également de différencier les signaux de pression attribuables au SOI des éléments qui l’entourent. De plus, l’enregistrement des pressions de façon radiaire permettrait d’enregistrer la pression minimale de chaque niveau de capteurs et devrait corriger cette zone de haute pression parfois persistante lors la déglutition. Ainsi, les objectifs de ce travail étaient: 1) de décrire la morphologie de la JOG au repos en tant que barrière antireflux, en comparant les mesures effectuées avec la 3D-HRM en temps réel, par rapport à celle simulées lors d’une manœuvre de « pull-through » et de déterminer quelles sont les signatures des pressions attribuables au SOI et au diaphragme; 2) d’évaluer la relaxation de la JOG pendant la déglutition en testant l'hypothèse selon laquelle la 3D-HRM permet le développement d’un nouveau paradigme (appelé « 3D eSleeve ») pour le calcul de l’IRP, fondé sur l’utilisation de la pression radiale minimale à chaque niveau de capteur de pression le long de la JOG. Ce nouveau paradigme sera comparé à une étude de transit en vidéofluoroscopie pour évaluer le gradient de pression à travers la JOG. Méthodes : Nous avons utilisé un cathéter 3D-HRM, qui incorpore un segment dit « 3D » de 9 cm au sein d’un cathéter HRM par ailleurs standard. Le segment 3D est composé de 12 niveaux (espacés de 7.5mm) de 8 capteurs de pression disposés radialement, soit un total de 96 capteurs. Neuf volontaires ont été étudiés au repos, où des enregistrements ont été effectués en temps réel et pendant une manœuvre de « pull-through » du segment 3D (mobilisation successive du cathéter de 5 mm, pour que le segment 3D se déplace le long de la JOG). Les mesures de la longueur du SOI et la détermination du RIP ont été réalisées. La longueur de la JOG a été mesurée lors du « pull-through » en utilisant 4 capteurs du segment 3D dispersés radialement et les marges de la JOG ont été définies par une augmentation de la pression de 2 mmHg par rapport à la pression gastrique ou de l’œsophage. Pour le calcul en temps réel, les limites distale et proximale de la JOG ont été définies par une augmentation de pression circonférentielle de 2 mmHg par rapport à la pression de l'estomac. Le RIP a été déterminée, A) dans le mode de tracé conventionnel avec la méthode du « pull-through » [le RIP est la valeur moyenne de 4 mesures] et B) en position fixe, dans le mode de représentation topographique de la pression de l’œsophage, en utilisant l’outil logiciel pour déterminer le point d'inversion de la pression (PIP). Pour l'étude de la relaxation de la JOG lors de la déglutition, 25 volontaires ont été étudiés et ont subi 3 études de manométrie (10 déglutitions de 5ml d’eau) en position couchée avec un cathéter HRM standard et un cathéter 3D-HRM. Avec la 3D-HRM, l’analyse a été effectuée une fois avec le segment 3D et une fois avec une partie non 3D du cathéter (capteurs standard de HRM). Ainsi, pour chaque individu, l'IRP a été calculée de quatre façons: 1) avec la méthode conventionnelle en utilisant le cathéter HRM standard, 2) avec la méthode conventionnelle en utilisant le segment standard du cathéter 3D-HRM, 3) avec la méthode conventionnelle en utilisant le segment « 3D » du cathéter 3D-HRM, et 4) avec le nouveau paradigme (3D eSleeve) qui recueille la pression minimale de chaque niveau de capteurs (segment 3D). Quatorze autres sujets ont subi une vidéofluoroscopie simultanée à l’étude de manométrie avec le cathéter 3D-HRM. Les données de pression ont été exportés vers MATLAB ™ et quatre pressions ont été mesurées simultanément : 1) la pression du corps de l’œsophage, 2cm au-dessus de la JOG, 2) la pression intragastrique, 3) la pression radiale moyenne de la JOG (pression du eSleeve) et 4) la pression de la JOG en utilisant la pression minimale de chaque niveau de capteurs (pression du 3D eSleeve). Ces données ont permis de déterminer le temps permissif d'écoulement du bolus (FPT), caractérisé par la période au cours de laquelle un gradient de pression existe à travers la JOG (pression œsophagienne > pression de relaxation de la JOG > pression gastrique). La présence ou l'absence du bolus en vidéofluoroscopie et le FPT ont été codés avec des valeurs dichotomiques pour chaque période de 0,1 s. Nous avons alors calculé la sensibilité et la spécificité correspondant à la valeur du FPT pour la pression du eSleeve et pour la pression du 3D eSleeve, avec la vidéofluoroscopie pour référence. Résultats : Les enregistrements avec la 3D-HRM laissent suggérer que la longueur du sphincter évaluée avec la méthode du « pull-through » était grandement exagéré en incorporant dans la mesure du SOI les signaux de pression extrinsèques à l’œsophage, asymétriques et attribuables aux piliers du diaphragme et aux structures vasculaires. L’enregistrement en temps réel a permis de constater que les principaux constituants de la pression de la JOG au repos étaient attribuables au diaphragme. L’IRP calculé avec le nouveau paradigme 3D eSleeve était significativement inférieur à tous les autres calculs d'IRP avec une limite supérieure de la normale de 12 mmHg contre 17 mmHg pour l’IRP calculé avec la HRM standard. La sensibilité (0,78) et la spécificité (0,88) du 3D eSleeve étaient meilleurs que le eSleeve standard (0,55 et 0,85 respectivement) pour prédire le FPT par rapport à la vidéofluoroscopie. Discussion et conclusion : Nos observations suggèrent que la 3D-HRM permet l'enregistrement en temps réel des attributs de la JOG, facilitant l'analyse des constituants responsables de sa fonction au repos en tant que barrière antireflux. La résolution spatiale axiale et radiale du segment « 3D » pourrait permettre de poursuivre cette étude pour quantifier les signaux de pression de la JOG attribuable au SOI et aux structures extrinsèques (diaphragme et artéfacts vasculaires). Ces attributs du cathéter 3D-HRM suggèrent qu'il s'agit d'un nouvel outil prometteur pour l'étude de la physiopathologie du RGO. Au cours de la déglutition, nous avons évalué la faisabilité d’améliorer la mesure de l’IRP en utilisant ce nouveau cathéter de manométrie 3D avec un nouveau paradigme (3D eSleeve) basé sur l’utilisation de la pression radiale minimale à chaque niveau de capteurs de pression. Nos résultats suggèrent que cette approche est plus précise que celle de la manométrie haute résolution standard. La 3D-HRM devrait certainement améliorer la précision des mesures de relaxation de la JOG et cela devrait avoir un impact sur la recherche pour modéliser la JOG au cours de la déglutition et dans le RGO.

3D registration of MR and X-ray spine images using an articulated model.

Présentation: Cet article a été publié dans le journal : Computerised medical imaging and graphics (CMIG). Le but de cet article est de recaler les vertèbres extraites à partir d’images RM avec des vertèbres extraites à partir d’images RX pour des patients scoliotiques, en tenant compte des déformations non-rigides due au changement de posture entre ces deux modalités. À ces fins, une méthode de recalage à l’aide d’un modèle articulé est proposée. Cette méthode a été comparée avec un recalage rigide en calculant l’erreur sur des points de repère, ainsi qu’en calculant la différence entre l’angle de Cobb avant et après recalage. Une validation additionelle de la méthode de recalage présentée ici se trouve dans l’annexe A. Ce travail servira de première étape dans la fusion des images RM, RX et TP du tronc complet. Donc, cet article vérifie l’hypothèse 1 décrite dans la section 3.2.1.

Scoliosis curve type classification from 3D trunk image

Adolescent idiopathic scoliosis (AIS) is a deformity of the spine manifested by asymmetry and deformities of the external surface of the trunk. Classification of scoliosis deformities according to curve type is used to plan management of scoliosis patients. Currently, scoliosis curve type is determined based on X-ray exam. However, cumulative exposure to X-rays radiation significantly increases the risk for certain cancer. In this paper, we propose a robust system that can classify the scoliosis curve type from non invasive acquisition of 3D trunk surface of the patients. The 3D image of the trunk is divided into patches and local geometric descriptors characterizing the surface of the back are computed from each patch and forming the features. We perform the reduction of the dimensionality by using Principal Component Analysis and 53 components were retained. In this work a multi-class classifier is built with Least-squares support vector machine (LS-SVM) which is a kernel classifier. For this study, a new kernel was designed in order to achieve a robust classifier in comparison with polynomial and Gaussian kernel. The proposed system was validated using data of 103 patients with different scoliosis curve types diagnosed and classified by an orthopedic surgeon from the X-ray images. The average rate of successful classification was 93.3% with a better rate of prediction for the major thoracic and lumbar/thoracolumbar types.

Some Efficient Representations of 3D Information based on Octress

The thesis introduced the octree and addressed the complete nature of problems encountered, while building and imaging system based on octrees. An efficient Bottom-up recursive algorithm and its iterative counterpart for the raster to octree conversion of CAT scan slices, to improve the speed of generating the octree from the slices, the possibility of utilizing the inherent parallesism in the conversion programme is explored in this thesis. The octree node, which stores the volume information in cube often stores the average density information could lead to “patchy”distribution of density during the image reconstruction. In an attempt to alleviate this problem and explored the possibility of using VQ to represent the imformation contained within a cube. Considering the ease of accommodating the process of compressing the information during the generation of octrees from CAT scan slices, proposed use of wavelet transforms to generate the compressed information in a cube. The modified algorithm for generating octrees from the slices is shown to accommodate the eavelet compression easily. Rendering the stored information in the form of octree is a complex task, necessarily because of the requirement to display the volumetric information. The reys traced from each cube in the octree, sum up the density en-route, accounting for the opacities and transparencies produced due to variations in density.

Tomographic imaging of molecular orbitals in length and velocity form

Recently Itatani et al. [Nature 432, 876 (2004)] introduced the new concept of molecular orbital tomography, where high harmonic generation (HHG) is used to image electronic wave functions. We describe an alternative reconstruction form, using momentum instead of dipole matrix elements for the electron recombination step in HHG. We show that using this velocity-form reconstruction, one obtains better results than using the original length-form reconstruction. We provide numerical evidence for our claim that one has to resort to extremely short pulses to perform the reconstruction for an orbital with arbitrary symmetry. The numerical evidence is based on the exact solution of the time-dependent Schrödinger equation for 2D model systems to simulate the experiment. Furthermore we show that in the case of cylindrically symmetric orbitals, such as the N2 orbital that was reconstructed in the original work, one can obtain the full 3D wave function and not only a 2D projection of it. Vor kurzem führten Itatani et al. [Nature 432, 876 (2004)] das Konzept der Molelkülorbital-Tomographie ein. Hierbei wird die Erzeugung hoher Harmonischer verwendet, um Bilder von elektronischen Wellenfunktionen zu gewinnen. Wir beschreiben eine alternative Form der Rekonstruktion, die auf Impuls- statt Dipol-Matrixelementen für den Rekombinationsschritt bei der Erzeugung der Harmonischen basiert. Wir zeigen, dass diese "Geschwindigkeitsform" der Rekonstruktion bessere Ergebnisse als die ursprüngliche "Längenform" liefert. Wir zeigen numerische Beweise für unsere Behauptung, dass man zu extrem kurzen Laserpulsen gehen muss, um Orbitale mit beliebiger Symmetrie zu rekonstruieren. Diese Ergebnisse basieren auf der exakten Lösung der zeitabhängigen Schrödingergleichung für 2D-Modellsysteme. Wir zeigen ferner, dass für zylindersymmetrische Orbitale wie das N2-Orbital, welches in der oben zitierten Arbeit rekonstruiert wurde, das volle 3D-Orbital rekonstruiert werden kann, nicht nur seine 2D-Projektion.

Optimierung der laserinduzierten Plasmaspektroskopie an Metallen durch Femtosekunden-Doppelpulse für die Entwicklung eines hochauflösenden 3D-Rasterabbildungsverfahrens

Die laserinduzierte Plasmaspektroskopie (LIPS) ist eine spektrochemische Elementanalyse zur Bestimmung der atomaren Zusammensetzung einer beliebigen Probe. Für die Analyse ist keine spezielle Probenpräparation nötig und kann unter atmosphärischen Bedingungen an Proben in jedem Aggregatzustand durchgeführt werden. Femtosekunden Laserpulse bieten die Vorteile einer präzisen Ablation mit geringem thermischen Schaden sowie einer hohen Reproduzierbarkeit. Damit ist fs-LIPS ein vielversprechendes Werkzeug für die Mikroanalyse technischer Proben, insbesondere zur Untersuchung ihres Ermüdungsverhaltens. Dabei ist interessant, wie sich die initiierten Mikrorisse innerhalb der materialspezifschen Struktur ausbreiten. In der vorliegenden Arbeit sollte daher ein schnelles und einfach zu handhabendes 3D-Rasterabbildungsverfahren zur Untersuchung der Rissausbreitung in TiAl, einer neuen Legierungsklasse, entwickelt werden. Dazu wurde fs-LIPS (30 fs, 785 nm) mit einem modifizierten Mikroskopaufbau (Objektiv: 50x/NA 0.5) kombiniert, welcher eine präzise, automatisierte Probenpositionierung ermöglicht. Spektrochemische Sensitivität und räumliches Auflösungsvermögen wurden in energieabhängigen Einzel- und Multipulsexperimenten untersucht. 10 Laserpulse pro Position mit einer Pulsenergie von je 100 nJ führten in TiAl zum bestmöglichen Kompromiss aus hohem S/N-Verhältnis von 10:1 und kleinen Lochstrukturen mit inneren Durchmessern von 1.4 µm. Die für das Verfahren entscheidende laterale Auflösung, dem minimalen Lochabstand bei konstantem LIPS-Signal, beträgt mit den obigen Parametern 2 µm und ist die bislang höchste bekannte Auflösung einer auf fs-LIPS basierenden Mikro-/Mapping-Analyse im Fernfeld. Fs-LIPS Scans von Teststrukturen sowie Mikrorissen in TiAl demonstrieren eine spektrochemische Sensitivität von 3 %. Scans in Tiefenrichtung erzielen mit denselben Parametern eine axiale Auflösung von 1 µm. Um die spektrochemische Sensitivität von fs-LIPS zu erhöhen und ein besseres Verständnis für die physikalischen Prozesse während der Laserablation zu erhalten, wurde in Pump-Probe-Experimenten untersucht, in wieweit fs-Doppelpulse den laserinduzierten Abtrag sowie die Plasmaemission beeinflussen. Dazu wurden in einem Mach-Zehnder-Interferometer Pulsabstände von 100 fs bis 2 ns realisiert, Gesamtenergie und Intensitätsverhältnis beider Pulse variiert sowie der Einfluss der Materialparameter untersucht. Sowohl das LIPS-Signal als auch die Lochstrukturen zeigen eine Abhängigkeit von der Verzögerungszeit. Diese wurden in vier verschiedene Regimes eingeteilt und den physikalischen Prozessen während der Laserablation zugeordnet: Die Thermalisierung des Elektronensystems für Pulsabstände unter 1 ps, Schmelzprozesse zwischen 1 und 10 ps, der Beginn des Abtrags nach mehreren 10 ps und die Expansion der Plasmawolke nach über 100 ps. Dabei wird das LIPS-Signal effizient verstärkt und bei 800 ps maximal. Die Lochdurchmesser ändern sich als Funktion des Pulsabstands wenig im Vergleich zur Tiefe. Die gesamte Abtragsrate variiert um maximal 50 %, während sich das LIPS-Signal vervielfacht: Für Ti und TiAl typischerweise um das Dreifache, für Al um das 10-fache. Die gemessenen Transienten zeigen eine hohe Reproduzierbarkeit, jedoch kaum eine Energie- bzw. materialspezifische Abhängigkeit. Mit diesen Ergebnissen wurde eine gezielte Optimierung der DP-LIPS-Parameter an Al durchgeführt: Bei einem Pulsabstand von 800 ps und einer Gesamtenergie von 65 nJ (vierfach über der Ablationsschwelle) wurde eine 40-fache Signalerhöhung bei geringerem Rauschen erzielt. Die Lochdurchmesser vergrößerten sich dabei um 44 % auf (650±150) nm, die Lochtiefe um das Doppelte auf (100±15) nm. Damit war es möglich, die spektrochemische Sensitivität von fs-LIPS zu erhöhen und gleichzeitig die hohe räumliche Auflösung aufrecht zu erhalten.

2D-3D Rigid-Body Registration of X-Ray Fluoroscopy and CT Images

The registration of pre-operative volumetric datasets to intra- operative two-dimensional images provides an improved way of verifying patient position and medical instrument loca- tion. In applications from orthopedics to neurosurgery, it has a great value in maintaining up-to-date information about changes due to intervention. We propose a mutual information- based registration algorithm to establish the proper align- ment. For optimization purposes, we compare the perfor- mance of the non-gradient Powell method and two slightly di erent versions of a stochastic gradient ascent strategy: one using a sparsely sampled histogramming approach and the other Parzen windowing to carry out probability density approximation. Our main contribution lies in adopting the stochastic ap- proximation scheme successfully applied in 3D-3D registra- tion problems to the 2D-3D scenario, which obviates the need for the generation of full DRRs at each iteration of pose op- timization. This facilitates a considerable savings in compu- tation expense. We also introduce a new probability density estimator for image intensities via sparse histogramming, de- rive gradient estimates for the density measures required by the maximization procedure and introduce the framework for a multiresolution strategy to the problem. Registration results are presented on uoroscopy and CT datasets of a plastic pelvis and a real skull, and on a high-resolution CT- derived simulated dataset of a real skull, a plastic skull, a plastic pelvis and a plastic lumbar spine segment.

View-Based Strategies for 3D Object Recognition

A persistent issue of debate in the area of 3D object recognition concerns the nature of the experientially acquired object models in the primate visual system. One prominent proposal in this regard has expounded the use of object centered models, such as representations of the objects' 3D structures in a coordinate frame independent of the viewing parameters [Marr and Nishihara, 1978]. In contrast to this is another proposal which suggests that the viewing parameters encountered during the learning phase might be inextricably linked to subsequent performance on a recognition task [Tarr and Pinker, 1989; Poggio and Edelman, 1990]. The 'object model', according to this idea, is simply a collection of the sample views encountered during training. Given that object centered recognition strategies have the attractive feature of leading to viewpoint independence, they have garnered much of the research effort in the field of computational vision. Furthermore, since human recognition performance seems remarkably robust in the face of imaging variations [Ellis et al., 1989], it has often been implicitly assumed that the visual system employs an object centered strategy. In the present study we examine this assumption more closely. Our experimental results with a class of novel 3D structures strongly suggest the use of a view-based strategy by the human visual system even when it has the opportunity of constructing and using object-centered models. In fact, for our chosen class of objects, the results seem to support a stronger claim: 3D object recognition is 2D view-based.

Pre-procés i segmentació en imatges d’ultrasons 2D i 3D de la pròstata

Aquest projecte s'ha dut a terme amb el Grup de visió per computador del departament d'Arquitectura i Tecnologia de Computadors (ATC) de la Universitat de Girona. Està enfocat a l'anàlisi d'imatges mèdiques, en concret s'analitzaran imatges de pròstata en relació a desenvolupaments que s'estan realitzant en el grup de visió esmentat. Els objectius fixats per aquest projecte són desenvolupar dos mòduls de processamentm d'imatges els quals afrontaran dos blocs important en el tractament d'imatges, aquests dos mòduls seran un pre-processat d'imatges, que constarà de tres filtres i un bloc de segmentació per tal de cercar la pròstata dintre de les imatges a tractar. En el projecte es treballarà amb el llenguatge de programació C++, concretament amb unes llibreries que es denominen ITK (Insight Toolkit ) i són open source enfocades al tractament d'imatges mèdiques. A part d'aquesta eina s'utilitzaran d'altres com les Qt que és una biblioteca d'eines per crear entorns gràfics

Mòdul de visualització 3D d’ ajuda al diagnòstic de les neoplàsies rectals

El diagnòstic mitjançant la imatge mèdica s’ha convertit en una eina fonamental en la pràctica clínica, permet entre altres coses, reconstruir a partir d’un conjunt d’imatges 2D, obtingudes a partir d’aparells de captació, qualsevol part de l’organisme d’un pacient i representar-lo en un model 3D. Sobre aquest model 3D poden realitzar-se diferents operacions que faciliten el diagnòstic i la presa de decisions als especialistes. El projecte que es presenta forma part del desenvolupament de la plataforma informàtica de visualització i tractament de dades mèdiques, anomenada Starviewer, que desenvolupen conjuntament el laboratori de Gràfics i Imatge (GiLab) de la Universitat de Girona i l’ Institut de Diagnòstic per la Imatge (IDI) de l’Hospital Josep Trueta de Girona. En particular, en aquest projecte es centra en el diagnòstic del càncer colorectal i el desenvolupament de mètodes i tècniques de suport al seu diagnòstic. Els dos punts claus en el tractament d’aqueta patologia són: la detecció de les lesions I l’estudi de l’evolució d’aquestes lesions, una vegada s’ha iniciat el tractament tumoral. L’objectiu principal d’aquest projecte és implementar i integrar en la plataforma Starviewer les tècniques de visualització i processament de dades necessàries per donar suport als especialistes en el diagnòstic de les lesions del colon. Donada la dificultat en el processament de les dades reals del budell ens proposem: dissenyar i implementar un sistema per crear models sintètics del budell; estudiar, implementar i avaluar les tècniques de processament d’imatge que calen per segmentar lesions de budell; dissenyar i implementar un sistema d’exploració del budell iintegrar de tots els mòduls implementats en la plataforma starviewer

Overview of coded light projection techniques for automatic 3D profiling

Obtaining automatic 3D profile of objects is one of the most important issues in computer vision. With this information, a large number of applications become feasible: from visual inspection of industrial parts to 3D reconstruction of the environment for mobile robots. In order to achieve 3D data, range finders can be used. Coded structured light approach is one of the most widely used techniques to retrieve 3D information of an unknown surface. An overview of the existing techniques as well as a new classification of patterns for structured light sensors is presented. This kind of systems belong to the group of active triangulation method, which are based on projecting a light pattern and imaging the illuminated scene from one or more points of view. Since the patterns are coded, correspondences between points of the image(s) and points of the projected pattern can be easily found. Once correspondences are found, a classical triangulation strategy between camera(s) and projector device leads to the reconstruction of the surface. Advantages and constraints of the different patterns are discussed

Evaluación de la vía aérea superior en pacientes con sahos mediante cefalometría 3D y multiplanar

Objetivo: determinar parámetros biométricos para evaluación y diagnóstico de pacientes con SAHOS por medio de Cefalometría Tridimensional y reconstrucción Multiplanar escanográfica. Materiales y Métodos: se realizó estudio observacional tipo cross-sectional, con 25 pacientes diagnosticados con SAHOS, a los cuales se les hizo TAC simple de cara con reconstrucción multiplanar y tridimensional, evaluando volumen de vía aérea, longitud, promedio del área en corte transversal, área retropalatal, área reglosal, espacio retrogloso lateral y anteroposterior. Resultados: se incluyeron 25 pacientes y realizaron medidas de volumen, longitud, promedio del área en corte transversal, área retropalatal, área retroglosal y espacios regloso lateral y anteroposterior, realizando análisis estadístico mediante el programa SPSS 17.0 reportando medidas de tendencia central como promedio, media, moda, rango, desviación estándar, y concordancia inter e intra observador. Conclusión: la Cefalometría tridimensional con reconstrucción multiplanar ha mostrado ser un excelente método de evaluación de vía aérea en pacientes con SAHOS, obteniendo propias clasificaciones dentro del estudio de estos pacientes. Sin embargo, ante la escasa literatura y difícil obtención de parámetros de referencia es necesario promover el estudio y la investigación de este método diagnostico en pacientes con SAHOS.

Texture recognition under varying imaging geometries

La visió és probablement el nostre sentit més dominant a partir del qual derivem la majoria d'informació del món que ens envolta. A través de la visió podem percebre com són les coses, on són i com es mouen. En les imatges que percebem amb el nostre sistema de visió podem extreure'n característiques com el color, la textura i la forma, i gràcies a aquesta informació som capaços de reconèixer objectes fins i tot quan s'observen sota unes condicions totalment diferents. Per exemple, som capaços de distingir un mateix objecte si l'observem des de diferents punts de vista, distància, condicions d'il·luminació, etc. La Visió per Computador intenta emular el sistema de visió humà mitjançant un sistema de captura d'imatges, un ordinador, i un conjunt de programes. L'objectiu desitjat no és altre que desenvolupar un sistema que pugui entendre una imatge d'una manera similar com ho realitzaria una persona. Aquesta tesi es centra en l'anàlisi de la textura per tal de realitzar el reconeixement de superfícies. La motivació principal és resoldre el problema de la classificació de superfícies texturades quan han estat capturades sota diferents condicions, com ara distància de la càmera o direcció de la il·luminació. D'aquesta forma s'aconsegueix reduir els errors de classificació provocats per aquests canvis en les condicions de captura. En aquest treball es presenta detalladament un sistema de reconeixement de textures que ens permet classificar imatges de diferents superfícies capturades en diferents condicions. El sistema proposat es basa en un model 3D de la superfície (que inclou informació de color i forma) obtingut mitjançant la tècnica coneguda com a 4-Source Colour Photometric Stereo (CPS). Aquesta informació és utilitzada posteriorment per un mètode de predicció de textures amb l'objectiu de generar noves imatges 2D de les textures sota unes noves condicions. Aquestes imatges virtuals que es generen seran la base del nostre sistema de reconeixement, ja que seran utilitzades com a models de referència per al nostre classificador de textures. El sistema de reconeixement proposat combina les Matrius de Co-ocurrència per a l'extracció de característiques de textura, amb la utilització del Classificador del veí més proper. Aquest classificador ens permet al mateix temps aproximar la direcció d'il·luminació present en les imatges que s'utilitzen per testejar el sistema de reconeixement. És a dir, serem capaços de predir l'angle d'il·luminació sota el qual han estat capturades les imatges de test. Els resultats obtinguts en els diferents experiments que s'han realitzat demostren la viabilitat del sistema de predicció de textures, així com del sistema de reconeixement.

Modeling camera orientation and 3D structure from a sequence of images taken by a perambulating commercial video camera

In this paper we report the degree of reliability of image sequences taken by off-the-shelf TV cameras for modeling camera rotation and reconstructing 3D structure using computer vision techniques. This is done in spite of the fact that computer vision systems usually use imaging devices that are specifically designed for the human vision. Our scenario consists of a static scene and a mobile camera moving through the scene. The scene is any long axial building dominated by features along the three principal orientations and with at least one wall containing prominent repetitive planar features such as doors, windows bricks etc. The camera is an ordinary commercial camcorder moving along the axial axis of the scene and is allowed to rotate freely within the range +/- 10 degrees in all directions. This makes it possible that the camera be held by a walking unprofessional cameraman with normal gait, or to be mounted on a mobile robot. The system has been tested successfully on sequence of images of a variety of structured, but fairly cluttered scenes taken by different walking cameramen. The potential application areas of the system include medicine, robotics and photogrammetry.