3D registration of MR and X-ray spine images using an articulated model.

Présentation: Cet article a été publié dans le journal : Computerised medical imaging and graphics (CMIG). Le but de cet article est de recaler les vertèbres extraites à partir d’images RM avec des vertèbres extraites à partir d’images RX pour des patients scoliotiques, en tenant compte des déformations non-rigides due au changement de posture entre ces deux modalités. À ces fins, une méthode de recalage à l’aide d’un modèle articulé est proposée. Cette méthode a été comparée avec un recalage rigide en calculant l’erreur sur des points de repère, ainsi qu’en calculant la différence entre l’angle de Cobb avant et après recalage. Une validation additionelle de la méthode de recalage présentée ici se trouve dans l’annexe A. Ce travail servira de première étape dans la fusion des images RM, RX et TP du tronc complet. Donc, cet article vérifie l’hypothèse 1 décrite dans la section 3.2.1.

Scoliosis curve type classification from 3D trunk image

Adolescent idiopathic scoliosis (AIS) is a deformity of the spine manifested by asymmetry and deformities of the external surface of the trunk. Classification of scoliosis deformities according to curve type is used to plan management of scoliosis patients. Currently, scoliosis curve type is determined based on X-ray exam. However, cumulative exposure to X-rays radiation significantly increases the risk for certain cancer. In this paper, we propose a robust system that can classify the scoliosis curve type from non invasive acquisition of 3D trunk surface of the patients. The 3D image of the trunk is divided into patches and local geometric descriptors characterizing the surface of the back are computed from each patch and forming the features. We perform the reduction of the dimensionality by using Principal Component Analysis and 53 components were retained. In this work a multi-class classifier is built with Least-squares support vector machine (LS-SVM) which is a kernel classifier. For this study, a new kernel was designed in order to achieve a robust classifier in comparison with polynomial and Gaussian kernel. The proposed system was validated using data of 103 patients with different scoliosis curve types diagnosed and classified by an orthopedic surgeon from the X-ray images. The average rate of successful classification was 93.3% with a better rate of prediction for the major thoracic and lumbar/thoracolumbar types.

Some Efficient Representations of 3D Information based on Octress

The thesis introduced the octree and addressed the complete nature of problems encountered, while building and imaging system based on octrees. An efficient Bottom-up recursive algorithm and its iterative counterpart for the raster to octree conversion of CAT scan slices, to improve the speed of generating the octree from the slices, the possibility of utilizing the inherent parallesism in the conversion programme is explored in this thesis. The octree node, which stores the volume information in cube often stores the average density information could lead to “patchy”distribution of density during the image reconstruction. In an attempt to alleviate this problem and explored the possibility of using VQ to represent the imformation contained within a cube. Considering the ease of accommodating the process of compressing the information during the generation of octrees from CAT scan slices, proposed use of wavelet transforms to generate the compressed information in a cube. The modified algorithm for generating octrees from the slices is shown to accommodate the eavelet compression easily. Rendering the stored information in the form of octree is a complex task, necessarily because of the requirement to display the volumetric information. The reys traced from each cube in the octree, sum up the density en-route, accounting for the opacities and transparencies produced due to variations in density.

Tomographic imaging of molecular orbitals in length and velocity form

Recently Itatani et al. [Nature 432, 876 (2004)] introduced the new concept of molecular orbital tomography, where high harmonic generation (HHG) is used to image electronic wave functions. We describe an alternative reconstruction form, using momentum instead of dipole matrix elements for the electron recombination step in HHG. We show that using this velocity-form reconstruction, one obtains better results than using the original length-form reconstruction. We provide numerical evidence for our claim that one has to resort to extremely short pulses to perform the reconstruction for an orbital with arbitrary symmetry. The numerical evidence is based on the exact solution of the time-dependent Schrödinger equation for 2D model systems to simulate the experiment. Furthermore we show that in the case of cylindrically symmetric orbitals, such as the N2 orbital that was reconstructed in the original work, one can obtain the full 3D wave function and not only a 2D projection of it. Vor kurzem führten Itatani et al. [Nature 432, 876 (2004)] das Konzept der Molelkülorbital-Tomographie ein. Hierbei wird die Erzeugung hoher Harmonischer verwendet, um Bilder von elektronischen Wellenfunktionen zu gewinnen. Wir beschreiben eine alternative Form der Rekonstruktion, die auf Impuls- statt Dipol-Matrixelementen für den Rekombinationsschritt bei der Erzeugung der Harmonischen basiert. Wir zeigen, dass diese "Geschwindigkeitsform" der Rekonstruktion bessere Ergebnisse als die ursprüngliche "Längenform" liefert. Wir zeigen numerische Beweise für unsere Behauptung, dass man zu extrem kurzen Laserpulsen gehen muss, um Orbitale mit beliebiger Symmetrie zu rekonstruieren. Diese Ergebnisse basieren auf der exakten Lösung der zeitabhängigen Schrödingergleichung für 2D-Modellsysteme. Wir zeigen ferner, dass für zylindersymmetrische Orbitale wie das N2-Orbital, welches in der oben zitierten Arbeit rekonstruiert wurde, das volle 3D-Orbital rekonstruiert werden kann, nicht nur seine 2D-Projektion.

Optimierung der laserinduzierten Plasmaspektroskopie an Metallen durch Femtosekunden-Doppelpulse für die Entwicklung eines hochauflösenden 3D-Rasterabbildungsverfahrens

Die laserinduzierte Plasmaspektroskopie (LIPS) ist eine spektrochemische Elementanalyse zur Bestimmung der atomaren Zusammensetzung einer beliebigen Probe. Für die Analyse ist keine spezielle Probenpräparation nötig und kann unter atmosphärischen Bedingungen an Proben in jedem Aggregatzustand durchgeführt werden. Femtosekunden Laserpulse bieten die Vorteile einer präzisen Ablation mit geringem thermischen Schaden sowie einer hohen Reproduzierbarkeit. Damit ist fs-LIPS ein vielversprechendes Werkzeug für die Mikroanalyse technischer Proben, insbesondere zur Untersuchung ihres Ermüdungsverhaltens. Dabei ist interessant, wie sich die initiierten Mikrorisse innerhalb der materialspezifschen Struktur ausbreiten. In der vorliegenden Arbeit sollte daher ein schnelles und einfach zu handhabendes 3D-Rasterabbildungsverfahren zur Untersuchung der Rissausbreitung in TiAl, einer neuen Legierungsklasse, entwickelt werden. Dazu wurde fs-LIPS (30 fs, 785 nm) mit einem modifizierten Mikroskopaufbau (Objektiv: 50x/NA 0.5) kombiniert, welcher eine präzise, automatisierte Probenpositionierung ermöglicht. Spektrochemische Sensitivität und räumliches Auflösungsvermögen wurden in energieabhängigen Einzel- und Multipulsexperimenten untersucht. 10 Laserpulse pro Position mit einer Pulsenergie von je 100 nJ führten in TiAl zum bestmöglichen Kompromiss aus hohem S/N-Verhältnis von 10:1 und kleinen Lochstrukturen mit inneren Durchmessern von 1.4 µm. Die für das Verfahren entscheidende laterale Auflösung, dem minimalen Lochabstand bei konstantem LIPS-Signal, beträgt mit den obigen Parametern 2 µm und ist die bislang höchste bekannte Auflösung einer auf fs-LIPS basierenden Mikro-/Mapping-Analyse im Fernfeld. Fs-LIPS Scans von Teststrukturen sowie Mikrorissen in TiAl demonstrieren eine spektrochemische Sensitivität von 3 %. Scans in Tiefenrichtung erzielen mit denselben Parametern eine axiale Auflösung von 1 µm. Um die spektrochemische Sensitivität von fs-LIPS zu erhöhen und ein besseres Verständnis für die physikalischen Prozesse während der Laserablation zu erhalten, wurde in Pump-Probe-Experimenten untersucht, in wieweit fs-Doppelpulse den laserinduzierten Abtrag sowie die Plasmaemission beeinflussen. Dazu wurden in einem Mach-Zehnder-Interferometer Pulsabstände von 100 fs bis 2 ns realisiert, Gesamtenergie und Intensitätsverhältnis beider Pulse variiert sowie der Einfluss der Materialparameter untersucht. Sowohl das LIPS-Signal als auch die Lochstrukturen zeigen eine Abhängigkeit von der Verzögerungszeit. Diese wurden in vier verschiedene Regimes eingeteilt und den physikalischen Prozessen während der Laserablation zugeordnet: Die Thermalisierung des Elektronensystems für Pulsabstände unter 1 ps, Schmelzprozesse zwischen 1 und 10 ps, der Beginn des Abtrags nach mehreren 10 ps und die Expansion der Plasmawolke nach über 100 ps. Dabei wird das LIPS-Signal effizient verstärkt und bei 800 ps maximal. Die Lochdurchmesser ändern sich als Funktion des Pulsabstands wenig im Vergleich zur Tiefe. Die gesamte Abtragsrate variiert um maximal 50 %, während sich das LIPS-Signal vervielfacht: Für Ti und TiAl typischerweise um das Dreifache, für Al um das 10-fache. Die gemessenen Transienten zeigen eine hohe Reproduzierbarkeit, jedoch kaum eine Energie- bzw. materialspezifische Abhängigkeit. Mit diesen Ergebnissen wurde eine gezielte Optimierung der DP-LIPS-Parameter an Al durchgeführt: Bei einem Pulsabstand von 800 ps und einer Gesamtenergie von 65 nJ (vierfach über der Ablationsschwelle) wurde eine 40-fache Signalerhöhung bei geringerem Rauschen erzielt. Die Lochdurchmesser vergrößerten sich dabei um 44 % auf (650±150) nm, die Lochtiefe um das Doppelte auf (100±15) nm. Damit war es möglich, die spektrochemische Sensitivität von fs-LIPS zu erhöhen und gleichzeitig die hohe räumliche Auflösung aufrecht zu erhalten.

2D-3D Rigid-Body Registration of X-Ray Fluoroscopy and CT Images

The registration of pre-operative volumetric datasets to intra- operative two-dimensional images provides an improved way of verifying patient position and medical instrument loca- tion. In applications from orthopedics to neurosurgery, it has a great value in maintaining up-to-date information about changes due to intervention. We propose a mutual information- based registration algorithm to establish the proper align- ment. For optimization purposes, we compare the perfor- mance of the non-gradient Powell method and two slightly di erent versions of a stochastic gradient ascent strategy: one using a sparsely sampled histogramming approach and the other Parzen windowing to carry out probability density approximation. Our main contribution lies in adopting the stochastic ap- proximation scheme successfully applied in 3D-3D registra- tion problems to the 2D-3D scenario, which obviates the need for the generation of full DRRs at each iteration of pose op- timization. This facilitates a considerable savings in compu- tation expense. We also introduce a new probability density estimator for image intensities via sparse histogramming, de- rive gradient estimates for the density measures required by the maximization procedure and introduce the framework for a multiresolution strategy to the problem. Registration results are presented on uoroscopy and CT datasets of a plastic pelvis and a real skull, and on a high-resolution CT- derived simulated dataset of a real skull, a plastic skull, a plastic pelvis and a plastic lumbar spine segment.

View-Based Strategies for 3D Object Recognition

A persistent issue of debate in the area of 3D object recognition concerns the nature of the experientially acquired object models in the primate visual system. One prominent proposal in this regard has expounded the use of object centered models, such as representations of the objects' 3D structures in a coordinate frame independent of the viewing parameters [Marr and Nishihara, 1978]. In contrast to this is another proposal which suggests that the viewing parameters encountered during the learning phase might be inextricably linked to subsequent performance on a recognition task [Tarr and Pinker, 1989; Poggio and Edelman, 1990]. The 'object model', according to this idea, is simply a collection of the sample views encountered during training. Given that object centered recognition strategies have the attractive feature of leading to viewpoint independence, they have garnered much of the research effort in the field of computational vision. Furthermore, since human recognition performance seems remarkably robust in the face of imaging variations [Ellis et al., 1989], it has often been implicitly assumed that the visual system employs an object centered strategy. In the present study we examine this assumption more closely. Our experimental results with a class of novel 3D structures strongly suggest the use of a view-based strategy by the human visual system even when it has the opportunity of constructing and using object-centered models. In fact, for our chosen class of objects, the results seem to support a stronger claim: 3D object recognition is 2D view-based.

Pre-procés i segmentació en imatges d’ultrasons 2D i 3D de la pròstata

Aquest projecte s'ha dut a terme amb el Grup de visió per computador del departament d'Arquitectura i Tecnologia de Computadors (ATC) de la Universitat de Girona. Està enfocat a l'anàlisi d'imatges mèdiques, en concret s'analitzaran imatges de pròstata en relació a desenvolupaments que s'estan realitzant en el grup de visió esmentat. Els objectius fixats per aquest projecte són desenvolupar dos mòduls de processamentm d'imatges els quals afrontaran dos blocs important en el tractament d'imatges, aquests dos mòduls seran un pre-processat d'imatges, que constarà de tres filtres i un bloc de segmentació per tal de cercar la pròstata dintre de les imatges a tractar. En el projecte es treballarà amb el llenguatge de programació C++, concretament amb unes llibreries que es denominen ITK (Insight Toolkit ) i són open source enfocades al tractament d'imatges mèdiques. A part d'aquesta eina s'utilitzaran d'altres com les Qt que és una biblioteca d'eines per crear entorns gràfics

Mòdul de visualització 3D d’ ajuda al diagnòstic de les neoplàsies rectals

El diagnòstic mitjançant la imatge mèdica s’ha convertit en una eina fonamental en la pràctica clínica, permet entre altres coses, reconstruir a partir d’un conjunt d’imatges 2D, obtingudes a partir d’aparells de captació, qualsevol part de l’organisme d’un pacient i representar-lo en un model 3D. Sobre aquest model 3D poden realitzar-se diferents operacions que faciliten el diagnòstic i la presa de decisions als especialistes. El projecte que es presenta forma part del desenvolupament de la plataforma informàtica de visualització i tractament de dades mèdiques, anomenada Starviewer, que desenvolupen conjuntament el laboratori de Gràfics i Imatge (GiLab) de la Universitat de Girona i l’ Institut de Diagnòstic per la Imatge (IDI) de l’Hospital Josep Trueta de Girona. En particular, en aquest projecte es centra en el diagnòstic del càncer colorectal i el desenvolupament de mètodes i tècniques de suport al seu diagnòstic. Els dos punts claus en el tractament d’aqueta patologia són: la detecció de les lesions I l’estudi de l’evolució d’aquestes lesions, una vegada s’ha iniciat el tractament tumoral. L’objectiu principal d’aquest projecte és implementar i integrar en la plataforma Starviewer les tècniques de visualització i processament de dades necessàries per donar suport als especialistes en el diagnòstic de les lesions del colon. Donada la dificultat en el processament de les dades reals del budell ens proposem: dissenyar i implementar un sistema per crear models sintètics del budell; estudiar, implementar i avaluar les tècniques de processament d’imatge que calen per segmentar lesions de budell; dissenyar i implementar un sistema d’exploració del budell iintegrar de tots els mòduls implementats en la plataforma starviewer

Online Robust 3D Mapping Using Structure from Motion Cues

This paper presents a complete solution for creating accurate 3D textured models from monocular video sequences. The methods are developed within the framework of sequential structure from motion, where a 3D model of the environment is maintained and updated as new visual information becomes available. The camera position is recovered by directly associating the 3D scene model with local image observations. Compared to standard structure from motion techniques, this approach decreases the error accumulation while increasing the robustness to scene occlusions and feature association failures. The obtained 3D information is used to generate high quality, composite visual maps of the scene (mosaics). The visual maps are used to create texture-mapped, realistic views of the scene

Overview of coded light projection techniques for automatic 3D profiling

Obtaining automatic 3D profile of objects is one of the most important issues in computer vision. With this information, a large number of applications become feasible: from visual inspection of industrial parts to 3D reconstruction of the environment for mobile robots. In order to achieve 3D data, range finders can be used. Coded structured light approach is one of the most widely used techniques to retrieve 3D information of an unknown surface. An overview of the existing techniques as well as a new classification of patterns for structured light sensors is presented. This kind of systems belong to the group of active triangulation method, which are based on projecting a light pattern and imaging the illuminated scene from one or more points of view. Since the patterns are coded, correspondences between points of the image(s) and points of the projected pattern can be easily found. Once correspondences are found, a classical triangulation strategy between camera(s) and projector device leads to the reconstruction of the surface. Advantages and constraints of the different patterns are discussed

Evaluación de la vía aérea superior en pacientes con sahos mediante cefalometría 3D y multiplanar

Objetivo: determinar parámetros biométricos para evaluación y diagnóstico de pacientes con SAHOS por medio de Cefalometría Tridimensional y reconstrucción Multiplanar escanográfica. Materiales y Métodos: se realizó estudio observacional tipo cross-sectional, con 25 pacientes diagnosticados con SAHOS, a los cuales se les hizo TAC simple de cara con reconstrucción multiplanar y tridimensional, evaluando volumen de vía aérea, longitud, promedio del área en corte transversal, área retropalatal, área reglosal, espacio retrogloso lateral y anteroposterior. Resultados: se incluyeron 25 pacientes y realizaron medidas de volumen, longitud, promedio del área en corte transversal, área retropalatal, área retroglosal y espacios regloso lateral y anteroposterior, realizando análisis estadístico mediante el programa SPSS 17.0 reportando medidas de tendencia central como promedio, media, moda, rango, desviación estándar, y concordancia inter e intra observador. Conclusión: la Cefalometría tridimensional con reconstrucción multiplanar ha mostrado ser un excelente método de evaluación de vía aérea en pacientes con SAHOS, obteniendo propias clasificaciones dentro del estudio de estos pacientes. Sin embargo, ante la escasa literatura y difícil obtención de parámetros de referencia es necesario promover el estudio y la investigación de este método diagnostico en pacientes con SAHOS.

Efficient 3D scene modeling and mosaicing

El modelat d'escenes és clau en un gran ventall d'aplicacions que van des de la generació mapes fins a la realitat augmentada. Aquesta tesis presenta una solució completa per a la creació de models 3D amb textura. En primer lloc es presenta un mètode de Structure from Motion seqüencial, a on el model 3D de l'entorn s'actualitza a mesura que s'adquireix nova informació visual. La proposta és més precisa i robusta que l'estat de l'art. També s'ha desenvolupat un mètode online, basat en visual bag-of-words, per a la detecció eficient de llaços. Essent una tècnica completament seqüencial i automàtica, permet la reducció de deriva, millorant la navegació i construcció de mapes. Per tal de construir mapes en àrees extenses, es proposa un algorisme de simplificació de models 3D, orientat a aplicacions online. L'eficiència de les propostes s'ha comparat amb altres mètodes utilitzant diversos conjunts de dades submarines i terrestres.

Texture recognition under varying imaging geometries

La visió és probablement el nostre sentit més dominant a partir del qual derivem la majoria d'informació del món que ens envolta. A través de la visió podem percebre com són les coses, on són i com es mouen. En les imatges que percebem amb el nostre sistema de visió podem extreure'n característiques com el color, la textura i la forma, i gràcies a aquesta informació som capaços de reconèixer objectes fins i tot quan s'observen sota unes condicions totalment diferents. Per exemple, som capaços de distingir un mateix objecte si l'observem des de diferents punts de vista, distància, condicions d'il·luminació, etc. La Visió per Computador intenta emular el sistema de visió humà mitjançant un sistema de captura d'imatges, un ordinador, i un conjunt de programes. L'objectiu desitjat no és altre que desenvolupar un sistema que pugui entendre una imatge d'una manera similar com ho realitzaria una persona. Aquesta tesi es centra en l'anàlisi de la textura per tal de realitzar el reconeixement de superfícies. La motivació principal és resoldre el problema de la classificació de superfícies texturades quan han estat capturades sota diferents condicions, com ara distància de la càmera o direcció de la il·luminació. D'aquesta forma s'aconsegueix reduir els errors de classificació provocats per aquests canvis en les condicions de captura. En aquest treball es presenta detalladament un sistema de reconeixement de textures que ens permet classificar imatges de diferents superfícies capturades en diferents condicions. El sistema proposat es basa en un model 3D de la superfície (que inclou informació de color i forma) obtingut mitjançant la tècnica coneguda com a 4-Source Colour Photometric Stereo (CPS). Aquesta informació és utilitzada posteriorment per un mètode de predicció de textures amb l'objectiu de generar noves imatges 2D de les textures sota unes noves condicions. Aquestes imatges virtuals que es generen seran la base del nostre sistema de reconeixement, ja que seran utilitzades com a models de referència per al nostre classificador de textures. El sistema de reconeixement proposat combina les Matrius de Co-ocurrència per a l'extracció de característiques de textura, amb la utilització del Classificador del veí més proper. Aquest classificador ens permet al mateix temps aproximar la direcció d'il·luminació present en les imatges que s'utilitzen per testejar el sistema de reconeixement. És a dir, serem capaços de predir l'angle d'il·luminació sota el qual han estat capturades les imatges de test. Els resultats obtinguts en els diferents experiments que s'han realitzat demostren la viabilitat del sistema de predicció de textures, així com del sistema de reconeixement.

Modeling camera orientation and 3D structure from a sequence of images taken by a perambulating commercial video camera

In this paper we report the degree of reliability of image sequences taken by off-the-shelf TV cameras for modeling camera rotation and reconstructing 3D structure using computer vision techniques. This is done in spite of the fact that computer vision systems usually use imaging devices that are specifically designed for the human vision. Our scenario consists of a static scene and a mobile camera moving through the scene. The scene is any long axial building dominated by features along the three principal orientations and with at least one wall containing prominent repetitive planar features such as doors, windows bricks etc. The camera is an ordinary commercial camcorder moving along the axial axis of the scene and is allowed to rotate freely within the range +/- 10 degrees in all directions. This makes it possible that the camera be held by a walking unprofessional cameraman with normal gait, or to be mounted on a mobile robot. The system has been tested successfully on sequence of images of a variety of structured, but fairly cluttered scenes taken by different walking cameramen. The potential application areas of the system include medicine, robotics and photogrammetry.