Multi-view 3D reconstruction using virtual cameras

Ce mémoire s'intéresse à la reconstruction d'un modèle 3D à partir de plusieurs images. Le modèle 3D est élaboré avec une représentation hiérarchique de voxels sous la forme d'un octree. Un cube englobant le modèle 3D est calculé à partir de la position des caméras. Ce cube contient les voxels et il définit la position de caméras virtuelles. Le modèle 3D est initialisé par une enveloppe convexe basée sur la couleur uniforme du fond des images. Cette enveloppe permet de creuser la périphérie du modèle 3D. Ensuite un coût pondéré est calculé pour évaluer la qualité de chaque voxel à faire partie de la surface de l'objet. Ce coût tient compte de la similarité des pixels provenant de chaque image associée à la caméra virtuelle. Finalement et pour chacune des caméras virtuelles, une surface est calculée basée sur le coût en utilisant la méthode de SGM. La méthode SGM tient compte du voisinage lors du calcul de profondeur et ce mémoire présente une variation de la méthode pour tenir compte des voxels précédemment exclus du modèle par l'étape d'initialisation ou de creusage par une autre surface. Par la suite, les surfaces calculées sont utilisées pour creuser et finaliser le modèle 3D. Ce mémoire présente une combinaison innovante d'étapes permettant de créer un modèle 3D basé sur un ensemble d'images existant ou encore sur une suite d'images capturées en série pouvant mener à la création d'un modèle 3D en temps réel.

3D registration of MR and X-ray spine images using an articulated model.

Présentation: Cet article a été publié dans le journal : Computerised medical imaging and graphics (CMIG). Le but de cet article est de recaler les vertèbres extraites à partir d’images RM avec des vertèbres extraites à partir d’images RX pour des patients scoliotiques, en tenant compte des déformations non-rigides due au changement de posture entre ces deux modalités. À ces fins, une méthode de recalage à l’aide d’un modèle articulé est proposée. Cette méthode a été comparée avec un recalage rigide en calculant l’erreur sur des points de repère, ainsi qu’en calculant la différence entre l’angle de Cobb avant et après recalage. Une validation additionelle de la méthode de recalage présentée ici se trouve dans l’annexe A. Ce travail servira de première étape dans la fusion des images RM, RX et TP du tronc complet. Donc, cet article vérifie l’hypothèse 1 décrite dans la section 3.2.1.

L’effet de la prothèse totale du genou sur la cinématique 3D : vers le développement de biomarqueurs mécaniques de la douleur

La prothèse totale du genou (PTG) est une chirurgie couramment pratiquée pour traiter les patients souffrant d’arthrose sévère du genou. Bien que cette technique chirurgicale soit efficace pour diminuer la douleur, améliorer la fonction du genou et rentable d’un point de vue socio-économique, un pourcentage non négligeable de patients n’est pas satisfait suite à la chirurgie, principalement due à une douleur persistante ou due à une perception d’avoir une mauvaise fonction articulaire, sans cause identifiée. Cependant, l’impact de cette chirurgie sur la cinématique tridimensionnelle (3D) du genou demeure mal compris. Dans le but de mieux comprendre pourquoi certains patients ressentent toujours de la douleur suite à cette chirurgie, cette étude analysera, dans un premier temps, l’effet prospectif de la chirurgie sur la cinématique 3D du genou. Puis dans un second temps, comparera la cinématique 3D de sujet souffrant de douleur à celle de sujets asymptomatiques suite à la prothèse. Pour parvenir à ces deux objectifs, deux études distinctes ont été entreprises. Une première étude prospective a porté sur l’évolution de la cinématique 3D du genou d’un groupe de 19 sujets, recrutés sur la liste d’attente pour prothèse totale du genou de deux chirurgiens du CHUM, hôpital Notre-Dame, puis la cinématique a été comparée avec un groupe contrôle de 17 sujets avec des genoux sains. Une seconde étude a comparé la cinématique 3D de 20 sujets souffrant de douleur post-PTG avec 20 sujets avec des genoux asymptomatiques suite à leur chirurgie. La première étude a permis de montrer que la cinématique dans le plan frontal suite à la prothèse totale du genou était corrigée vers celle des sujets sains. Contrairement à celle mesurée dans les autres plans (sagittal et axial) qui, malgré de petites corrections, demeure différente de la cinématique des sujets sains. La seconde étude a permis d’identifier un marqueur biomécanique de la douleur chez les sujets souffrant de douleur post-PTG. Effectivement, contrairement aux sujets asymptomatiques, suite à leur chirurgie, les patients souffrants de douleur marchent avec une contracture en flexion plus importante tout au long de la phase d’appui. Les résultats de ces deux études tendent à montrer que la prothèse totale du genou modifie la cinématique 3D du genou, sans toutefois redevenir semblable à celle d’un genou normal. De plus, certains marqueurs biomécaniques peuvent être associés à de la douleur suite à la chirurgie. Une meilleure compréhension de l’impact de la PTG sur la cinématique 3D du genou permettra d’offrir de meilleurs traitements en préparation et après la chirurgie et pourrait mener à de nouveaux designs de prothèses.

2D, 3D and 4D active compound delivery in tissue engineering and regenerative medicine

Recent advances in tissue engineering and regenerative medicine have shown that controlling cells microenvironment during growth is a key element to the development of successful therapeutic system. To achieve such control, researchers have first proposed the use of polymeric scaffolds that were able to support cellular growth and, to a certain extent, favor cell organization and tissue structure. With nowadays availability of a large pool of stem cell lines, such approach has appeared to be rather limited since it does not offer the fine control of the cell micro-environment in space and time (4D). Therefore, researchers are currently focusing their efforts on developing strategies that include active compound delivery systems in order to add a fourth dimension to the design of 3D scaffolds. This review will focus on recent concepts and applications of 2D and 3D techniques that have been used to control the load and release of active compounds used to promote cell differentiation and proliferation in or out of a scaffold. We will first present recent advances in the design of 2D polymeric scaffolds and the different techniques that have been used to deposit molecular cues and cells in a controlled fashion. We will continue presenting the recent advances made in the design of 3D scaffolds based on hydrogels as well as polymeric fibers and we will finish by presenting some of the research avenues that are still to be explored.

Semiautomated 3D liver segmentation using computed tomography and magnetic resonance imaging

Le foie est un organe vital ayant une capacité de régénération exceptionnelle et un rôle crucial dans le fonctionnement de l’organisme. L’évaluation du volume du foie est un outil important pouvant être utilisé comme marqueur biologique de sévérité de maladies hépatiques. La volumétrie du foie est indiquée avant les hépatectomies majeures, l’embolisation de la veine porte et la transplantation. La méthode la plus répandue sur la base d'examens de tomodensitométrie (TDM) et d'imagerie par résonance magnétique (IRM) consiste à délimiter le contour du foie sur plusieurs coupes consécutives, un processus appelé la «segmentation». Nous présentons la conception et la stratégie de validation pour une méthode de segmentation semi-automatisée développée à notre institution. Notre méthode représente une approche basée sur un modèle utilisant l’interpolation variationnelle de forme ainsi que l’optimisation de maillages de Laplace. La méthode a été conçue afin d’être compatible avec la TDM ainsi que l' IRM. Nous avons évalué la répétabilité, la fiabilité ainsi que l’efficacité de notre méthode semi-automatisée de segmentation avec deux études transversales conçues rétrospectivement. Les résultats de nos études de validation suggèrent que la méthode de segmentation confère une fiabilité et répétabilité comparables à la segmentation manuelle. De plus, cette méthode diminue de façon significative le temps d’interaction, la rendant ainsi adaptée à la pratique clinique courante. D’autres études pourraient incorporer la volumétrie afin de déterminer des marqueurs biologiques de maladie hépatique basés sur le volume tels que la présence de stéatose, de fer, ou encore la mesure de fibrose par unité de volume.

Spectrum simulation of rough and nanostructured targets from their 2D and 3D image by Monte Carlo methods

Corteo is a program that implements Monte Carlo (MC) method to simulate ion beam analysis (IBA) spectra of several techniques by following the ions trajectory until a sufficiently large fraction of them reach the detector to generate a spectrum. Hence, it fully accounts for effects such as multiple scattering (MS). Here, a version of Corteo is presented where the target can be a 2D or 3D image. This image can be derived from micrographs where the different compounds are identified, therefore bringing extra information into the solution of an IBA spectrum, and potentially significantly constraining the solution. The image intrinsically includes many details such as the actual surface or interfacial roughness, or actual nanostructures shape and distribution. This can for example lead to the unambiguous identification of structures stoichiometry in a layer, or at least to better constraints on their composition. Because MC computes in details the trajectory of the ions, it simulates accurately many of its aspects such as ions coming back into the target after leaving it (re-entry), as well as going through a variety of nanostructures shapes and orientations. We show how, for example, as the ions angle of incidence becomes shallower than the inclination distribution of a rough surface, this process tends to make the effective roughness smaller in a comparable 1D simulation (i.e. narrower thickness distribution in a comparable slab simulation). Also, in ordered nanostructures, target re-entry can lead to replications of a peak in a spectrum. In addition, bitmap description of the target can be used to simulate depth profiles such as those resulting from ion implantation, diffusion, and intermixing. Other improvements to Corteo include the possibility to interpolate the cross-section in angle-energy tables, and the generation of energy-depth maps.

Scoliosis curve type classification from 3D trunk image

Adolescent idiopathic scoliosis (AIS) is a deformity of the spine manifested by asymmetry and deformities of the external surface of the trunk. Classification of scoliosis deformities according to curve type is used to plan management of scoliosis patients. Currently, scoliosis curve type is determined based on X-ray exam. However, cumulative exposure to X-rays radiation significantly increases the risk for certain cancer. In this paper, we propose a robust system that can classify the scoliosis curve type from non invasive acquisition of 3D trunk surface of the patients. The 3D image of the trunk is divided into patches and local geometric descriptors characterizing the surface of the back are computed from each patch and forming the features. We perform the reduction of the dimensionality by using Principal Component Analysis and 53 components were retained. In this work a multi-class classifier is built with Least-squares support vector machine (LS-SVM) which is a kernel classifier. For this study, a new kernel was designed in order to achieve a robust classifier in comparison with polynomial and Gaussian kernel. The proposed system was validated using data of 103 patients with different scoliosis curve types diagnosed and classified by an orthopedic surgeon from the X-ray images. The average rate of successful classification was 93.3% with a better rate of prediction for the major thoracic and lumbar/thoracolumbar types.

Statistical model based 3D shape prediction of postoperative trunks for non-invasive scoliosis surgery planning

One of the major concerns of scoliosis patients undergoing surgical treatment is the aesthetic aspect of the surgery outcome. It would be useful to predict the postoperative appearance of the patient trunk in the course of a surgery planning process in order to take into account the expectations of the patient. In this paper, we propose to use least squares support vector regression for the prediction of the postoperative trunk 3D shape after spine surgery for adolescent idiopathic scoliosis. Five dimensionality reduction techniques used in conjunction with the support vector machine are compared. The methods are evaluated in terms of their accuracy, based on the leave-one-out cross-validation performed on a database of 141 cases. The results indicate that the 3D shape predictions using a dimensionality reduction obtained by simultaneous decomposition of the predictors and response variables have the best accuracy.

Personalized 3D reconstruction of the rib cage for clinical assessment of trunk deformities

Scoliosis is a 3D deformity of the spine and rib cage. Extensive validation of 3D reconstruction methods of the spine from biplanar radiography has already been published. In this article, we propose a novel method to reconstruct the rib cage, using the same biplanar views as for the 3D reconstruction of the spine, to allow clinical assessment of whole trunk deformities. This technique uses a semi-automatic segmentation of the ribs in the postero-anterior X-ray view and an interactive segmentation of partial rib edges in the lateral view. The rib midlines are automatically extracted in 2D and reconstructed in 3D using the epipolar geometry. For the ribs not visible in the lateral view, the method predicts their 3D shape. The accuracy of the proposed method has been assessed using data obtained from a synthetic bone model as a gold standard and has also been evaluated using data of real patients with scoliotic deformities. Results show that the reconstructed ribs enable a reliable evaluation of the rib axial rotation, which will allow a 3D clinical assessment of the spine and rib cage deformities.