3D registration of MR and X-ray spine images using an articulated model.

Présentation: Cet article a été publié dans le journal : Computerised medical imaging and graphics (CMIG). Le but de cet article est de recaler les vertèbres extraites à partir d’images RM avec des vertèbres extraites à partir d’images RX pour des patients scoliotiques, en tenant compte des déformations non-rigides due au changement de posture entre ces deux modalités. À ces fins, une méthode de recalage à l’aide d’un modèle articulé est proposée. Cette méthode a été comparée avec un recalage rigide en calculant l’erreur sur des points de repère, ainsi qu’en calculant la différence entre l’angle de Cobb avant et après recalage. Une validation additionelle de la méthode de recalage présentée ici se trouve dans l’annexe A. Ce travail servira de première étape dans la fusion des images RM, RX et TP du tronc complet. Donc, cet article vérifie l’hypothèse 1 décrite dans la section 3.2.1.

Multimodal image registration of the scoliotic torso for surgical planning

Background This paper presents a method that registers MRIs acquired in prone position, with surface topography (TP) and X-ray reconstructions acquired in standing position, in order to obtain a 3D representation of a human torso incorporating the external surface, bone structures, and soft tissues. Methods TP and X-ray data are registered using landmarks. Bone structures are used to register each MRI slice using an articulated model, and the soft tissue is confined to the volume delimited by the trunk and bone surfaces using a constrained thin-plate spline. Results The method is tested on 3 pre-surgical patients with scoliosis and shows a significant improvement, qualitatively and using the Dice similarity coefficient, in fitting the MRI into the standing patient model when compared to rigid and articulated model registration. The determinant of the Jacobian of the registration deformation shows higher variations in the deformation in areas closer to the surface of the torso. Conclusions The novel, resulting 3D full torso model can provide a more complete representation of patient geometry to be incorporated in surgical simulators under development that aim at predicting the effect of scoliosis surgery on the external appearance of the patient’s torso.

Multimodal image fusion of anatomical structures for diagnosis, therapy planning and assistance

This paper provides an overview of work done in recent years by our research group to fuse multimodal images of the trunk of patients with Adolescent Idiopathic Scoliosis (AIS) treated at Sainte-Justine University Hospital Center (CHU). We first describe our surface acquisition system and introduce a set of clinical measurements (indices) based on the trunk's external shape, to quantify its degree of asymmetry. We then describe our 3D reconstruction system of the spine and rib cage from biplanar radiographs and present our methodology for multimodal fusion of MRI, X-ray and external surface images of the trunk We finally present a physical model of the human trunk including bone and soft tissue for the simulation of the surgical outcome on the external trunk shape in AIS.

Anatomo-functional magnetic resonance imaging of the spinal cord and its application to the characterization of spinal lesions in cats

Les lésions de la moelle épinière ont un impact significatif sur la qualité de la vie car elles peuvent induire des déficits moteurs (paralysie) et sensoriels. Ces déficits évoluent dans le temps à mesure que le système nerveux central se réorganise, en impliquant des mécanismes physiologiques et neurochimiques encore mal connus. L'ampleur de ces déficits ainsi que le processus de réhabilitation dépendent fortement des voies anatomiques qui ont été altérées dans la moelle épinière. Il est donc crucial de pouvoir attester l'intégrité de la matière blanche après une lésion spinale et évaluer quantitativement l'état fonctionnel des neurones spinaux. Un grand intérêt de l'imagerie par résonance magnétique (IRM) est qu'elle permet d'imager de façon non invasive les propriétés fonctionnelles et anatomiques du système nerveux central. Le premier objectif de ce projet de thèse a été de développer l'IRM de diffusion afin d'évaluer l'intégrité des axones de la matière blanche après une lésion médullaire. Le deuxième objectif a été d'évaluer dans quelle mesure l'IRM fonctionnelle permet de mesurer l'activité des neurones de la moelle épinière. Bien que largement appliquées au cerveau, l'IRM de diffusion et l'IRM fonctionnelle de la moelle épinière sont plus problématiques. Les difficultés associées à l'IRM de la moelle épinière relèvent de sa fine géométrie (environ 1 cm de diamètre chez l'humain), de la présence de mouvements d'origine physiologique (cardiaques et respiratoires) et de la présence d'artefacts de susceptibilité magnétique induits par les inhomogénéités de champ, notamment au niveau des disques intervertébraux et des poumons. L'objectif principal de cette thèse a donc été de développer des méthodes permettant de contourner ces difficultés. Ce développement a notamment reposé sur l'optimisation des paramètres d'acquisition d'images anatomiques, d'images pondérées en diffusion et de données fonctionnelles chez le chat et chez l'humain sur un IRM à 3 Tesla. En outre, diverses stratégies ont été étudiées afin de corriger les distorsions d'images induites par les artefacts de susceptibilité magnétique, et une étude a été menée sur la sensibilité et la spécificité de l'IRM fonctionnelle de la moelle épinière. Les résultats de ces études démontrent la faisabilité d'acquérir des images pondérées en diffusion de haute qualité, et d'évaluer l'intégrité de voies spinales spécifiques après lésion complète et partielle. De plus, l'activité des neurones spinaux a pu être détectée par IRM fonctionnelle chez des chats anesthésiés. Bien qu'encourageants, ces résultats mettent en lumière la nécessité de développer davantage ces nouvelles techniques. L'existence d'un outil de neuroimagerie fiable et robuste, capable de confirmer les paramètres cliniques, permettrait d'améliorer le diagnostic et le pronostic chez les patients atteints de lésions médullaires. Un des enjeux majeurs serait de suivre et de valider l'effet de diverses stratégies thérapeutiques. De telles outils représentent un espoir immense pour nombre de personnes souffrant de traumatismes et de maladies neurodégénératives telles que les lésions de la moelle épinière, les tumeurs spinales, la sclérose en plaques et la sclérose latérale amyotrophique.

Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.