Digital forensic osteology--possibilities in cooperation with the Virtopsy project.

The present study was carried out to check whether classic osteometric parameters can be determined from the 3D reconstructions of MSCT (multislice computed tomography) scans acquired in the context of the Virtopsy project. To this end, four isolated and macerated skulls were examined by six examiners. First the skulls were conventionally (manually) measured using 32 internationally accepted linear measurements. Then the skulls were scanned by the use of MSCT with slice thicknesses of 1.25 mm and 0.63 mm, and the 33 measurements were virtually determined on the digital 3D reconstructions of the skulls. The results of the traditional and the digital measurements were compared for each examiner to figure out variations. Furthermore, several parameters were measured on the cranium and postcranium during an autopsy and compared to the values that had been measured on a 3D reconstruction from a previously acquired postmortem MSCT scan. The results indicate that equivalent osteometric values can be obtained from digital 3D reconstructions from MSCT scans using a slice thickness of 1.25 mm, and from conventional manual examinations. The measurements taken from a corpse during an autopsy could also be validated with the methods used for the digital 3D reconstructions in the context of the Virtopsy project. Future aims are the assessment and biostatistical evaluation in respect to sex, age and stature of all data sets stored in the Virtopsy project so far, as well as of future data sets. Furthermore, a definition of new parameters, only measurable with the aid of MSCT data would be conceivable.

The human Rad52 protein exists as a heptameric ring.

The RAD52 epistasis group was identified in yeast as a group of genes required to repair DNA damaged by ionizing radiation [1]. Genetic evidence indicates that Rad52 functions in Rad51-dependent and Rad51-independent recombination pathways [2] [3] [4]. Consistent with this, purified yeast and human Rad52 proteins have been shown to promote single-strand DNA annealing [5] [6] [7] and to stimulate Rad51-mediated homologous pairing [8] [9] [10] [11]. Electron microscopic examinations of the yeast [12] and human [13] Rad52 proteins have revealed their assembly into ring-like structures in vitro. Using both conventional transmission electron microscopy and scanning transmission electron microscopy (STEM), we found that the human Rad52 protein forms heptameric rings. A three-dimensional (3D) reconstruction revealed that the heptamer has a large central channel. Like the hexameric helicases such as Escherichia coli DnaB [14] [15], bacteriophage T7 gp4b [16] [17], simian virus 40 (SV40) large T antigen [18] and papilloma virus E1 [19], the Rad52 rings show a distinctly chiral arrangement of subunits. Thus, the structures formed by the hexameric helicases may be a more general property of other proteins involved in DNA metabolism, including those, such as Rad52, that do not bind and hydrolyze ATP.

Real-time Image-based RGB-D Camera Motion Tracking and Environment Mapping

In this work, image based estimation methods, also known as direct methods, are studied which avoid feature extraction and matching completely. Cost functions use raw pixels as measurements and the goal is to produce precise 3D pose and structure estimates. The cost functions presented minimize the sensor error, because measurements are not transformed or modified. In photometric camera pose estimation, 3D rotation and translation parameters are estimated by minimizing a sequence of image based cost functions, which are non-linear due to perspective projection and lens distortion. In image based structure refinement, on the other hand, 3D structure is refined using a number of additional views and an image based cost metric. Image based estimation methods are particularly useful in conditions where the Lambertian assumption holds, and the 3D points have constant color despite viewing angle. The goal is to improve image based estimation methods, and to produce computationally efficient methods which can be accomodated into real-time applications. The developed image-based 3D pose and structure estimation methods are finally demonstrated in practise in indoor 3D reconstruction use, and in a live augmented reality application.

Calibration de systèmes de caméras et projecteurs dans des applications de création multimédia

Ce mémoire s'intéresse à la vision par ordinateur appliquée à des projets d'art technologique. Le sujet traité est la calibration de systèmes de caméras et de projecteurs dans des applications de suivi et de reconstruction 3D en arts visuels et en art performatif. Le mémoire s'articule autour de deux collaborations avec les artistes québécois Daniel Danis et Nicolas Reeves. La géométrie projective et les méthodes de calibration classiques telles que la calibration planaire et la calibration par géométrie épipolaire sont présentées pour introduire les techniques utilisées dans ces deux projets. La collaboration avec Nicolas Reeves consiste à calibrer un système caméra-projecteur sur tête robotisée pour projeter des vidéos en temps réel sur des écrans cubiques mobiles. En plus d'appliquer des méthodes de calibration classiques, nous proposons une nouvelle technique de calibration de la pose d'une caméra sur tête robotisée. Cette technique utilise des plans elliptiques générés par l'observation d'un seul point dans le monde pour déterminer la pose de la caméra par rapport au centre de rotation de la tête robotisée. Le projet avec le metteur en scène Daniel Danis aborde les techniques de calibration de systèmes multi-caméras. Pour son projet de théâtre, nous avons développé un algorithme de calibration d'un réseau de caméras wiimotes. Cette technique basée sur la géométrie épipolaire permet de faire de la reconstruction 3D d'une trajectoire dans un grand volume à un coût minime. Les résultats des techniques de calibration développées sont présentés, de même que leur utilisation dans des contextes réels de performance devant public.

Prédiction de l'évolution de la scoliose idiopathique de l'adolescent à l'aide des paramètres tridimensionnels du rachis

La scoliose idiopathique de l’adolescent est une déformation 3D du rachis. La littérature comporte une multitude d’études sur la prédiction de l’évolution et l’identification de facteurs de risque de progression. Pour l’instant les facteurs de risque établis sont l’amplitude de la déformation, la maturité squelettique et le type de courbure. Plusieurs autres champs ont été explorés comme les aspects génétiques, biochimiques, mécaniques, posturaux et topographiques, sans vraiment apporter beaucoup de précision à la prédiction de l’évolution. L’avancement de la technologie permet maintenant de générer des reconstructions 3D du rachis à l’aide des radiographies standard et d’obtenir des mesures de paramètres 3D. L’intégration de ces paramètres 3D dans un modèle prédictif représente une avenue encore inexplorée qui est tout à fait logique dans le contexte de cette déformation 3D du rachis. L’objectif général de cette thèse est de développer un modèle de prédiction de l’angle de Cobb à maturité squelettique à partir de l’information disponible au moment de la première visite, soit l’angle de Cobb initial, le type de courbure, l’âge osseux et des paramètres 3D du rachis. Dans une première étude, un indice d’âge osseux a été développé basé sur l’ossification de l’apophyse iliaque et sur le statut du cartilage triradié. Cet indice comporte 3 stades et le second stade, qui est défini par un cartilage triradié fermé avec maximum 1/3 d’ossification de l’apophyse iliaque, représente le moment pendant lequel la progression de la scoliose idiopathique de l’adolescent est la plus rapide. Une seconde étude rétrospective a permis de mettre en évidence le potentiel des paramètres 3D pour améliorer la prédiction de l’évolution. Il a été démontré qu’à la première visite il existe des différences pour 5 paramètres 3D du rachis entre un groupe de patients qui sera éventuellement opéré et un groupe qui ne progressera pas. Ces paramètres sont : la moyenne da la cunéiformisation 3D des disques apicaux, la rotation intervertébrale à la jonction inférieure de la courbure, la torsion, le ratio hauteur/largeur du corps vertébral de T6 et de la colonne complète. Les deux dernières études sont basées sur une cohorte prospective de 133 patients avec une scoliose idiopathique de l’adolescent suivi dès leur première visite à l’hôpital jusqu’à maturité squelettique. Une première étude a permis de mettre en évidence les différences morphologiques à la première visite entre les patients ayant progresser de plus ou moins de 6°. Des différences ont été mise en évidence pour la cyphose, l’angle de plan de déformation maximal, la rotation ntervertébrale l’apex, la torsion et plusieurs paramètres de «slenderness». Ensuite une seconde étude a permis de développer un modèle prédictif basé sur un modèle linéaire général en incluant l’indice d’âge osseux développé dans la première étude, le type de courbure, l’amplitude de l’angle de Cobb à la première visite, l’angle de déformation du plan maximale, la cunéiformisation 3D des disques T3-T4, T8-­T9, T11-­T12 et la somme des cunéiformisation 3D de tous les disques thoraciques et lombaires. Le coefficient de détermination multiple pour cette modélisation est de 0.715. Le modèle prédictif développé renforce l’importance de considérer la scoliose idiopathique dans les trois dimensions et il permettra d’optimiser la prédiction de l’évolution au moment de la première visite.

Une nouvelle méthode pour estimer la torsion géométrique en scoliose idiopathique de l’adolescent

La scoliose idiopathique de l’adolescent (SIA) est une déformation tridimensionnelle (3D) de la colonne vertébrale. Pour la plupart des patients atteints de SIA, aucun traitement chirurgical n’est nécessaire. Lorsque la déformation devient sévère, un traitement chirurgical visant à réduire la déformation est recommandé. Pour déterminer la sévérité de la SIA, l’imagerie la plus utilisée est une radiographie postéroantérieure (PA) ou antéro-postérieure (AP) du rachis. Plusieurs indices sont disponibles à partir de cette modalité d’imagerie afin de quantifier la déformation de la SIA, dont l’angle de Cobb. La conduite thérapeutique est généralement basée sur cet indice. Cependant, les indices disponibles à cette modalité d’imagerie sont de nature bidimensionnelle (2D). Celles-ci ne décrivent donc pas entièrement la déformation dans la SIA dû à sa nature tridimensionnelle (3D). Conséquemment, les classifications basées sur les indices 2D souffrent des mêmes limitations. Dans le but décrire la SIA en 3D, la torsion géométrique a été étudiée et proposée par Poncet et al. Celle-ci mesure la tendance d’une courbe tridimensionnelle à changer de direction. Cependant, la méthode proposée est susceptible aux erreurs de reconstructions 3D et elle est calculée localement au niveau vertébral. L’objectif de cette étude est d’évaluer une nouvelle méthode d’estimation de la torsion géométrique par l’approximation de longueurs d’arcs locaux et par paramétrisation de courbes dans la SIA. Une première étude visera à étudier la sensibilité de la nouvelle méthode présentée face aux erreurs de reconstructions 3D du rachis. Par la suite, deux études cliniques vont présenter la iv torsion géométrique comme indice global et viseront à démontrer l’existence de sous-groupes non-identifiés dans les classifications actuelles et que ceux-ci ont une pertinence clinique. La première étude a évalué la robustesse de la nouvelle méthode d’estimation de la torsion géométrique chez un groupe de patient atteint de la SIA. Elle a démontré que la nouvelle technique est robuste face aux erreurs de reconstructions 3D du rachis. La deuxième étude a évalué la torsion géométrique utilisant cette nouvelle méthode dans une cohorte de patient avec des déformations de type Lenke 1. Elle a démontré qu’il existe deux sous-groupes, une avec des valeurs de torsion élevées et l’autre avec des valeurs basses. Ces deux sous-groupes possèdent des différences statistiquement significatives, notamment au niveau du rachis lombaire avec le groupe de torsion élevée ayant des valeurs d’orientation des plans de déformation maximales (PMC) en thoraco-lombaire (TLL) plus élevées. La dernière étude a évalué les résultats chirurgicaux de patients ayant une déformation Lenke 1 sous-classifiées selon les valeurs de torsion préalablement. Cette étude a pu démontrer des différences au niveau du PMC au niveau thoraco-lombaire avec des valeurs plus élevées en postopératoire chez les patients ayant une haute torsion. Ces études présentent une nouvelle méthode d’estimation de la torsion géométrique et présentent cet indice quantitativement. Elles ont démontré l’existence de sous-groupes 3D basés sur cet indice ayant une pertinence clinique dans la SIA, qui n’étaient pas identifiés auparavant. Ce projet contribue dans la tendance actuelle vers le développement d’indices 3D et de classifications 3D pour la scoliose idiopathique de l’adolescent.

Multimodal image fusion of anatomical structures for diagnosis, therapy planning and assistance

This paper provides an overview of work done in recent years by our research group to fuse multimodal images of the trunk of patients with Adolescent Idiopathic Scoliosis (AIS) treated at Sainte-Justine University Hospital Center (CHU). We first describe our surface acquisition system and introduce a set of clinical measurements (indices) based on the trunk's external shape, to quantify its degree of asymmetry. We then describe our 3D reconstruction system of the spine and rib cage from biplanar radiographs and present our methodology for multimodal fusion of MRI, X-ray and external surface images of the trunk We finally present a physical model of the human trunk including bone and soft tissue for the simulation of the surgical outcome on the external trunk shape in AIS.

Photoperiod-dependent plasticity of circadian pacemaker center in the brain of the Madeira cockroach Rhyparobia maderae

To various degrees, insects in nature adapt to and live with two fundamental environmental rhythms around them: (1) the daily rhythm of light and dark, and (2) the yearly seasonal rhythm of the changing photoperiod (length of light per day). It is hypothesized that two biological clocks evolved in organisms on earth which allow them to harmonize successfully with the two environmental rhythms: (1) the circadian clock, which orchestrates circadian rhythms in physiology and behavior, and (2) the photoperiodic clock, which allows for physiological adaptations to changes in photoperiod during the course of the year (insect photoperiodism). The circadian rhythm is endogenous and continues in constant conditions, while photoperiodism requires specific light inputs of a minimal duration. Output pathways from both clocks control neurosecretory cells which regulate growth and reproduction. This dissertation focuses on the question whether different photoperiods change the network and physiology of the circadian clock of an originally equatorial cockroach species. It is assumed that photoperiod-dependent plasticity of the cockroach circadian clock allows for adaptations in physiology and behavior without the need for a separate photoperiodic clock circuit. The Madeira cockroach Rhyparobia maderae is a well established circadian clock model system. Lesion and transplantation studies identified the accessory medulla (aMe), a small neuropil with about 250 neurons, as the cockroach circadian pacemaker. Among them, the pigment-dispersing factor immunoreactive (PDF-ir) neurons anterior to the aMe (aPDFMes) play a key role as inputs to and outputs of the circadian clock system. The aim of my doctoral thesis was to examine whether and how different photoperiods modify the circadian clock system. With immunocytochemical studies, three-dimensional (3D) reconstruction, standardization and Ca2+-imaging technique, my studies revealed that raising cockroaches in different photoperiods changed the neuronal network of the circadian clock (Wei and Stengl, 2011). In addition, different photoperiods affected the physiology of single, isolated circadian pacemaker neurons. This thesis provides new evidence for the involvement of the circadian clock in insect photoperiodism. The data suggest that the circadian pacemaker system of the Madeira cockroach has the plasticity and potential to allow for physiological adaptations to different photoperiods. Therefore, it may express also properties of a photoperiodic clock.

A new optimised De Bruijn coding strategy for structured light patterns

Coded structured light is an optical technique based on active stereovision that obtains the shape of objects. One shot techniques are based on projecting a unique light pattern with an LCD projector so that grabbing an image with a camera, a large number of correspondences can be obtained. Then, a 3D reconstruction of the illuminated object can be recovered by means of triangulation. The most used strategy to encode one-shot patterns is based on De Bruijn sequences. In This work a new way to design patterns using this type of sequences is presented. The new coding strategy minimises the number of required colours and maximises both the resolution and the accuracy

Assisted visual servoing by means of structured light

Aquesta tesi tracta sobre la combinació del control visual i la llum estructurada. El control visual clàssic assumeix que elements visuals poden ser fàcilment extrets de les imatges. Això fa que objectes d'aspecte uniforme o poc texturats no es puguin tenir en compte. En aquesta tesi proposem l'ús de la llum estructurada per dotar d'elements visuals als objectes independentment de la seva aparença. En primer lloc, es presenta un ampli estudi de la llum estructurada, el qual ens permet proposar un nou patró codificat que millora els existents. La resta de la tesi es concentra en el posicionament d'un robot dotat d'una càmara respecte diferents objectes, utilitzant la informació proveïda per la projecció de diferents patrons de llum. Dos configuracions han estat estudiades: quan el projector de llum es troba separat del robot, i quan el projector està embarcat en el robot juntament amb la càmara. Les tècniques proposades en la tesi estan avalades per un ampli estudi analític i validades per resultats experimentals.

New Methods for Triangulation-based Shape Acquisition using Laser Scanners

Tradicionalment, la reproducció del mon real se'ns ha mostrat a traves d'imatges planes. Aquestes imatges se solien materialitzar mitjançant pintures sobre tela o be amb dibuixos. Avui, per sort, encara podem veure pintures fetes a ma, tot i que la majoria d'imatges s'adquireixen mitjançant càmeres, i es mostren directament a una audiència, com en el cinema, la televisió o exposicions de fotografies, o be son processades per un sistema computeritzat per tal d'obtenir un resultat en particular. Aquests processaments s'apliquen en camps com en el control de qualitat industrial o be en la recerca mes puntera en intel·ligència artificial. Aplicant algorismes de processament de nivell mitja es poden obtenir imatges 3D a partir d'imatges 2D, utilitzant tècniques ben conegudes anomenades Shape From X, on X es el mètode per obtenir la tercera dimensió, i varia en funció de la tècnica que s'utilitza a tal nalitat. Tot i que l'evolució cap a la càmera 3D va començar en els 90, cal que les tècniques per obtenir les formes tridimensionals siguin mes i mes acurades. Les aplicacions dels escàners 3D han augmentat considerablement en els darrers anys, especialment en camps com el lleure, diagnosi/cirurgia assistida, robòtica, etc. Una de les tècniques mes utilitzades per obtenir informació 3D d'una escena, es la triangulació, i mes concretament, la utilització d'escàners laser tridimensionals. Des de la seva aparició formal en publicacions científiques al 1971 [SS71], hi ha hagut contribucions per solucionar problemes inherents com ara la disminució d'oclusions, millora de la precisió, velocitat d'adquisició, descripció de la forma, etc. Tots i cadascun dels mètodes per obtenir punts 3D d'una escena te associat un procés de calibració, i aquest procés juga un paper decisiu en el rendiment d'un dispositiu d'adquisició tridimensional. La nalitat d'aquesta tesi es la d'abordar el problema de l'adquisició de forma 3D, des d'un punt de vista total, reportant un estat de l'art sobre escàners laser basats en triangulació, provant el funcionament i rendiment de diferents sistemes, i fent aportacions per millorar la precisió en la detecció del feix laser, especialment en condicions adverses, i solucionant el problema de la calibració a partir de mètodes geomètrics projectius.

A moving observer in a three-dimensional world

For many tasks, such as retrieving a previously viewed object, an observer must form a representation of the world at one location and use it at another. A world-based 3D reconstruction of the scene built up from visual information would fulfil this requirement, something computer vision now achieves with great speed and accuracy. However, I argue that it is neither easy nor necessary for the brain to do this. I discuss biologically plausible alternatives, including the possibility of avoiding 3D coordinate frames such as ego-centric and world-based representations. For example, the distance, slant and local shape of surfaces dictate the propensity of visual features to move in the image with respect to one another as the observer’s perspective changes (through movement or binocular viewing). Such propensities can be stored without the need for 3D reference frames. The problem of representing a stable scene in the face of continual head and eye movements is an appropriate starting place for understanding the goal of 3D vision, more so, I argue, than the case of a static binocular observer.

Modularity and robustness of bone networks

Cortical bones, essential for mechanical support and structure in many animals, involve a large number of canals organized in intricate fashion. By using state-of-the art image analysis and computer graphics, the 3D reconstruction of a whole bone (phalange) of a young chicken was obtained and represented in terms of a complex network where each canal was associated to an edge and every confluence of three or more canals yielded a respective node. The representation of the bone canal structure as a complex network has allowed several methods to be applied in order to characterize and analyze the canal system organization and the robustness. First, the distribution of the node degrees (i.e. the number of canals connected to each node) confirmed previous indications that bone canal networks follow a power law, and therefore present some highly connected nodes (hubs). The bone network was also found to be partitioned into communities or modules, i.e. groups of nodes which are more intensely connected to one another than with the rest of the network. We verified that each community exhibited distinct topological properties that are possibly linked with their specific function. In order to better understand the organization of the bone network, its resilience to two types of failures (random attack and cascaded failures) was also quantified comparatively to randomized and regular counterparts. The results indicate that the modular structure improves the robustness of the bone network when compared to a regular network with the same average degree and number of nodes. The effects of disease processes (e. g., osteoporosis) and mutations in genes (e.g., BMP4) that occur at the molecular level can now be investigated at the mesoscopic level by using network based approaches.

Three-dimensional description and mathematical characterization of the parasellar internal carotid artery in human infants

Inside the `cavernous sinus` or `parasellar region` the human internal carotid artery takes the shape of a siphon that is twisted and torqued in three dimensions and surrounded by a network of veins. The parasellar section of the internal carotid artery is of broad biological and medical interest, as its peculiar shape is associated with temperature regulation in the brain and correlated with the occurrence of vascular pathologies. The present study aims to provide anatomical descriptions and objective mathematical characterizations of the shape of the parasellar section of the internal carotid artery in human infants and its modifications during ontogeny. Three-dimensional (3D) computer models of the parasellar section of the internal carotid artery of infants were generated with a state-of-the-art 3D reconstruction method and analysed using both traditional morphometric methods and novel mathematical algorithms. We show that four constant, demarcated bends can be described along the infant parasellar section of the internal carotid artery, and we provide measurements of their angles. We further provide calculations of the curvature and torsion energy, and the total complexity of the 3D skeleton of the parasellar section of the internal carotid artery, and compare the complexity of this in infants and adults. Finally, we examine the relationship between shape parameters of the parasellar section of the internal carotid artery in infants, and the occurrence of intima cushions, and evaluate the reliability of subjective angle measurements for characterizing the complexity of the parasellar section of the internal carotid artery in infants. The results can serve as objective reference data for comparative studies and for medical imaging diagnostics. They also form the basis for a new hypothesis that explains the mechanisms responsible for the ontogenetic transformation in the shape of the parasellar section of the internal carotid artery.

Refraction corrected transmission ultrasound computed tomography for application in breast imaging

Purpose: We present an iterative framework for CT reconstruction from transmission ultrasound data which accurately and efficiently models the strong refraction effects that occur in our target application: Imaging the female breast. Methods: Our refractive ray tracing framework has its foundation in the fast marching method (FNMM) and it allows an accurate as well as efficient modeling of curved rays. We also describe a novel regularization scheme that yields further significant reconstruction quality improvements. A final contribution is the development of a realistic anthropomorphic digital breast phantom based on the NIH Visible Female data set. Results: Our system is able to resolve very fine details even in the presence of significant noise, and it reconstructs both sound speed and attenuation data. Excellent correspondence with a traditional, but significantly more computationally expensive wave equation solver is achieved. Conclusions: Apart from the accurate modeling of curved rays, decisive factors have also been our regularization scheme and the high-quality interpolation filter we have used. An added benefit of our framework is that it accelerates well on GPUs where we have shown that clinical 3D reconstruction speeds on the order of minutes are possible.