Optimization and validation of a new 3D-US imaging robot to detect, localize and quantify lower limb arterial stenoses

L’athérosclérose est une maladie qui cause, par l’accumulation de plaques lipidiques, le durcissement de la paroi des artères et le rétrécissement de la lumière. Ces lésions sont généralement localisées sur les segments artériels coronariens, carotidiens, aortiques, rénaux, digestifs et périphériques. En ce qui concerne l’atteinte périphérique, celle des membres inférieurs est particulièrement fréquente. En effet, la sévérité de ces lésions artérielles est souvent évaluée par le degré d’une sténose (réduction >50 % du diamètre de la lumière) en angiographie, imagerie par résonnance magnétique (IRM), tomodensitométrie ou échographie. Cependant, pour planifier une intervention chirurgicale, une représentation géométrique artérielle 3D est notamment préférable. Les méthodes d’imagerie par coupe (IRM et tomodensitométrie) sont très performantes pour générer une imagerie tridimensionnelle de bonne qualité mais leurs utilisations sont dispendieuses et invasives pour les patients. L’échographie 3D peut constituer une avenue très prometteuse en imagerie pour la localisation et la quantification des sténoses. Cette modalité d’imagerie offre des avantages distincts tels la commodité, des coûts peu élevés pour un diagnostic non invasif (sans irradiation ni agent de contraste néphrotoxique) et aussi l’option d’analyse en Doppler pour quantifier le flux sanguin. Étant donné que les robots médicaux ont déjà été utilisés avec succès en chirurgie et en orthopédie, notre équipe a conçu un nouveau système robotique d’échographie 3D pour détecter et quantifier les sténoses des membres inférieurs. Avec cette nouvelle technologie, un radiologue fait l’apprentissage manuel au robot d’un balayage échographique du vaisseau concerné. Par la suite, le robot répète à très haute précision la trajectoire apprise, contrôle simultanément le processus d’acquisition d’images échographiques à un pas d’échantillonnage constant et conserve de façon sécuritaire la force appliquée par la sonde sur la peau du patient. Par conséquent, la reconstruction d’une géométrie artérielle 3D des membres inférieurs à partir de ce système pourrait permettre une localisation et une quantification des sténoses à très grande fiabilité. L’objectif de ce projet de recherche consistait donc à valider et optimiser ce système robotisé d’imagerie échographique 3D. La fiabilité d’une géométrie reconstruite en 3D à partir d’un système référentiel robotique dépend beaucoup de la précision du positionnement et de la procédure de calibration. De ce fait, la précision pour le positionnement du bras robotique fut évaluée à travers son espace de travail avec un fantôme spécialement conçu pour simuler la configuration des artères des membres inférieurs (article 1 - chapitre 3). De plus, un fantôme de fils croisés en forme de Z a été conçu pour assurer une calibration précise du système robotique (article 2 - chapitre 4). Ces méthodes optimales ont été utilisées pour valider le système pour l’application clinique et trouver la transformation qui convertit les coordonnées de l’image échographique 2D dans le référentiel cartésien du bras robotisé. À partir de ces résultats, tout objet balayé par le système robotique peut être caractérisé pour une reconstruction 3D adéquate. Des fantômes vasculaires compatibles avec plusieurs modalités d’imagerie ont été utilisés pour simuler différentes représentations artérielles des membres inférieurs (article 2 - chapitre 4, article 3 - chapitre 5). La validation des géométries reconstruites a été effectuée à l`aide d`analyses comparatives. La précision pour localiser et quantifier les sténoses avec ce système robotisé d’imagerie échographique 3D a aussi été déterminée. Ces évaluations ont été réalisées in vivo pour percevoir le potentiel de l’utilisation d’un tel système en clinique (article 3- chapitre 5).

Application of constrained predictive control on a 3D crane system

This paper describes the SIMULINK implementation of a constrained predictive control algorithm based on quadratic programming and linear state space models, and its application to a laboratory-scale 3D crane system. The algorithm is compatible with Real Time. Windows Target and, in the case of the crane system, it can be executed with a sampling period of 0.01 s and a prediction horizon of up to 300 samples, using a linear state space model with 3 inputs, 5 outputs and 13 states.

A low-cost 3D reconstruction system using a single-shot projection of a pattern matrix

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

3D Videoconferencing system using spatial scalability

An implementation of a real-time 3D videoconferencing system using the currently available technology is presented. This appr oach is based on the side by side spatial compression of the stereoscopic images . The encoder and the decoder have b een implemented in a standard personal computer and a conventional 3D comp atible TV has been used to present the frames. Moreover, the users without 3D technology can use the system because 2D compatibility mode has been implemented in the decoder. The performance res ults show that a conventional computer can be used for encod ing/decoding audio and video streams and the delay in the transmission is lower than 200 ms.

First Order Phase Transition in a 3D disordered system

We present a detailed numerical study on the effects of adding quenched impurities to a three dimensional system which in the pure case undergoes a strong first order phase transition (specifically, the ferromagnetic/paramagnetic transition of the site-diluted four states Potts model). We can state that the transition remains first-order in the presence of quenched disorder (a small amount of it) but it turns out to be second order as more impurities are added. A tricritical point, which is studied by means of Finite-Size Scaling, separates the first-order and second-order parts of the critical line. The results were made possible by a new definition of the disorder average that avoids the diverging-variance probability distributions that arise using the standard methodology. We also made use of a recently proposed microcanonical Monte Carlo method in which entropy, instead of free energy, is the basic quantity.

Differentiating human NT2/D1 neurospheres as a versatile in vitro 3D model system for developmental neurotoxicity testing

Developmental neurotoxicity is a major issue in human health and may have lasting neurological implications. In this preliminary study we exposed differentiating Ntera2/clone D1 (NT2/D1) cell neurospheres to known human teratogens classed as non-embryotoxic (acrylamide), weakly embryotoxic (lithium, valproic acid) and strongly embryotoxic (hydroxyurea) as listed by European Centre for the Validation of Alternative Methods (ECVAM) and examined endpoints of cell viability and neuronal protein marker expression specific to the central nervous system, to identify developmental neurotoxins. Following induction of neuronal differentiation, valproic acid had the most significant effect on neurogenesis, in terms of reduced viability and decreased neuronal markers. Lithium had least effect on viability and did not significantly alter the expression of neuronal markers. Hydroxyurea significantly reduced cell viability but did not affect neuronal protein marker expression. Acrylamide reduced neurosphere viability but did not affect neuronal protein marker expression. Overall, this NT2/D1 -based neurosphere model of neurogenesis, may provide the basis for a model of developmental neurotoxicity in vitro.

Simulations in 3D research : Can Unity3D be used to simulate a 3D display system?

Mid Sweden University is currently researching how to capture more of a scene with a camera and how to create 3D images that does not require extra equipment for the viewer. In the process of this research they have started looking into simulating some of the tests that they wish to conduct. The goal of this project is to research whether the 3D graphics engine Unity3D could be used to simulate these tests, and to what degree. To test this a simulation was designed and implemented. The simulation used a split display system where each camera is directly connected to a part of the screen and using the position of the viewer the correct part of the camera feed is shown. Some literary studies were also done into how current 3D technology works. The simulation was successfully implemented and shows that simple simulation can be done in Unity3D, however, some problems were encountered in the process. The conclusion of the project show that there is much work left before simulation is viable but that there is potential in the technology and that the research team should continue to investigate it.

Suivi des vaisseaux sanguins en temps réel à partir d’images ultrasonores mode-B et reconstruction 3D : application à la caractérisation des sténoses artérielles

La maladie des artères périphériques (MAP) se manifeste par une réduction (sténose) de la lumière de l’artère des membres inférieurs. Elle est causée par l’athérosclérose, une accumulation de cellules spumeuses, de graisse, de calcium et de débris cellulaires dans la paroi artérielle, généralement dans les bifurcations et les ramifications. Par ailleurs, la MAP peut être causée par d`autres facteurs associés comme l’inflammation, une malformation anatomique et dans de rares cas, au niveau des artères iliaques et fémorales, par la dysplasie fibromusculaire. L’imagerie ultrasonore est le premier moyen de diagnostic de la MAP. La littérature clinique rapporte qu’au niveau de l’artère fémorale, l’écho-Doppler montre une sensibilité de 80 à 98 % et une spécificité de 89 à 99 % à détecter une sténose supérieure à 50 %. Cependant, l’écho-Doppler ne permet pas une cartographie de l’ensemble des artères des membres inférieurs. D’autre part, la reconstruction 3D à partir des images échographiques 2D des artères atteintes de la MAP est fortement opérateur dépendant à cause de la grande variabilité des mesures pendant l’examen par les cliniciens. Pour planifier une intervention chirurgicale, les cliniciens utilisent la tomodensitométrie (CTA), l’angiographie par résonance magnétique (MRA) et l’angiographie par soustraction numérique (DSA). Il est vrai que ces modalités sont très performantes. La CTA montre une grande précision dans la détection et l’évaluation des sténoses supérieures à 50 % avec une sensibilité de 92 à 97 % et une spécificité entre 93 et 97 %. Par contre, elle est ionisante (rayon x) et invasive à cause du produit de contraste, qui peut causer des néphropathies. La MRA avec injection de contraste (CE MRA) est maintenant la plus utilisée. Elle offre une sensibilité de 92 à 99.5 % et une spécificité entre 64 et 99 %. Cependant, elle sous-estime les sténoses et peut aussi causer une néphropathie dans de rares cas. De plus les patients avec stents, implants métalliques ou bien claustrophobes sont exclus de ce type d`examen. La DSA est très performante mais s`avère invasive et ionisante. Aujourd’hui, l’imagerie ultrasonore (3D US) s’est généralisée surtout en obstétrique et échocardiographie. En angiographie il est possible de calculer le volume de la plaque grâce à l’imagerie ultrasonore 3D, ce qui permet un suivi de l’évolution de la plaque athéromateuse au niveau des vaisseaux. L’imagerie intravasculaire ultrasonore (IVUS) est une technique qui mesure ce volume. Cependant, elle est invasive, dispendieuse et risquée. Des études in vivo ont montré qu’avec l’imagerie 3D-US on est capable de quantifier la plaque au niveau de la carotide et de caractériser la géométrie 3D de l'anastomose dans les artères périphériques. Par contre, ces systèmes ne fonctionnent que sur de courtes distances. Par conséquent, ils ne sont pas adaptés pour l’examen de l’artère fémorale, à cause de sa longueur et de sa forme tortueuse. L’intérêt pour la robotique médicale date des années 70. Depuis, plusieurs robots médicaux ont été proposés pour la chirurgie, la thérapie et le diagnostic. Dans le cas du diagnostic artériel, seuls deux prototypes sont proposés, mais non commercialisés. Hippocrate est le premier robot de type maitre/esclave conçu pour des examens des petits segments d’artères (carotide). Il est composé d’un bras à 6 degrés de liberté (ddl) suspendu au-dessus du patient sur un socle rigide. À partir de ce prototype, un contrôleur automatisant les déplacements du robot par rétroaction des images échographiques a été conçu et testé sur des fantômes. Le deuxième est le robot de la Colombie Britannique conçu pour les examens à distance de la carotide. Le mouvement de la sonde est asservi par rétroaction des images US. Les travaux publiés avec les deux robots se limitent à la carotide. Afin d’examiner un long segment d’artère, un système robotique US a été conçu dans notre laboratoire. Le système possède deux modes de fonctionnement, le mode teach/replay (voir annexe 3) et le mode commande libre par l’utilisateur. Dans ce dernier mode, l’utilisateur peut implémenter des programmes personnalisés comme ceux utilisés dans ce projet afin de contrôler les mouvements du robot. Le but de ce projet est de démontrer les performances de ce système robotique dans des conditions proches au contexte clinique avec le mode commande libre par l’utilisateur. Deux objectifs étaient visés: (1) évaluer in vitro le suivi automatique et la reconstruction 3D en temps réel d’une artère en utilisant trois fantômes ayant des géométries réalistes. (2) évaluer in vivo la capacité de ce système d'imagerie robotique pour la cartographie 3D en temps réel d'une artère fémorale normale. Pour le premier objectif, la reconstruction 3D US a été comparée avec les fichiers CAD (computer-aided-design) des fantômes. De plus, pour le troisième fantôme, la reconstruction 3D US a été comparée avec sa reconstruction CTA, considéré comme examen de référence pour évaluer la MAP. Cinq chapitres composent ce mémoire. Dans le premier chapitre, la MAP sera expliquée, puis dans les deuxième et troisième chapitres, l’imagerie 3D ultrasonore et la robotique médicale seront développées. Le quatrième chapitre sera consacré à la présentation d’un article intitulé " A robotic ultrasound scanner for automatic vessel tracking and three-dimensional reconstruction of B-mode images" qui résume les résultats obtenus dans ce projet de maîtrise. Une discussion générale conclura ce mémoire. L’article intitulé " A 3D ultrasound imaging robotic system to detect and quantify lower limb arterial stenoses: in vivo feasibility " de Marie-Ange Janvier et al dans l’annexe 3, permettra également au lecteur de mieux comprendre notre système robotisé. Ma contribution dans cet article était l’acquisition des images mode B, la reconstruction 3D et l’analyse des résultats pour le patient sain.

Portable 3D laser-camera calibration system with color fusion for SLAM

Nowadays, the use of RGB-D sensors have focused a lot of research in computer vision and robotics. These kinds of sensors, like Kinect, allow to obtain 3D data together with color information. However, their working range is limited to less than 10 meters, making them useless in some robotics applications, like outdoor mapping. In these environments, 3D lasers, working in ranges of 20-80 meters, are better. But 3D lasers do not usually provide color information. A simple 2D camera can be used to provide color information to the point cloud, but a calibration process between camera and laser must be done. In this paper we present a portable calibration system to calibrate any traditional camera with a 3D laser in order to assign color information to the 3D points obtained. Thus, we can use laser precision and simultaneously make use of color information. Unlike other techniques that make use of a three-dimensional body of known dimensions in the calibration process, this system is highly portable because it makes use of small catadioptrics that can be placed in a simple manner in the environment. We use our calibration system in a 3D mapping system, including Simultaneous Location and Mapping (SLAM), in order to get a 3D colored map which can be used in different tasks. We show that an additional problem arises: 2D cameras information is different when lighting conditions change. So when we merge 3D point clouds from two different views, several points in a given neighborhood could have different color information. A new method for color fusion is presented, obtaining correct colored maps. The system will be tested by applying it to 3D reconstruction.

Portable 3D laser-camera calibration system with color fusion for SLAM

Paper submitted to the 43rd International Symposium on Robotics (ISR2012), Taipei, Taiwan, Aug. 29-31, 2012.

3D Surveying and Data Management towards the Realization of a Knowledge System for Cultural Heritage

The research activities involved the application of the Geomatic techniques in the Cultural Heritage field, following the development of two themes: Firstly, the application of high precision surveying techniques for the restoration and interpretation of relevant monuments and archaeological finds. The main case regards the activities for the generation of a high-fidelity 3D model of the Fountain of Neptune in Bologna. In this work, aimed to the restoration of the manufacture, both the geometrical and radiometrical aspects were crucial. The final product was the base of a 3D information system representing a shared tool where the different figures involved in the restoration activities shared their contribution in a multidisciplinary approach. Secondly, the arrangement of 3D databases for a Building Information Modeling (BIM) approach, in a process which involves the generation and management of digital representations of physical and functional characteristics of historical buildings, towards a so-called Historical Building Information Model (HBIM). A first application was conducted for the San Michele in Acerboli’s church in Santarcangelo di Romagna. The survey was performed by the integration of the classical and modern Geomatic techniques and the point cloud representing the church was used for the development of a HBIM model, where the relevant information connected to the building could be stored and georeferenced. A second application regards the domus of Obellio Firmo in Pompeii, surveyed by the integration of the classical and modern Geomatic techniques. An historical analysis permitted the definitions of phases and the organization of a database of materials and constructive elements. The goal is the obtaining of a federate model able to manage the different aspects: documental, analytic and reconstructive ones.

Critical behavior of a three-dimensional hardcore-cylinder composite system

In this work the critical indices β, γ , and ν for a three-dimensional (3D) hardcore cylinder composite system with short-range interaction have been obtained. In contrast to the 2D stick system and the 3D hardcore cylinder system, the determined critical exponents do not belong to the same universality class as the lattice percolation,although they obey the common hyperscaling relation for a 3D system. It is observed that the value of the correlation length exponent is compatible with the predictions of the mean field theory. It is also shown that, by using the Alexander-Orbach conjuncture, the relation between the conductivity and the correlation length critical exponents has a typical value for a 3D lattice system.

Assessment of Laparoscopic Skills Performance: 2D Versus 3D Vision and Classic Instrument Versus New Hand-Held Robotic Device for Laparoscopy

Introduction and Objectives. Laparoscopic surgery has undeniable advantages, such as reduced postoperative pain, smaller incisions, and faster recovery. However, to improve surgeons’ performance, ergonomic adaptations of the laparoscopic instruments and introduction of robotic technology are needed. The aim of this study was to ascertain the influence of a new hand-held robotic device for laparoscopy (HHRDL) and 3D vision on laparoscopic skills performance of 2 different groups, naïve and expert. Materials and Methods. Each participant performed 3 laparoscopic tasks—Peg transfer, Wire chaser, Knot—in 4 different ways. With random sequencing we assigned the execution order of the tasks based on the first type of visualization and laparoscopic instrument. Time to complete each laparoscopic task was recorded and analyzed with one-way analysis of variance. Results. Eleven experts and 15 naïve participants were included. Three-dimensional video helps the naïve group to get better performance in Peg transfer, Wire chaser 2 hands, and Knot; the new device improved the execution of all laparoscopic tasks (P < .05). For expert group, the 3D video system benefited them in Peg transfer and Wire chaser 1 hand, and the robotic device in Peg transfer, Wire chaser 1 hand, and Wire chaser 2 hands (P < .05). Conclusion. The HHRDL helps the execution of difficult laparoscopic tasks, such as Knot, in the naïve group. Three-dimensional vision makes the laparoscopic performance of the participants without laparoscopic experience easier, unlike those with experience in laparoscopic procedures.

3D geoelectrical monitoring to follow hydric soil behaviour during rainfall

RESUME Durant les dernières années, les méthodes électriques ont souvent été utilisées pour l'investigation des structures de subsurface. L'imagerie électrique (Electrical Resistivity Tomography, ERT) est une technique de prospection non-invasive et spatialement intégrée. La méthode ERT a subi des améliorations significatives avec le développement de nouveaux algorithmes d'inversion et le perfectionnement des techniques d'acquisition. La technologie multicanale et les ordinateurs de dernière génération permettent la collecte et le traitement de données en quelques heures. Les domaines d'application sont nombreux et divers: géologie et hydrogéologie, génie civil et géotechnique, archéologie et études environnementales. En particulier, les méthodes électriques sont souvent employées dans l'étude hydrologique de la zone vadose. Le but de ce travail est le développement d'un système de monitorage 3D automatique, non- invasif, fiable, peu coûteux, basé sur une technique multicanale et approprié pour suivre les variations de résistivité électrique dans le sous-sol lors d'événements pluvieux. En raison des limitations techniques et afin d'éviter toute perturbation physique dans la subsurface, ce dispositif de mesure emploie une installation non-conventionnelle, où toutes les électrodes de courant sont placées au bord de la zone d'étude. Le dispositif le plus approprié pour suivre les variations verticales et latérales de la résistivité électrique à partir d'une installation permanente a été choisi à l'aide de modélisations numériques. Les résultats démontrent que le dispositif pôle-dipôle offre une meilleure résolution que le dispositif pôle-pôle et plus apte à détecter les variations latérales et verticales de la résistivité électrique, et cela malgré la configuration non-conventionnelle des électrodes. Pour tester l'efficacité du système proposé, des données de terrain ont été collectées sur un site d'étude expérimental. La technique de monitorage utilisée permet de suivre le processus d'infiltration 3D pendant des événements pluvieux. Une bonne corrélation est observée entre les résultats de modélisation numérique et les données de terrain, confirmant par ailleurs que le dispositif pôle-dipôle offre une meilleure résolution que le dispositif pôle-pôle. La nouvelle technique de monitorage 3D de résistivité électrique permet de caractériser les zones d'écoulement préférentiel et de caractériser le rôle de la lithologie et de la pédologie de manière quantitative dans les processus hydrologiques responsables d'écoulement de crue. ABSTRACT During the last years, electrical methods were often used for the investigation of subsurface structures. Electrical resistivity tomography (ERT) has been reported to be a useful non-invasive and spatially integrative prospecting technique. The ERT method provides significant improvements, with the developments of new inversion algorithms, and the increasing efficiency of data collection techniques. Multichannel technology and powerful computers allow collecting and processing resistivity data within few hours. Application domains are numerous and varied: geology and hydrogeology, civil engineering and geotechnics, archaeology and environmental studies. In particular, electrical methods are commonly used in hydrological studies of the vadose zone. The aim of this study was to develop a multichannel, automatic, non-invasive, reliable and inexpensive 3D monitoring system designed to follow electrical resistivity variations in soil during rainfall. Because of technical limitations and in order to not disturb the subsurface, the proposed measurement device uses a non-conventional electrode set-up, where all the current electrodes are located near the edges of the survey grid. Using numerical modelling, the most appropriate arrays were selected to detect vertical and lateral variations of the electrical resistivity in the framework of a permanent surveying installation system. The results show that a pole-dipole array has a better resolution than a pole-pole array and can successfully follow vertical and lateral resistivity variations despite the non-conventional electrode configuration used. Field data are then collected at a test site to assess the efficiency of the proposed monitoring technique. The system allows following the 3D infiltration processes during a rainfall event. A good correlation between the results of numerical modelling and field data results can be observed since the field pole-dipole data give a better resolution image than the pole-pole data. The new device and technique makes it possible to better characterize the zones of preferential flow and to quantify the role of lithology and pedology in flood- generating hydrological processes.