Scene Reconstruction And Understanding By RGB-D Sensors

This thesis investigates interactive scene reconstruction and understanding using RGB-D data only. Indeed, we believe that depth cameras will still be in the near future a cheap and low-power 3D sensing alternative suitable for mobile devices too. Therefore, our contributions build on top of state-of-the-art approaches to achieve advances in three main challenging scenarios, namely mobile mapping, large scale surface reconstruction and semantic modeling. First, we will describe an effective approach dealing with Simultaneous Localization And Mapping (SLAM) on platforms with limited resources, such as a tablet device. Unlike previous methods, dense reconstruction is achieved by reprojection of RGB-D frames, while local consistency is maintained by deploying relative bundle adjustment principles. We will show quantitative results comparing our technique to the state-of-the-art as well as detailed reconstruction of various environments ranging from rooms to small apartments. Then, we will address large scale surface modeling from depth maps exploiting parallel GPU computing. We will develop a real-time camera tracking method based on the popular KinectFusion system and an online surface alignment technique capable of counteracting drift errors and closing small loops. We will show very high quality meshes outperforming existing methods on publicly available datasets as well as on data recorded with our RGB-D camera even in complete darkness. Finally, we will move to our Semantic Bundle Adjustment framework to effectively combine object detection and SLAM in a unified system. Though the mathematical framework we will describe does not restrict to a particular sensing technology, in the experimental section we will refer, again, only to RGB-D sensing. We will discuss successful implementations of our algorithm showing the benefit of a joint object detection, camera tracking and environment mapping.

Ricostruzione 3d da immagini rgb-d su piattaforma mobile

Viene proposto un porting su piattaforma mobile Android di un sistema SLAM (Simultaneous Localization And Mapping) chiamato SlamDunk. Il porting affronta problematiche di prestazioni e qualità delle ricostruzioni 3D ottenute, proponendo poi la soluzione ritenuta ottimale.

Advanced background modeling with RGB-D sensors through classifiers combination and inter-frame foreground prediction

An innovative background modeling technique that is able to accurately segment foreground regions in RGB-D imagery (RGB plus depth) has been presented in this paper. The technique is based on a Bayesian framework that efficiently fuses different sources of information to segment the foreground. In particular, the final segmentation is obtained by considering a prediction of the foreground regions, carried out by a novel Bayesian Network with a depth-based dynamic model, and, by considering two independent depth and color-based mixture of Gaussians background models. The efficient Bayesian combination of all these data reduces the noise and uncertainties introduced by the color and depth features and the corresponding models. As a result, more compact segmentations, and refined foreground object silhouettes are obtained. Experimental results with different databases suggest that the proposed technique outperforms existing state-of-the-art algorithms.

Object tracking using direct methods in RGB-D cameras

En esta tesis se presenta un análisis en profundidad de cómo se deben utilizar dos tipos de métodos directos, Lucas-Kanade e Inverse Compositional, en imágenes RGB-D y se analiza la capacidad y precisión de los mismos en una serie de experimentos sintéticos. Estos simulan imágenes RGB, imágenes de profundidad (D) e imágenes RGB-D para comprobar cómo se comportan en cada una de las combinaciones. Además, se analizan estos métodos sin ninguna técnica adicional que modifique el algoritmo original ni que lo apoye en su tarea de optimización tal y como sucede en la mayoría de los artículos encontrados en la literatura. Esto se hace con el fin de poder entender cuándo y por qué los métodos convergen o divergen para que así en el futuro cualquier interesado pueda aplicar los conocimientos adquiridos en esta tesis de forma práctica. Esta tesis debería ayudar al futuro interesado a decidir qué algoritmo conviene más en una determinada situación y debería también ayudarle a entender qué problemas le pueden dar estos algoritmos para poder poner el remedio más apropiado. Las técnicas adicionales que sirven de remedio para estos problemas quedan fuera de los contenidos que abarca esta tesis, sin embargo, sí se hace una revisión sobre ellas.---ABSTRACT---This thesis presents an in-depth analysis about how direct methods such as Lucas- Kanade and Inverse Compositional can be applied in RGB-D images. The capability and accuracy of these methods is also analyzed employing a series of synthetic experiments. These simulate the efects produced by RGB images, depth images and RGB-D images so that diferent combinations can be evaluated. Moreover, these methods are analyzed without using any additional technique that modifies the original algorithm or that aids the algorithm in its search for a global optima unlike most of the articles found in the literature. Our goal is to understand when and why do these methods converge or diverge so that in the future, the knowledge extracted from the results presented here can efectively help a potential implementer. After reading this thesis, the implementer should be able to decide which algorithm fits best for a particular task and should also know which are the problems that have to be addressed in each algorithm so that an appropriate correction is implemented using additional techniques. These additional techniques are outside the scope of this thesis, however, they are reviewed from the literature.

A Comparative Study of Registration Methods for RGB-D Video of Static Scenes

The use of RGB-D sensors for mapping and recognition tasks in robotics or, in general, for virtual reconstruction has increased in recent years. The key aspect of these kinds of sensors is that they provide both depth and color information using the same device. In this paper, we present a comparative analysis of the most important methods used in the literature for the registration of subsequent RGB-D video frames in static scenarios. The analysis begins by explaining the characteristics of the registration problem, dividing it into two representative applications: scene modeling and object reconstruction. Then, a detailed experimentation is carried out to determine the behavior of the different methods depending on the application. For both applications, we used standard datasets and a new one built for object reconstruction.

Using a RGB-D camera for 6DoF SLAM

This paper presents a method for fast calculation of the egomotion done by a robot using visual features. The method is part of a complete system for automatic map building and Simultaneous Localization and Mapping (SLAM). The method uses optical flow in order to determine if the robot has done a movement. If so, some visual features which do not accomplish several criteria (like intersection, unicity, etc,) are deleted, and then the egomotion is calculated. We use a state-of-the-art algorithm (TORO) in order to rectify the map and solve the SLAM problem. The proposed method provides better efficiency that other current methods.

An improvement of a SLAM RGB-D method with movement prediction derived from a study of visual features

This paper presents a method for the fast calculation of a robot’s egomotion using visual features. The method is part of a complete system for automatic map building and Simultaneous Location and Mapping (SLAM). The method uses optical flow to determine whether the robot has undergone a movement. If so, some visual features that do not satisfy several criteria are deleted, and then egomotion is calculated. Thus, the proposed method improves the efficiency of the whole process because not all the data is processed. We use a state-of-the-art algorithm (TORO) to rectify the map and solve the SLAM problem. Additionally, a study of different visual detectors and descriptors has been conducted to identify which of them are more suitable for the SLAM problem. Finally, a navigation method is described using the map obtained from the SLAM solution.

Towards a real-time 3D object recognition pipeline on mobile GPGPU computing platforms using low-cost RGB-D sensors

In this project, we propose the implementation of a 3D object recognition system which will be optimized to operate under demanding time constraints. The system must be robust so that objects can be recognized properly in poor light conditions and cluttered scenes with significant levels of occlusion. An important requirement must be met: the system must exhibit a reasonable performance running on a low power consumption mobile GPU computing platform (NVIDIA Jetson TK1) so that it can be integrated in mobile robotics systems, ambient intelligence or ambient assisted living applications. The acquisition system is based on the use of color and depth (RGB-D) data streams provided by low-cost 3D sensors like Microsoft Kinect or PrimeSense Carmine. The range of algorithms and applications to be implemented and integrated will be quite broad, ranging from the acquisition, outlier removal or filtering of the input data and the segmentation or characterization of regions of interest in the scene to the very object recognition and pose estimation. Furthermore, in order to validate the proposed system, we will create a 3D object dataset. It will be composed by a set of 3D models, reconstructed from common household objects, as well as a handful of test scenes in which those objects appear. The scenes will be characterized by different levels of occlusion, diverse distances from the elements to the sensor and variations on the pose of the target objects. The creation of this dataset implies the additional development of 3D data acquisition and 3D object reconstruction applications. The resulting system has many possible applications, ranging from mobile robot navigation and semantic scene labeling to human-computer interaction (HCI) systems based on visual information.

Explication des médailles de l'iconographie de la Bibliothèque latine-française : précédée d'une introduction numismatique sur le droit d'image /

Tít. y mención de resp. en la port. adic.: Iconographie de la Bibliothèque latine-française / publiée par C.L.F. Panckoucke.

Registro global de nuvens de pontos RGB-D em tempo real usando fluxo óptico e marcadores

Registration of point clouds captured by depth sensors is an important task in 3D reconstruction applications based on computer vision. In many applications with strict performance requirements, the registration should be executed not only with precision, but also in the same frequency as data is acquired by the sensor. This thesis proposes theuse of the pyramidal sparse optical flow algorithm to incrementally register point clouds captured by RGB-D sensors (e.g. Microsoft Kinect) in real time. The accumulated errorinherent to the process is posteriorly minimized by utilizing a marker and pose graph optimization. Experimental results gathered by processing several RGB-D datasets validatethe system proposed by this thesis in visual odometry and simultaneous localization and mapping (SLAM) applications.

Análisis comparativo de métodos de calibrado para sensores RGB-D y su influencia en el registro de múltiples vistas

Los sensores de propósito general RGB-D son dispositivos capaces de proporcionar información de color y de profundidad de la escena. Debido al amplio rango de aplicación que tienen estos sensores, despiertan gran interés en múltiples áreas, provocando que en algunos casos funcionen al límite de sensibilidad. Los métodos de calibración resultan más importantes, si cabe, para este tipo de sensores para mejorar la precisión de los datos adquiridos. Por esta razón, resulta de enorme transcendencia analizar y estudiar el calibrado de estos sensores RGBD de propósito general. En este trabajo se ha realizado un estudio de las diferentes tecnologías empleadas para determinar la profundidad, siendo la luz estructurada y el tiempo de vuelo las más comunes. Además, se ha analizado y estudiado aquellos parámetros del sensor que influyen en la obtención de los datos con precisión adecuada dependiendo del problema a tratar. El calibrado determina, como primer elemento del proceso de visión, los parámetros característicos que definen un sistema de visión artificial, en este caso, aquellos que permiten mejorar la exactitud y precisión de los datos aportados. En este trabajo se han analizado tres algoritmos de calibración, tanto de propósito general como de propósito específico, para llevar a cabo el proceso de calibrado de tres sensores ampliamente utilizados: Microsoft Kinect, PrimeSense Carmine 1.09 y Microsoft Kinect v2. Los dos primeros utilizan la tecnología de luz estructurada para determinar la profundidad, mientras que el tercero utiliza tiempo de vuelo. La experimentación realizada permite determinar de manera cuantitativa la exactitud y la precisión de los sensores y su mejora durante el proceso de calibrado, aportando los mejores resultados para cada caso. Finalmente, y con el objetivo de mostrar el proceso de calibrado en un sistema de registro global, diferentes pruebas han sido realizadas con el método de registro µ-MAR. Se ha utilizado inspección visual para determinar el comportamiento de los datos de captura corregidos según los resultados de los diferentes algoritmos de calibrado. Este hecho permite observar la importancia de disponer de datos exactos para ciertas aplicaciones como el registro 3D de una escena.

Detección de Lugares con Camaras RGB-D. Aplicación a Cierre de Bucles en SLAM

En este trabajo se propone un método que combina descriptores de imágenes de intensidad y de profundidad para detectar de manera robusta el problema de cierre de bucle en SLAM. La robustez del método, proporcionada por el empleo conjunto de información de diversa naturaleza, permite detectar lugares revisitados en situaciones donde m´etodos basados solo en intensidad o en profundidad presentan dificultades (p.e. condiciones de iluminación deficientes, o falta de geometría). Además, se ha diseñado el métod cuenta su eficiencia, recurriendo para ello al detector FAST para extraer las características de las observaciones y al descriptor binario BRIEF. La detección de bucle se completa con una Bolsa de Palabras binarias. El rendimiento del método propuesto se ha evaluado en condiciones reales, obteniéndose resultados muy satisfactorios.

Navegação de robô móvel em ambiente com humanos

Trabalho Final de Mestrado para obtenção do grau de Mestre em Engenharia Mecânica

Dépistage et traitement de l'infection tuberculeuse latente chez les requérants d'asile récemment arrivés dans le canton de Vaud Dépistage et traitement de l'infection tuberculeuse latente chez les requérants d'asile récemment arrivés dans le canton de Vaud

I. Facteurs associés avec l'infection tuberculose latent chez les requérants d'asile entrant dans le canton de Vaud : Une étude transversale dans le canton de Vaud. Objectifs : Les objectifs de cette étude étaient l'identification des facteurs associés à l'infection tuberculeuse latente (ITBL) chez les requérants d'asile récemment arrivés au Canton de Vaud et leur utilisation pondérée pour l'élaboration d'un score prédictif qui pourrait permettre la meilleure sélection des individus à dépister avec les Interferon Gamma Release Assays (IGRA). Méthode : Le protocole de l'étude prévoyait l'inclusion des requérants d'asile de plus de 16 ans, récemment arrivés dans deux centre de requérant du canton de Vaud ceux de Sainte-Croix et de Crissier. De septembre 2009 à juillet 2010 les requérants d'asile ont bénéficié lors des visites au centre de soins infirmier (CSI) d'informations sur l'ITBL et le protocole et les enjeux de l'étude. Les requérants d'asile ont d'emblée été informées que leur participation à l'étude n'aurait pas d'impact sur le débouché de leur dossier d'asile et qu'il n'y aurait pas de compensation financière à leur participation. Après avoir signé le consentement éclairé les requérants d'asile bénéficiaient d'une entrevue avec l'infirmière du centre où un questionnaire démographique et médical était remplit. 10cc de sang étaient prélevés à la fin de l'entrevue pour l'examen IGRA. Les patients présentant des symptômes évocateurs de tuberculose active ou un anamnèse de traitement pour une tuberculose active étaient exclus de l'étude et adressés au médecin référant du centre pour une visite médicale. Selon les résultats du test T-SPOT.TB (IGRA), les requérants étaient classés en deux groupes : positifs et négatifs. Le groupe IGRA positif était adressé au médecin référant. L'analyse statistique des données de l'étude a été réalisée par le logiciel STATA 11.2. Les coefficients de l'analyse multivariée ont été combinées pour la création d'un score pronostic dont la puissance de discrimination a été évaluée par une courbe ROC. Le protocole de l'étude avait reçu l'aval de la commission d'éthique de l'Université de Lausanne. Résultats : Durant la période de l'étude, 788 requérants d'asile ont été hébergés dans les deux centres de l'étude. 639 avaient plus de 16 ans et 393 d'entre eux ont participé à l'étude (61.50%). 295 (75.06%) avaient un IGRA négatif et 98 (24.93%) étaient positifs. A noter que parmi les 98 positifs, 5 avaient une tuberculose active non détecté précédemment. Les analyses univarié et multivarié ont permis d'identifier 6 facteurs associées à l'ITBL : Région d'origine, moyen de transport, état civil, âge, toux et antécédent d'exposition à la tuberculose. Le score élaboré en combinant ces 6 facteurs présente un AUC de 81% avec une sensibilité de 80%, une spécificité de 70% et des valeurs prédictive positive et négative respectivement de 45% et 92% quant un seuil de 13 est utilisé. Conclusion : Les requérants d'asile qui immigrent en Suisse proviennent de pays où l'incidence de la tuberculose est supérieure à celle des pays de l'Europe occidentale et présentent un risque élevé pour l'infection tuberculose latente (ITBL). L'origine comme seul facteur n'est pas suffisant pour stratifier le risque d'ITBL et ne peut pas justifier la prescription d'un traitement préventif d'ITBL. L'introduction des tests de détection, hautement spécifiques de l'infection au M. tuberculosis tel que les IGRA ainsi que le taux élevé de réussite des traitements préventifs de l'infection latente ont ouvert la voie à un dépistage précoce de l'ITBL qui compléterait le dépistage de la tuberculose active actuellement effectué à la frontière. Afin de mieux cibler le dépistage par ces tests une meilleure sélection des individus à dépister est impérative. Elle pourrait se faire en évaluant le score individuel de risque ITBL par requérant. -- II. Taux élevé d'adhérence au traitement préventif de l'infection tuberculeuse latente prescrit à un collectif de requérants d'asile dans un canton suisse. Objectifs: L'efficacité du traitement préventif de l'infection tuberculeuse latente dépend de l'adherence du sujet au traitement. Un traitement bien conduit pour une duré prévue est en mesure de prévenir l'activation des cas d'infection tuberculeuse latente (ITBL). Le plus grand enjeu dans un programme préventif pour la tuberculose est, outre de cibler la détection des individus les plus à risque pour l'ITBL, de pouvoir traiter efficacement le collectif dépisté positif. Cette étude évaluait la faisabilité d'un traitement préventif court parmi un collectif de requérants d'asile porteurs d'une ITBL dans le canton de Vaud. Méthode: Nous avons effectué une étude prospective de cohorte parmi des requérants d'asile récemment attribués dans le canton de Vaud, âgés de plus de 16 ans et qui avaient été dépistés positifs par IGRA. L'ensemble du collectif selon le protocole de l'étude était adressé au médecin référant afin d'exclure une tuberculose active et pour discuter du traitement préventif si le diagnostic d'ITBL était confirmé. Lors de la première visite médicale, outre l'examen clinique, un bilan radiologique avec une radiographie du thorax et un bilan de la biologie hépatique ainsi qu'un test de dépistage HIV était proposé à l'ensemble du collectif. En cas de suspicion clinique ou d'image radiologique suspecte de tuberculose active le sujet était adressé pour des examens complémentaires. Les sujets porteurs d'ITBL se voyaient proposés, en l'absence de contre indications, un traitement de rifampicine de quatre mois. En acceptant de participer à l'étude ils s'engageaient de se présenter à leur contrôle médical mensuel où était évaluée l'adhérence au traitement et l'apparition d'effets indésirable ou de complications. Si l'adhérence était jugée correcte l'ordonnance du traitement était renouvelée d'un mois et le requérant recevait son prochain rendez-vous de contrôle. L'adhérence était considéré satisfaisante si le patient était adhérent à son schéma de visites médicales et demandait le renouvellement de son ordonnance. Si le requérant d'asile ne se présentait pas à deux contrôles il était considéré comme non adhérent et son traitement est suspendu. Résultats : Notre collectif comptait 98 sujet présument atteint de ITBL sur la base du test T-SPOT.TB ce qui représentait 24.9% du collectif initial. L'âge moyen était de 26.7 ans, 74% était des hommes. La majorité étaient des africains: 66 %, 17% étaient asiatiques et les populations balkaniques et de l'exunion soviétique étaient représentés à part égale d'huit pourcent. Parmi notre collectif nous n'avions pas de sujet immunodéficient notamment HIV positif. Des 98 sujets, 11 ne se sont pas présenté à leur visite médicale initiale. La visite médicale initiale a permis la détection de 8 patients porteurs d'une tuberculose active, dont cinq ont reçu un traitement antituberculeux, ou d'une autre affection pulmonaire non tuberculeuse. Chez deux patients il y avait une contre-indication au traitement préventif et deux avaient un anamnèse positif de traitement antituberculeux non précédemment déclaré. Le traitement préventif a été prescrit à 74 requérants d'asile. Durant le suivi mensuel trois requérants ne se sont pas présentés lors de la première visite de suivi, trois lors de la seconde et sept lors de la troisième pour un total de 13 sujets. Chez deux sujets le traitement préventif a du être suspendu à cause d'une adhérence problématique secondaire à des abus de substances illégales. Durant le suivi, nous n'avons pas eu de sérieuses complications ni d'effets indésirables au traitement qui auraient nécessité son arrêt. En final 60/75 des sujets ont achevé leur traitement soit 80% du collectif. Conclusion: Malgré la vulnérabilité et la volatilité inhérente à cette population qui est d'ailleurs la plus à risqué de réactivation d'une ITBL, cette étude montre que il est possible d'obtenir de taux d'adhérence très élevés au traitement préventif. Nous considérons que les conditions qui ont permis ces résultats sont la prescription d'un schéma de traitement préventif court, un suivi médico-soignant régulier et l'hébergement contrôlée et stable où résidait notre collectif.

Optimisation de la cryo microscopie électronique pour les études des minicercles d'ADN

RESUME : Bien que les propriétés physiques de la structure de l'ADN aient été intensivement étudiées pendant plus de 50 ans il y a encore beaucoup de questions importantes qui attendent des réponses. Par exemple, qu'arrive-t-il à la structure de la double hélice d'ADN nue (sans protéines liées) lorsqu'elle est fortement courbée, de la même manière que dans les nucléosomes? Cet ADN nu est-il facilement plié (il reste dans le régime élastique) ou réduit-il la contrainte de flexion en formant des sites hyperflexibles «kinks» (il sort du régime élastique en cassant l'empilement des paires de bases à certains endroits) ? La microscopie électronique peut fournir une réponse à cette question par visualisation directe des minicercles d'ADN de la longueur d'un tour de nucléosome (environ 90 paires de bases). Pour que la réponse soit scientifiquement valide, on doit observer les molécules d'ADN lorsqu'elles sont en suspension dans la solution d'intérêt et sans que des colorations, produits chimiques ou fixatifs n'aient été ajoutés, étant donné que ceux-ci peuvent changer les propriétés de l'ADN. La technique de la cryo-microscopie électronique (cryo-EM) développée par le groupe de Jacques Dubochet au début des années 80, permet la visualisation directe des molécules d'ADN suspendues dans des couche minces vitrifiées de solutions aqueuses. Toutefois, le faible contraste qui caractérise la cryo-EM combinée avec la très petite taille des minicercles d'ADN rendent nécessaire l'optimisation de plusieurs étapes, aussi bien dans la préparation des échantillons que dans le processus d'acquisition d'images afin d'obtenir deux clichés stéréo qui permettent la reconstruction 3-D des minicercles d'ADN. Dans la première partie de ma thèse, je décris l'optimisation de certains paramètres pour la cryoEM et des processus d'acquisition d'image utilisant comme objets de test des plasmides et d'autres molécules d'ADN. Dans la deuxième partie, je .décris comment j'ai construit les minicercles d'ADN de 94 bp et comment j'ai introduit des modifications structurelles comme des coupures ou des lacunes. Dans la troisième partie, je décris l'analyse des reconstructions des rninicercles d'ADN. Cette analyse, appuyée par des tests biochimiques, indique fortement que des molécules d'ADN sont capables de former de petites molécules circulaires de 94 bp sans dépasser les limites d'élasticité, indiquant que les minicercles adoptent une forme circulaire régulière où la flexion est redistribuée le long la molécule. ABSTRACT : Although physical properties of DNA structure have been intensively studied for over 50 years there are still many important questions that need to be answered. For example, what happens to protein-free double-stranded DNA when it is strongly bent, as in DNA forming nucleosomes? Is such protein-free DNA smoothly bent (i.e. it remains within elastic limits of DNA rigidity) or does it release its bending stress by forming sharp kinks (i.e. it exits the elastic regime and breaks the stacking between neighbouring base-pairs in localized regions)? Electron microscopy can provide an answer to this question by directly visualizing DNA minicircles that have the size of nucleosome gyres (ca 90 bp). For the answer to be scientifically valid, one needs to observe DNA molecules while they are still suspended in the solution of interest and no staining chemicals or fixatives have been added since these can change the properties of the DNA. CryoEM techniques developed by Jacques Dubochet's group beginning in the 1980's permit direct visualization of DNA molecules suspended in cryo-vitrified layers of aqueous solutions. However, a relatively weak contrast of cryo-EM preparations combined with the very small size of the DNA minicircles made it necessary to optimize many of the steps and parameters of the cryo-EM specimen preparation and image acquisition processes in order to obtain stereo-pairs of images that permit the 3-D reconstruction of the observed DNA minicircles. In the first part of my thesis I describe the optimization of the cryo-EM preparation and the image acquisition processes using plasmid size DNA molecules as a test object. In the second part, I describe how I formed the 94 by DNA minicircles and how I introduced structural modifications like nicks or gaps. In the third part, I describe the cryo-EM analysis of the constructed DNA minicircles. That analysis, supported by biochemical tests, strongly indicates that DNA minicircles as small as 94 by remain within the elastic limits of DNA structure, i.e. the minicircles adopt a regular circular shape where bending is redistributed along the molecules.