Portable 3D laser-camera calibration system with color fusion for SLAM

Nowadays, the use of RGB-D sensors have focused a lot of research in computer vision and robotics. These kinds of sensors, like Kinect, allow to obtain 3D data together with color information. However, their working range is limited to less than 10 meters, making them useless in some robotics applications, like outdoor mapping. In these environments, 3D lasers, working in ranges of 20-80 meters, are better. But 3D lasers do not usually provide color information. A simple 2D camera can be used to provide color information to the point cloud, but a calibration process between camera and laser must be done. In this paper we present a portable calibration system to calibrate any traditional camera with a 3D laser in order to assign color information to the 3D points obtained. Thus, we can use laser precision and simultaneously make use of color information. Unlike other techniques that make use of a three-dimensional body of known dimensions in the calibration process, this system is highly portable because it makes use of small catadioptrics that can be placed in a simple manner in the environment. We use our calibration system in a 3D mapping system, including Simultaneous Location and Mapping (SLAM), in order to get a 3D colored map which can be used in different tasks. We show that an additional problem arises: 2D cameras information is different when lighting conditions change. So when we merge 3D point clouds from two different views, several points in a given neighborhood could have different color information. A new method for color fusion is presented, obtaining correct colored maps. The system will be tested by applying it to 3D reconstruction.

Portable 3D laser-camera calibration system with color fusion for SLAM

Paper submitted to the 43rd International Symposium on Robotics (ISR2012), Taipei, Taiwan, Aug. 29-31, 2012.

3D model based map building

Comunicación presentada en el IX Workshop de Agentes Físicos (WAF'2008), Vigo, 11-12 septiembre 2008.

3D plane-based egomotion for SLAM on semi-structured environment

Several works deal with 3D data in SLAM problem. Data come from a 3D laser sweeping unit or a stereo camera, both providing a huge amount of data. In this paper, we detail an efficient method to extract planar patches from 3D raw data. Then, we use these patches in an ICP-like method in order to address the SLAM problem. Using ICP with planes is not a trivial task. It needs some adaptation from the original ICP. Some promising results are shown for outdoor environment.

Discontinuity spacing analysis in rock masses using 3D point clouds

The complete characterization of rock masses implies the acquisition of information of both, the materials which compose the rock mass and the discontinuities which divide the outcrop. Recent advances in the use of remote sensing techniques – such as Light Detection and Ranging (LiDAR) – allow the accurate and dense acquisition of 3D information that can be used for the characterization of discontinuities. This work presents a novel methodology which allows the calculation of the normal spacing of persistent and non-persistent discontinuity sets using 3D point cloud datasets considering the three dimensional relationships between clusters. This approach requires that the 3D dataset has been previously classified. This implies that discontinuity sets are previously extracted, every single point is labeled with its corresponding discontinuity set and every exposed planar surface is analytically calculated. Then, for each discontinuity set the method calculates the normal spacing between an exposed plane and its nearest one considering 3D space relationship. This link between planes is obtained calculating for every point its nearest point member of the same discontinuity set, which provides its nearest plane. This allows calculating the normal spacing for every plane. Finally, the normal spacing is calculated as the mean value of all the normal spacings for each discontinuity set. The methodology is validated through three cases of study using synthetic data and 3D laser scanning datasets. The first case illustrates the fundamentals and the performance of the proposed methodology. The second and the third cases of study correspond to two rock slopes for which datasets were acquired using a 3D laser scanner. The second case study has shown that results obtained from the traditional and the proposed approaches are reasonably similar. Nevertheless, a discrepancy between both approaches has been found when the exposed planes members of a discontinuity set were hard to identify and when the planes pairing was difficult to establish during the fieldwork campaign. The third case study also has evidenced that when the number of identified exposed planes is high, the calculated normal spacing using the proposed approach is minor than those using the traditional approach.

Uso de nubes de puntos 3D para identificación y caracterización de familias de discontinuidades planas en afloramientos rocosos y evaluación de la calidad geomecánica

En este trabajo se estudia el uso de las nubes de puntos en 3D, es decir, un conjunto de puntos en un sistema de referencia cartesiano en R3, para la identificación y caracterización de las discontinuidades que afloran en un macizo rocoso y su aplicación al campo de la Mecánica de Rocas. Las nubes de puntos utilizadas se han adquirido mediante tres técnicas: sintéticas, 3D laser scanner y la técnica de fotogrametría digital Structure From Motion (SfM). El enfoque está orientado a la extracción y caracterización de familias de discontinuidades y su aplicación a la evaluación de la calidad de un talud rocoso mediante la clasificación geomecánica Slope Mass Rating (SMR). El contenido de la misma está dividido en tres bloques, como son: (1) metodología de extracción de discontinuidades y clasificación de la nube de puntos 3D; (2) análisis de espaciados normales en nubes de puntos 3D; y (3) análisis de la evaluación de la calidad geomecánica de taludes rocoso mediante la clasificación geomecánica SMR a partir de nubes de puntos 3D. La primera línea de investigación consiste en el estudio de las nubes de puntos 3D con la finalidad de extraer y caracterizar las discontinuidades planas presentes en la superficie de un macizo rocoso. En primer lugar, se ha recopilado información de las metodologías existentes y la disponibilidad de programas para su estudio. Esto motivó la decisión de investigar y diseñar un proceso de clasificación novedoso, que muestre todos los pasos para su programación e incluso ofreciendo el código programado a la comunidad científica bajo licencia GNU GPL. De esta forma, se ha diseñado una novedosa metodología y se ha programado un software que analiza nubes de puntos 3D de forma semi-automática, permitiendo al usuario interactuar con el proceso de clasificación. Dicho software se llama Discontinuity Set Extractor (DSE). El método se ha validado empleando nubes de puntos sintéticas y adquiridas con 3D laser scanner. En primer lugar, este código analiza la nube de puntos efectuando un test de coplanaridad para cada punto y sus vecinos próximos para, a continuación, calcular el vector normal de la superficie en el punto estudiado. En segundo lugar, se representan los polos de los vectores normales calculados en el paso previo en una falsilla estereográfica. A continuación se calcula la densidad de los polos y los polos con mayor densidad o polos principales. Estos indican las orientaciones de la superficie más representadas, y por tanto las familias de discontinuidades. En tercer lugar, se asigna a cada punto una familia en dependencia del ángulo formado por el vector normal del punto y el de la familia. En este punto el usuario puede visualizar la nube de puntos clasificada con las familias de discontinuidades que ha determinado para validar el resultado intermedio. En cuarto lugar, se realiza un análisis cluster en el que se determina la agrupación de puntos según planos para cada familia (clusters). A continuación, se filtran aquellos que no tengan un número de puntos suficiente y se determina la ecuación de cada plano. Finalmente, se exportan los resultados de la clasificación a un archivo de texto para su análisis y representación en otros programas. La segunda línea de investigación consiste en el estudio del espaciado entre discontinuidades planas que afloran en macizos rocosos a partir de nubes de puntos 3D. Se desarrolló una metodología de cálculo de espaciados a partir de nubes de puntos 3D previamente clasificadas con el fin de determinar las relaciones espaciales entre planos de cada familia y calcular el espaciado normal. El fundamento novedoso del método propuesto es determinar el espaciado normal de familia basándonos en los mismos principios que en campo, pero sin la restricción de las limitaciones espaciales, condiciones de inseguridad y dificultades inherentes al proceso. Se consideraron dos aspectos de las discontinuidades: su persistencia finita o infinita, siendo la primera el aspecto más novedoso de esta publicación. El desarrollo y aplicación del método a varios casos de estudio permitió determinar su ámbito de aplicación. La validación se llevó a cabo con nubes de puntos sintéticas y adquiridas con 3D laser scanner. La tercera línea de investigación consiste en el análisis de la aplicación de la información obtenida con nubes de puntos 3D a la evaluación de la calidad de un talud rocoso mediante la clasificación geomecánica SMR. El análisis se centró en la influencia del uso de orientaciones determinadas con distintas fuentes de información (datos de campo y técnicas de adquisición remota) en la determinación de los factores de ajuste y al valor del índice SMR. Los resultados de este análisis muestran que el uso de fuentes de información y técnicas ampliamente aceptadas pueden ocasionar cambios en la evaluación de la calidad del talud rocoso de hasta una clase geomecánica (es decir, 20 unidades). Asimismo, los análisis realizados han permitido constatar la validez del índice SMR para cartografiar zonas inestables de un talud. Los métodos y programas informáticos desarrollados suponen un importante avance científico para el uso de nubes de puntos 3D para: (1) el estudio y caracterización de las discontinuidades de los macizos rocosos y (2) su aplicación a la evaluación de la calidad de taludes en roca mediante las clasificaciones geomecánicas. Asimismo, las conclusiones obtenidas y los medios y métodos empleados en esta tesis doctoral podrán ser contrastadas y utilizados por otros investigadores, al estar disponibles en la web del autor bajo licencia GNU GPL.

Characterization of rock slopes through slope mass rating using 3D point clouds

Rock mass classification systems are widely used tools for assessing the stability of rock slopes. Their calculation requires the prior quantification of several parameters during conventional fieldwork campaigns, such as the orientation of the discontinuity sets, the main properties of the existing discontinuities and the geo-mechanical characterization of the intact rock mass, which can be time-consuming and an often risky task. Conversely, the use of relatively new remote sensing data for modelling the rock mass surface by means of 3D point clouds is changing the current investigation strategies in different rock slope engineering applications. In this paper, the main practical issues affecting the application of Slope Mass Rating (SMR) for the characterization of rock slopes from 3D point clouds are reviewed, using three case studies from an end-user point of view. To this end, the SMR adjustment factors, which were calculated from different sources of information and processes, using the different softwares, are compared with those calculated using conventional fieldwork data. In the presented analysis, special attention is paid to the differences between the SMR indexes derived from the 3D point cloud and conventional field work approaches, the main factors that determine the quality of the data and some recognized practical issues. Finally, the reliability of Slope Mass Rating for the characterization of rocky slopes is highlighted.