Sistema de visão robótico baseado no sensor kinect para orientação no espaço e contorno de obstáculos

Dissertação de mestrado em Engenharia Eletrónica Industrial e Computadores (área de especialização em Robótica)

Two different 3D biogeochemical models for the NW mediterranean sea: validation with Meris data and intercomparison

Report for the scientific sojourn carried out at the University of New South Wales from February to June the 2007. Two different biogeochemical models are coupled to a three dimensional configuration of the Princeton Ocean Model (POM) for the Northwestern Mediterranean Sea (Ahumada and Cruzado, 2007). The first biogeochemical model (BLANES) is the three-dimensional version of the model described by Bahamon and Cruzado (2003) and computes the nitrogen fluxes through six compartments using semi-empirical descriptions of biological processes. The second biogeochemical model (BIOMEC) is the biomechanical NPZD model described in Baird et al. (2004), which uses a combination of physiological and physical descriptions to quantify the rates of planktonic interactions. Physical descriptions include, for example, the diffusion of nutrients to phytoplankton cells and the encounter rate of predators and prey. The link between physical and biogeochemical processes in both models is expressed by the advection-diffusion of the non-conservative tracers. The similarities in the mathematical formulation of the biogeochemical processes in the two models are exploited to determine the parameter set for the biomechanical model that best fits the parameter set used in the first model. Three years of integration have been carried out for each model to reach the so called perpetual year run for biogeochemical conditions. Outputs from both models are averaged monthly and then compared to remote sensing images obtained from sensor MERIS for chlorophyll.

Measurement of the dynamics in ski jumping using a wearable inertial sensor-based system.

Abstract Dynamics is a central aspect of ski jumping, particularly during take-off and stable flight. Currently, measurement systems able to measure ski jumping dynamics (e.g. 3D cameras, force plates) are complex and only available in few research centres worldwide. This study proposes a method to determine dynamics using a wearable inertial sensor-based system which can be used routinely on any ski jumping hill. The system automatically calculates characteristic dynamic parameters during take-off (position and velocity of the centre of mass perpendicular to the table, force acting on the centre of mass perpendicular to the table and somersault angular velocity) and stable flight (total aerodynamic force). Furthermore, the acceleration of the ski perpendicular to the table was quantified to characterise the skis lift at take-off. The system was tested with two groups of 11 athletes with different jump distances. The force acting on the centre of mass, acceleration of the ski perpendicular to the table, somersault angular velocity and total aerodynamic force were different between groups and correlated with the jump distances. Furthermore, all dynamic parameters were within the range of prior studies based on stationary measurement systems, except for the centre of mass mean force which was slightly lower.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Characterisation of the LMS200 laser beam under the influence of blockage surfaces. Influence on 3D scanning of tree orchards

The geometric characterisation of tree orchards is a high-precision activity comprising the accurate measurement and knowledge of the geometry and structure of the trees. Different types of sensors can be used to perform this characterisation. In this work a terrestrial LIDAR sensor (SICK LMS200) whose emission source was a 905-nm pulsed laser diode was used. Given the known dimensions of the laser beam cross-section (with diameters ranging from 12 mm at the point of emission to 47.2 mm at a distance of 8 m), and the known dimensions of the elements that make up the crops under study (flowers, leaves, fruits, branches, trunks), it was anticipated that, for much of the time, the laser beam would only partially hit a foreground target/object, with the consequent problem of mixed pixels or edge effects. Understanding what happens in such situations was the principal objective of this work. With this in mind, a series of tests were set up to determine the geometry of the emitted beam and to determine the response of the sensor to different beam blockage scenarios. The main conclusions that were drawn from the results obtained were: (i) in a partial beam blockage scenario, the distance value given by the sensor depends more on the blocked radiant power than on the blocked surface area; (ii) there is an area that influences the measurements obtained that is dependent on the percentage of blockage and which ranges from 1.5 to 2.5 m with respect to the foreground target/object. If the laser beam impacts on a second target/object located within this range, this will affect the measurement given by the sensor. To interpret the information obtained from the point clouds provided by the LIDAR sensors, such as the volume occupied and the enclosing area, it is necessary to know the resolution and the process for obtaining this mesh of points and also to be aware of the problem associated with mixed pixels.

Innovative LIDAR 3D dynamic measurement system to estimate fruit-tree leaf area

In this work, a LIDAR-based 3D Dynamic Measurement System is presented and evaluated for the geometric characterization of tree crops. Using this measurement system, trees were scanned from two opposing sides to obtain two three-dimensional point clouds. After registration of the point clouds, a simple and easily obtainable parameter is the number of impacts received by the scanned vegetation. The work in this study is based on the hypothesis of the existence of a linear relationship between the number of impacts of the LIDAR sensor laser beam on the vegetation and the tree leaf area. Tests performed under laboratory conditions using an ornamental tree and, subsequently, in a pear tree orchard demonstrate the correct operation of the measurement system presented in this paper. The results from both the laboratory and field tests confirm the initial hypothesis and the 3D Dynamic Measurement System is validated in field operation. This opens the door to new lines of research centred on the geometric characterization of tree crops in the field of agriculture and, more specifically, in precision fruit growing.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Performance evaluation of 3D computer vision techniques

This work presents the implementation and comparison of three different techniques of three-dimensional computer vision as follows: • Stereo vision - correlation between two 2D images • Sensorial fusion - use of different sensors: camera 2D + ultrasound sensor (1D); • Structured light The computer vision techniques herein presented took into consideration the following characteristics: • Computational effort ( elapsed time for obtain the 3D information); • Influence of environmental conditions (noise due to a non uniform lighting, overlighting and shades); • The cost of the infrastructure for each technique; • Analysis of uncertainties, precision and accuracy. The option of using the Matlab software, version 5.1, for algorithm implementation of the three techniques was due to the simplicity of their commands, programming and debugging. Besides, this software is well known and used by the academic community, allowing the results of this work to be obtained and verified. Examples of three-dimensional vision applied to robotic assembling tasks ("pick-and-place") are presented.

Analysis of the esophagogastric junction using the 3D high resolution manometry

Contexte & Objectifs : La manométrie perfusée conventionnelle et la manométrie haute résolution (HRM) ont permis le développement d’une variété de paramètres pour mieux comprendre la motilité de l'œsophage et quantifier les caractéristiques de la jonction œsophago-gastrique (JOG). Cependant, l'anatomie de la JOG est complexe et les enregistrements de manométrie détectent à la fois la pression des structures intrinsèques et des structures extrinsèques à l'œsophage. Ces différents composants ont des rôles distincts au niveau de la JOG. Les pressions dominantes ainsi détectées au niveau de la JOG sont attribuables au sphincter œsophagien inférieur (SOI) et aux piliers du diaphragme (CD), mais aucune des technologies manométriques actuelles n’est capable de distinguer ces différents composants de la JOG. Lorsqu’on analyse les caractéristiques de la JOG au repos, celle ci se comporte avant tout comme une barrière antireflux. Les paramètres manométriques les plus couramment utilisés dans ce but sont la longueur de la JOG et le point d’inversion respiratoire (RIP), défini comme le lieu où le pic de la courbe de pression inspiratoire change de positif (dans l’abdomen) à négatif (dans le thorax), lors de la classique manœuvre de « pull-through ». Cependant, l'importance de ces mesures reste marginale comme en témoigne une récente prise de position de l’American Gastroenterology Association Institute (AGAI) (1) qui concluait que « le rôle actuel de la manométrie dans le reflux gastro-œsophagien (RGO) est d'exclure les troubles moteurs comme cause des symptômes présentés par la patient ». Lors de la déglutition, la mesure objective de la relaxation de la JOG est la pression de relaxation intégrée (IRP), qui permet de faire la distinction entre une relaxation normale et une relaxation anormale de la JOG. Toutefois, puisque la HRM utilise des pressions moyennes à chaque niveau de capteurs, certaines études de manométrie laissent suggérer qu’il existe une zone de haute pression persistante au niveau de la JOG même si un transit est mis en évidence en vidéofluoroscopie. Récemment, la manométrie haute résolution « 3D » (3D-HRM) a été développée (Given Imaging, Duluth, GA) avec le potentiel de simplifier l'évaluation de la morphologie et de la physiologie de la JOG. Le segment « 3D » de ce cathéter de HRM permet l'enregistrement de la pression à la fois de façon axiale et radiale tout en maintenant une position fixe de la sonde, et évitant ainsi la manœuvre de « pull-through ». Par conséquent, la 3D-HRM devrait permettre la mesure de paramètres importants de la JOG tels que sa longueur et le RIP. Les données extraites de l'enregistrement fait par 3D-HRM permettraient également de différencier les signaux de pression attribuables au SOI des éléments qui l’entourent. De plus, l’enregistrement des pressions de façon radiaire permettrait d’enregistrer la pression minimale de chaque niveau de capteurs et devrait corriger cette zone de haute pression parfois persistante lors la déglutition. Ainsi, les objectifs de ce travail étaient: 1) de décrire la morphologie de la JOG au repos en tant que barrière antireflux, en comparant les mesures effectuées avec la 3D-HRM en temps réel, par rapport à celle simulées lors d’une manœuvre de « pull-through » et de déterminer quelles sont les signatures des pressions attribuables au SOI et au diaphragme; 2) d’évaluer la relaxation de la JOG pendant la déglutition en testant l'hypothèse selon laquelle la 3D-HRM permet le développement d’un nouveau paradigme (appelé « 3D eSleeve ») pour le calcul de l’IRP, fondé sur l’utilisation de la pression radiale minimale à chaque niveau de capteur de pression le long de la JOG. Ce nouveau paradigme sera comparé à une étude de transit en vidéofluoroscopie pour évaluer le gradient de pression à travers la JOG. Méthodes : Nous avons utilisé un cathéter 3D-HRM, qui incorpore un segment dit « 3D » de 9 cm au sein d’un cathéter HRM par ailleurs standard. Le segment 3D est composé de 12 niveaux (espacés de 7.5mm) de 8 capteurs de pression disposés radialement, soit un total de 96 capteurs. Neuf volontaires ont été étudiés au repos, où des enregistrements ont été effectués en temps réel et pendant une manœuvre de « pull-through » du segment 3D (mobilisation successive du cathéter de 5 mm, pour que le segment 3D se déplace le long de la JOG). Les mesures de la longueur du SOI et la détermination du RIP ont été réalisées. La longueur de la JOG a été mesurée lors du « pull-through » en utilisant 4 capteurs du segment 3D dispersés radialement et les marges de la JOG ont été définies par une augmentation de la pression de 2 mmHg par rapport à la pression gastrique ou de l’œsophage. Pour le calcul en temps réel, les limites distale et proximale de la JOG ont été définies par une augmentation de pression circonférentielle de 2 mmHg par rapport à la pression de l'estomac. Le RIP a été déterminée, A) dans le mode de tracé conventionnel avec la méthode du « pull-through » [le RIP est la valeur moyenne de 4 mesures] et B) en position fixe, dans le mode de représentation topographique de la pression de l’œsophage, en utilisant l’outil logiciel pour déterminer le point d'inversion de la pression (PIP). Pour l'étude de la relaxation de la JOG lors de la déglutition, 25 volontaires ont été étudiés et ont subi 3 études de manométrie (10 déglutitions de 5ml d’eau) en position couchée avec un cathéter HRM standard et un cathéter 3D-HRM. Avec la 3D-HRM, l’analyse a été effectuée une fois avec le segment 3D et une fois avec une partie non 3D du cathéter (capteurs standard de HRM). Ainsi, pour chaque individu, l'IRP a été calculée de quatre façons: 1) avec la méthode conventionnelle en utilisant le cathéter HRM standard, 2) avec la méthode conventionnelle en utilisant le segment standard du cathéter 3D-HRM, 3) avec la méthode conventionnelle en utilisant le segment « 3D » du cathéter 3D-HRM, et 4) avec le nouveau paradigme (3D eSleeve) qui recueille la pression minimale de chaque niveau de capteurs (segment 3D). Quatorze autres sujets ont subi une vidéofluoroscopie simultanée à l’étude de manométrie avec le cathéter 3D-HRM. Les données de pression ont été exportés vers MATLAB ™ et quatre pressions ont été mesurées simultanément : 1) la pression du corps de l’œsophage, 2cm au-dessus de la JOG, 2) la pression intragastrique, 3) la pression radiale moyenne de la JOG (pression du eSleeve) et 4) la pression de la JOG en utilisant la pression minimale de chaque niveau de capteurs (pression du 3D eSleeve). Ces données ont permis de déterminer le temps permissif d'écoulement du bolus (FPT), caractérisé par la période au cours de laquelle un gradient de pression existe à travers la JOG (pression œsophagienne > pression de relaxation de la JOG > pression gastrique). La présence ou l'absence du bolus en vidéofluoroscopie et le FPT ont été codés avec des valeurs dichotomiques pour chaque période de 0,1 s. Nous avons alors calculé la sensibilité et la spécificité correspondant à la valeur du FPT pour la pression du eSleeve et pour la pression du 3D eSleeve, avec la vidéofluoroscopie pour référence. Résultats : Les enregistrements avec la 3D-HRM laissent suggérer que la longueur du sphincter évaluée avec la méthode du « pull-through » était grandement exagéré en incorporant dans la mesure du SOI les signaux de pression extrinsèques à l’œsophage, asymétriques et attribuables aux piliers du diaphragme et aux structures vasculaires. L’enregistrement en temps réel a permis de constater que les principaux constituants de la pression de la JOG au repos étaient attribuables au diaphragme. L’IRP calculé avec le nouveau paradigme 3D eSleeve était significativement inférieur à tous les autres calculs d'IRP avec une limite supérieure de la normale de 12 mmHg contre 17 mmHg pour l’IRP calculé avec la HRM standard. La sensibilité (0,78) et la spécificité (0,88) du 3D eSleeve étaient meilleurs que le eSleeve standard (0,55 et 0,85 respectivement) pour prédire le FPT par rapport à la vidéofluoroscopie. Discussion et conclusion : Nos observations suggèrent que la 3D-HRM permet l'enregistrement en temps réel des attributs de la JOG, facilitant l'analyse des constituants responsables de sa fonction au repos en tant que barrière antireflux. La résolution spatiale axiale et radiale du segment « 3D » pourrait permettre de poursuivre cette étude pour quantifier les signaux de pression de la JOG attribuable au SOI et aux structures extrinsèques (diaphragme et artéfacts vasculaires). Ces attributs du cathéter 3D-HRM suggèrent qu'il s'agit d'un nouvel outil prometteur pour l'étude de la physiopathologie du RGO. Au cours de la déglutition, nous avons évalué la faisabilité d’améliorer la mesure de l’IRP en utilisant ce nouveau cathéter de manométrie 3D avec un nouveau paradigme (3D eSleeve) basé sur l’utilisation de la pression radiale minimale à chaque niveau de capteurs de pression. Nos résultats suggèrent que cette approche est plus précise que celle de la manométrie haute résolution standard. La 3D-HRM devrait certainement améliorer la précision des mesures de relaxation de la JOG et cela devrait avoir un impact sur la recherche pour modéliser la JOG au cours de la déglutition et dans le RGO.

Hand-held 3D-scanner for large surface registration

L'objectiu d'aquesta tesi és l'estudi de les diferents tècniques per alinear vistes tridimensionals. Aquest estudi ens ha permès detectar els principals problemes de les tècniques existents, aprotant una solució novedosa i contribuint resolent algunes de les mancances detectades especialment en l'alineament de vistes a temps real. Per tal d'adquirir les esmentades vistes, s'ha dissenyat un sensor 3D manual que ens permet fer adquisicions tridimensionals amb total llibertat de moviments. Així mateix, s'han estudiat les tècniques de minimització global per tal de reduir els efectes de la propagació de l'error.

Integració 3D de detectors de píxels híbrids

La miniaturització de la industria microelectrònica és un fet del tot inqüestionables i la tecnologia CMOS no n'és una excepció. En conseqüència la comunitat científica s'ha plantejat dos grans reptes: En primer lloc portar la tecnologia CMOS el més lluny possible ('Beyond CMOS') tot desenvolupant sistemes d'altes prestacions com microprocessadors, micro - nanosistemes o bé sistemes de píxels. I en segon lloc encetar una nova generació electrònica basada en tecnologies totalment diferents dins l'àmbit de les Nanotecnologies. Tots aquests avanços exigeixen una recerca i innovació constant en la resta d'àrees complementaries com són les d'encapsulat. L'encapsulat ha de satisfer bàsicament tres funcions: Interfície elèctrica del sistema amb l'exterior, Proporcionar un suport mecànic al sistema i Proporcionar un camí de dissipació de calor. Per tant, si tenim en compte que la majoria d'aquests dispositius d'altes prestacions demanden un alt nombre d'entrades i sortides, els mòduls multixip (MCMs) i la tecnologia flip chip es presenten com una solució molt interessant per aquests tipus de dispositiu. L'objectiu d'aquesta tesi és la de desenvolupar una tecnologia de mòduls multixip basada en interconnexions flip chip per a la integració de detectors de píxels híbrids, que inclou: 1) El desenvolupament d'una tecnologia de bumping basada en bumps de soldadura Sn/Ag eutèctics dipositats per electrodeposició amb un pitch de 50µm, i 2) El desenvolupament d'una tecnologia de vies d'or en silici que permet interconnectar i apilar xips verticalment (3D packaging) amb un pitch de 100µm. Finalment aquesta alta capacitat d'interconnexió dels encapsulats flip chip ha permès que sistemes de píxels tradicionalment monolítics puguin evolucionar cap a sistemes híbrids més compactes i complexes, i que en aquesta tesi s'ha vist reflectit transferint la tecnologia desenvolupada al camp de la física d'altes energies, en concret implantant el sistema de bump bonding d'un mamògraf digital. Addicionalment s'ha implantat també un dispositiu detector híbrid modular per a la reconstrucció d'imatges 3D en temps real, que ha donat lloc a una patent.

Optimal 3D surface reconstruction from a small number of conventional 2D X-ray images

This paper describes a method for reconstructing 3D frontier points, contour generators and surfaces of anatomical objects or smooth surfaces from a small number, e. g. 10, of conventional 2D X-ray images. The X-ray images are taken at different viewing directions with full prior knowledge of the X-ray source and sensor configurations. Unlike previous works, we empirically demonstrate that if the viewing directions are uniformly distributed around the object's viewing sphere, then the reconstructed 3D points automatically cluster closely on a highly curved part of the surface and are widely spread on smooth or flat parts. The advantage of this property is that the reconstructed points along a surface or a contour generator are not under-sampled or under-represented because surfaces or contours should be sampled or represented with more densely points where their curvatures are high. The more complex the contour's shape, the greater is the number of points required, but the greater the number of points is automatically generated by the proposed method. Given that the number of viewing directions is fixed and the viewing directions are uniformly distributed, the number and distribution of the reconstructed points depend on the shape or the curvature of the surface regardless of the size of the surface or the size of the object. The technique may be used not only in medicine but also in industrial applications.

Modeling camera orientation and 3D structure from a sequence of images taken by a perambulating commercial video camera

In this paper we report the degree of reliability of image sequences taken by off-the-shelf TV cameras for modeling camera rotation and reconstructing 3D structure using computer vision techniques. This is done in spite of the fact that computer vision systems usually use imaging devices that are specifically designed for the human vision. Our scenario consists of a static scene and a mobile camera moving through the scene. The scene is any long axial building dominated by features along the three principal orientations and with at least one wall containing prominent repetitive planar features such as doors, windows bricks etc. The camera is an ordinary commercial camcorder moving along the axial axis of the scene and is allowed to rotate freely within the range +/- 10 degrees in all directions. This makes it possible that the camera be held by a walking unprofessional cameraman with normal gait, or to be mounted on a mobile robot. The system has been tested successfully on sequence of images of a variety of structured, but fairly cluttered scenes taken by different walking cameramen. The potential application areas of the system include medicine, robotics and photogrammetry.

3D scanning by multiple fan beam X-ray sources and sensors

*** Purpose – Computer tomography (CT) for 3D reconstruction entails a huge number of coplanar fan-beam projections for each of a large number of 2D slice images, and excessive radiation intensities and dosages. For some applications its rate of throughput is also inadequate. A technique for overcoming these limitations is outlined. *** Design methodology/approach – A novel method to reconstruct 3D surface models of objects is presented, using, typically, ten, 2D projective images. These images are generated by relative motion between this set of objects and a set of ten fanbeam X-ray sources and sensors, with their viewing axes suitably distributed in 2D angular space. *** Findings – The method entails a radiation dosage several orders of magnitude lower than CT, and requires far less computational power. Experimental results are given to illustrate the capability of the technique *** Practical implications – The substantially lower cost of the method and, more particularly, its dramatically lower irradiation make it relevant to many applications precluded by current techniques *** Originality/value – The method can be used in many applications such as aircraft hold-luggage screening, 3D industrial modelling and measurement, and it should also have important applications to medical diagnosis and surgery.

Visual sensor fusion for active security in robotic industrial environments

This work presents a method of information fusion involving data captured by both a standard CCD camera and a ToF camera to be used in the detection of the proximity between a manipulator robot and a human. Both cameras are assumed to be located above the work area of an industrial robot. The fusion of colour images and time of light information makes it possible to know the 3D localization of objects with respect to a world coordinate system. At the same time this allows to know their colour information. Considering that ToF information given by the range camera contains innacuracies including distance error, border error, and pixel saturation, some corrections over the ToF information are proposed and developed to improve the results. The proposed fusion method uses the calibration parameters of both cameras to reproject 3D ToF points, expressed in a common coordinate system for both cameras and a robot arm, in 2D colour images. In addition to this, using the 3D information, the motion detection in a robot industrial environment is achieved, and the fusion of information is applied to the foreground objects previously detected. This combination of information results in a matrix that links colour and 3D information, giving the possibility of characterising the object by its colour in addition to its 3D localization. Further development of these methods will make it possible to identify objects and their position in the real world, and to use this information to prevent possible collisions between the robot and such objects.