Superpixel-based roughness measure for multispectral satellite image segmentation

The new generation of artificial satellites is providing a huge amount of Earth observation images whose exploitation can report invaluable benefits, both economical and environmental. However, only a small fraction of this data volume has been analyzed, mainly due to the large human resources needed for that task. In this sense, the development of unsupervised methodologies for the analysis of these images is a priority. In this work, a new unsupervised segmentation algorithm for satellite images is proposed. This algorithm is based on the rough-set theory, and it is inspired by a previous segmentation algorithm defined in the RGB color domain. The main contributions of the new algorithm are: (i) extending the original algorithm to four spectral bands; (ii) the concept of the superpixel is used in order to define the neighborhood similarity of a pixel adapted to the local characteristics of each image; (iii) and two new region merged strategies are proposed and evaluated in order to establish the final number of regions in the segmented image. The experimental results show that the proposed approach improves the results provided by the original method when both are applied to satellite images with different spectral and spatial resolutions.

Metodología del análisis de imágenes digitales para el estudio del contenido de humedad en vertisoles

Desde finales del siglo pasado, el procesamiento y análisis de imágenes digitales, se ha convertido en una poderosa herramienta para la investigación de las propiedades del suelo a múltiples resoluciones, sin embargo todavía no existen los mejores resultados en cuanto a estos trabajos. El principal problema para investigar el drenaje vertical a partir de la distribución de humedad en un perfil de vertisol es la búsqueda de métodos factibles que usen este procedimiento. El objetivo general es implementar una metodología para el procesamiento y análisis de imágenes digitales, que permita caracterizar la distribución del contenido de humedad de un perfil de vertisol. Para el estudio, doce calicatas fueron excavadas en un Mazic Pellic Vertisol, seis de ellas en mayo 13/2011 y el resto en mayo 19/2011 después de moderados eventos de lluvia. Las imágenes RGB de los perfiles fueron tomadas con una cámara Kodak™; con tamaños seleccionados de 1600 x 945 píxeles cada una fue procesada para homogeneizar el brillo y se aplicaron filtros suavizadores de diferentes tamaños de ventana, hasta obtener el óptimo. Cada imagen se dividió en sus matrices componentes, seleccionando los umbrales de cada una para ser aplicado y obtener el patrón digital binario. Este último fue analizado a través de la estimación de dos exponentes fractales: dimensión de conteo de cajas (DBC) y dimensión fractal de interfase húmedo seco (Di). Además, fueron determinados tres coeficientes prefractales a la máxima resolución: número total de cajas interceptados en el plano del patrón (A), la lagunaridad fractal (λ1) y la entropía de Shannon (S1). Para todas las imágenes obtenidas, basado en la entropía, los análisis de clúster y de histogramas, el filtro espacial de 9x9 resultó ser el de tamaño de ventana óptimo. Los umbrales fueron seleccionados a partir del carácter bimodal de los histogramas. Los patrones binarios obtenidos mostraron áreas húmedas (blancas) y secas (negras) que permitieron su análisis. Todos los parámetros obtenidos mostraron diferencias significativas entre ambos conjuntos de patrones espaciales. Mientras los exponentes fractales aportan información sobre las características de llenado del patrón de humedad, los coeficientes prefractales representan propiedades del suelo investigado. La lagunaridad fractal fue el mejor discriminador entre los patrones de humedad aparente del suelo. ABSTRACT From last century, digital image processing and analysis was converted in a powerful tool to investigate soil properties at multiple resolutions, however, the best final procedure in these works not yet exist. The main problem to study vertical drainage from the moisture distribution, on a vertisol profile, is searching for suitable methods using these procedures. Our aim was to design a digital image processing methodology and its analysis to characterize the moisture content distribution of a vertisol profile. In this research, twelve soil pits were excavated on a bare Mazic Pellic Vertisol, six of them in May 13/2011 and the rest in May 19/2011 after a moderate rainfall event. Digital RGB images were taken from each vertisol pit using a Kodak™ camera selecting a size of 1600x945 pixels. Each soil image was processed to homogenized brightness and then a spatial filter with several window sizes was applied to select the optimum one. The RGB image obtained were divided in each matrix color selecting the best thresholds for each one, maximum and minimum, to be applied and get a digital binary pattern. This one was analyzed by estimating two fractal scaling exponents: box counting dimension (DBC

Free-form optical systems for nonimaging applications : Sistemas ópticos anamórficos para aplicaciones anidólicas

La óptica anidólica es una rama de la óptica cuyo desarrollo comenzó a mediados de la década de 1960. Este relativamente nuevo campo de la óptica se centra en la transferencia eficiente de la luz, algo necesario en muchas aplicaciones, entre las que destacamos los concentradores solares y los sistemas de iluminación. Las soluciones de la óptica clásica a los problemas de la transferencia de energía de la luz sólo son adecuadas cuando los rayos de luz son paraxiales. La condición paraxial no se cumple en la mayoría de las aplicaciones para concentración e iluminación. Esta tesis contiene varios diseños free-form (aquellos que no presentan ninguna simetría, ni de rotación ni lineal) cuyas aplicaciones van destinadas a estos dos campos. El término nonimaging viene del hecho de que estos sistemas ópticos no necesitan formar una imagen del objeto, aunque no formar la imagen no es una condición necesaria. Otra palabra que se utiliza a veces en lugar de nonimaging es la palabra anidólico, viene del griego "an+eidolon" y tiene el mismo significado. La mayoría de los sistemas ópticos diseñados para aplicaciones anidólicas no presentan ninguna simetría, es decir, son free-form (anamórficos). Los sistemas ópticos free-form están siendo especialmente relevantes durante los últimos años gracias al desarrollo de las herramientas para su fabricación como máquinas de moldeo por inyección y el mecanizado multieje. Sin embargo, solo recientemente se han desarrollado técnicas de diseño anidólicas capaces de cumplir con estos grados de libertad. En aplicaciones de iluminación el método SMS3D permite diseñar dos superficies free-form para controlar las fuentes de luz extensas. En los casos en que se requiere una elevada asimetría de la fuente, el objeto o las restricciones volumétricos, las superficies free-form permiten obtener soluciones de mayor eficiencia, o disponer de menos elementos en comparación con las soluciones de simetría de rotación, dado que las superficies free-form tienen más grados de libertad y pueden realizar múltiples funciones debido a su naturaleza anamórfica. Los concentradores anidólicos son muy adecuados para la captación de energía solar, ya que el objetivo no es la reproducción de una imagen exacta del sol, sino sencillamente la captura de su energía. En este momento, el campo de la concentración fotovoltaica (CPV) tiende hacia sistemas de alta concentración con el fin de compensar el gasto de las células solares multi-unión (MJ) utilizadas como receptores, reduciendo su área. El interés en el uso de células MJ radica en su alta eficiencia de conversión. Para obtener sistemas competitivos en aplicaciones terrestres se recurre a sistemas fotovoltaicos de alta concentración (HCPV), con factores de concentración geométrica por encima de 500x. Estos sistemas se componen de dos (o más) elementos ópticos (espejos y/o lentes). En los sistemas presentados a lo largo de este trabajo se presentan ejemplos de concentradores HCPV con elementos reflexivos como etapa primaria, así como concentradores con elementos refractivos (lente de Fresnel). Con la necesidad de aumentar la eficiencia de los sistemas HCPV reales y con el fin de proporcionar la división más eficiente del espectro solar, células conteniendo cuatro o más uniones (con un potencial de alcanzar eficiencias de más del 45% a una concentración de cientos de soles) se exploran hoy en día. En esta tesis se presenta una de las posibles arquitecturas de división del espectro (spectrum-splitting en la literatura anglosajona) que utilizan células de concentración comercial. Otro campo de aplicación de la óptica nonimaging es la iluminación, donde es necesario proporcionar un patrón de distribución de la iluminación específico. La iluminación de estado sólido (SSL), basada en la electroluminiscencia de materiales semiconductores, está proporcionando fuentes de luz para aplicaciones de iluminación general. En la última década, los diodos emisores de luz (LED) de alto brillo han comenzado a reemplazar a las fuentes de luz convencionales debido a la superioridad en la calidad de la luz emitida, elevado tiempo de vida, compacidad y ahorro de energía. Los colimadores utilizados con LEDs deben cumplir con requisitos tales como tener una alta eficiencia, un alto control del haz de luz, una mezcla de color espacial y una gran compacidad. Presentamos un colimador de luz free-form con microestructuras capaz de conseguir buena colimación y buena mezcla de colores con una fuente de LED RGGB. Una buena mezcla de luz es importante no sólo para simplificar el diseño óptico de la luminaria sino también para evitar hacer binning de los chips. La mezcla de luz óptica puede reducir los costes al evitar la modulación por ancho de pulso y otras soluciones electrónicas patentadas para regulación y ajuste de color. Esta tesis consta de cuatro capítulos. Los capítulos que contienen la obra original de esta tesis son precedidos por un capítulo introductorio donde se presentan los conceptos y definiciones básicas de la óptica geométrica y en el cual se engloba la óptica nonimaging. Contiene principios de la óptica no formadora de imagen junto con la descripción de sus problemas y métodos de diseño. Asimismo se describe el método de Superficies Múltiples Simultáneas (SMS), que destaca por su versatilidad y capacidad de controlar varios haces de rayos. Adicionalmente también se describe la integración Köhler y sus aplicaciones en el campo de la energía fotovoltaica. La concentración fotovoltaica y la iluminación de estado sólido son introducidas junto con la revisión de su estado actual. El Segundo y Tercer Capítulo contienen diseños ópticos avanzados con aplicación en la concentración solar principalmente, mientras que el Cuarto Capítulo describe el colimador free-form con surcos que presenta buena mezcla de colores para aplicaciones de iluminación. El Segundo Capítulo describe dos concentradores ópticos HCPV diseñados con el método SMS en tres dimensiones (SMS3D) que llevan a cabo integración Köhler en dos direcciones con el fin de proporcionar una distribución de irradiancia uniforme libre de aberraciones cromáticas sobre la célula solar. Uno de los diseños es el concentrador XXR free-form diseñado con el método SMS3D, donde el espejo primario (X) y la lente secundaria (R) se dividen en cuatro sectores simétricos y llevan a cabo la integración Köhler (proporcionando cuatro unidades del array Köhler), mientras que el espejo intermedio (X) presenta simetría rotacional. Otro concentrador HCPV presentado es el Fresnel-RXI (FRXI) con una lente de Fresnel funcionando como elemento primario (POE) y una lente RXI como elemento óptico secundario (SOE), que presenta configuración 4-fold con el fin de realizar la integración Köhler. Las lentes RXI son dispositivos nonimaging conocidos, pero su aplicación como elemento secundario es novedosa. Los concentradores XXR y FRXI Köhler son ejemplos académicos de muy alta concentración (más de 2,000x, mientras que los sistemas convencionales hoy en día no suelen llegar a 1,000x) preparados para las células solares N-unión (con N>3), que probablemente requerirán una mayor concentración y alta uniformidad espectral de irradiancia con el fin de obtener sistemas CPV terrestres eficientes y rentables. Ambos concentradores están diseñados maximizando funciones de mérito como la eficiencia óptica, el producto concentración-aceptancia (CAP) y la uniformidad de irradiancia sobre la célula libre de la aberración cromática (integración Köhler). El Tercer Capítulo presenta una arquitectura para la división del espectro solar basada en un módulo HCPV con alta concentración (500x) y ángulo de aceptancia alto (>1º) que tiene por objeto reducir ambas fuentes de pérdidas de las células triple unión (3J) comerciales: el uso eficiente del espectro solar y la luz reflejada de los contactos metálicos y de la superficie de semiconductor. El módulo para la división del espectro utiliza el espectro solar más eficiente debido a la combinación de una alta eficiencia de una célula de concentración 3J (GaInP/GaInAs/Ge) y una de contacto posterior (BPC) de concentración de silicio (Si), así como la técnica de confinamiento externo para la recuperación de la luz reflejada por la célula 3J con el fin de ser reabsorbida por la célula. En la arquitectura propuesta, la célula 3J opera con su ganancia de corriente optimizada (concentración geométrica de 500x), mientras que la célula de silicio trabaja cerca de su óptimo también (135x). El módulo de spectrum-splitting consta de una lente de Fresnel plana como POE y un concentrador RXI free-form como SOE con un filtro paso-banda integrado en él. Tanto POE como SOE realizan la integración Köhler para producir homogeneización de luz sobre la célula. El filtro paso banda envía los fotones IR en la banda 900-1,150nm a la célula de silicio. Hay varios aspectos prácticos de la arquitectura del módulo presentado que ayudan a reducir la complejidad de los sistemas spectrum-splitting (el filtro y el secundario forman una sola pieza sólida, ambas células son coplanarias simplificándose el cableado y la disipación de calor, etc.). Prototipos prueba-de-concepto han sido ensamblados y probados a fin de demostrar la fabricabilidad del filtro y su rendimiento cuando se combina con la técnica de reciclaje de luz externa. Los resultados obtenidos se ajustan bastante bien a los modelos y a las simulaciones e invitan al desarrollo de una versión más compleja de este prototipo en el futuro. Dos colimadores sólidos con surcos free-form se presentan en el Cuarto Capítulo. Ambos diseños ópticos están diseñados originalmente usando el método SMS3D. La segunda superficie ópticamente activa está diseñada a posteriori como una superficie con surcos. El diseño inicial de dos espejos (XX) está diseñado como prueba de concepto. En segundo lugar, el diseño RXI free-form es comparable con los colimadores RXI existentes. Se trata de un diseño muy compacto y eficiente que proporciona una muy buena mezcla de colores cuando funciona con LEDs RGB fuera del eje óptico como en los RGB LEDs convencionales. Estos dos diseños son dispositivos free-form diseñados con la intención de mejorar las propiedades de mezcla de colores de los dispositivos no aplanáticos RXI con simetría de revolución y la eficiencia de los aplanáticos, logrando una buena colimación y una buena mezcla de colores. La capacidad de mezcla de colores del dispositivo no-aplanático mejora añadiendo características de un aplanático a su homólogo simétrico sin pérdida de eficiencia. En el caso del diseño basado en RXI, su gran ventaja consiste en su menor coste de fabricación ya que el proceso de metalización puede evitarse. Aunque algunos de los componentes presentan formas muy complejas, los costes de fabricación son relativamente insensibles a la complejidad del molde, especialmente en el caso de la producción en masa (tales como inyección de plástico), ya que el coste del molde se reparte entre todas las piezas fabricadas. Por último, las últimas dos secciones son las conclusiones y futuras líneas de investigación. ABSTRACT Nonimaging optics is a branch of optics whose development began in the mid-1960s. This rather new field of optics focuses on the efficient light transfer necessary in many applications, among which we highlight solar concentrators and illumination systems. The classical optics solutions to the problems of light energy transfer are only appropriate when the light rays are paraxial. The paraxial condition is not met in most applications for the concentration and illumination. This thesis explores several free-form designs (with neither rotational nor linear symmetry) whose applications are intended to cover the above mentioned areas and more. The term nonimaging comes from the fact that these optical systems do not need to form an image of the object, although it is not a necessary condition not to form an image. Another word sometimes used instead of nonimaging is anidolic, and it comes from the Greek “an+eidolon” and has the same meaning. Most of the optical systems designed for nonimaging applications are without any symmetry, i.e. free-form. Free-form optical systems become especially relevant lately with the evolution of free-form tooling (injection molding machines, multi-axis machining techniques, etc.). Nevertheless, only recently there are nonimaging design techniques that are able to meet these degrees of freedom. In illumination applications, the SMS3D method allows designing two free-form surfaces to control very well extended sources. In cases when source, target or volumetric constrains have very asymmetric requirements free-form surfaces are offering solutions with higher efficiency or with fewer elements in comparison with rotationally symmetric solutions, as free-forms have more degrees of freedom and they can perform multiple functions due to their free-form nature. Anidolic concentrators are well suited for the collection of solar energy, because the goal is not the reproduction of an exact image of the sun, but instead the collection of its energy. At this time, Concentration Photovoltaics (CPV) field is turning to high concentration systems in order to compensate the expense of multi-junction (MJ) solar cells used as receivers by reducing its area. Interest in the use of MJ cells lies in their very high conversion efficiency. High Concentration Photovoltaic systems (HCPV) with geometric concentration of more than 500x are required in order to have competitive systems in terrestrial applications. These systems comprise two (or more) optical elements, mirrors and/or lenses. Systems presented in this thesis encompass both main types of HCPV architectures: concentrators with primary reflective element and concentrators with primary refractive element (Fresnel lens). Demand for the efficiency increase of the actual HCPV systems as well as feasible more efficient partitioning of the solar spectrum, leads to exploration of four or more junction solar cells or submodules. They have a potential of reaching over 45% efficiency at concentration of hundreds of suns. One possible architectures of spectrum splitting module using commercial concentration cells is presented in this thesis. Another field of application of nonimaging optics is illumination, where a specific illuminance distribution pattern is required. The Solid State Lighting (SSL) based on semiconductor electroluminescence provides light sources for general illumination applications. In the last decade high-brightness Light Emitting Diodes (LEDs) started replacing conventional light sources due to their superior output light quality, unsurpassed lifetime, compactness and energy savings. Collimators used with LEDs have to meet requirements like high efficiency, high beam control, color and position mixing, as well as a high compactness. We present a free-form collimator with microstructures that performs good collimation and good color mixing with RGGB LED source. Good light mixing is important not only for simplifying luminaire optical design but also for avoiding die binning. Optical light mixing may reduce costs by avoiding pulse-width modulation and other patented electronic solutions for dimming and color tuning. This thesis comprises four chapters. Chapters containing the original work of this thesis are preceded by the introductory chapter that addresses basic concepts and definitions of geometrical optics on which nonimaging is developed. It contains fundamentals of nonimaging optics together with the description of its design problems, principles and methods, and with the Simultaneous Multiple Surface (SMS) method standing out for its versatility and ability to control several bundles of rays. Köhler integration and its applications in the field of photovoltaics are described as well. CPV and SSL fields are introduced together with the review on their background and their current status. Chapter 2 and Chapter 3 contain advanced optical designs with primarily application in solar concentration; meanwhile Chapter 4 portrays the free-form V-groove collimator with good color mixing property for illumination application. Chapter 2 describes two HCPV optical concentrators designed with the SMS method in three dimensions (SMS3D). Both concentrators represent Köhler integrator arrays that provide uniform irradiance distribution free from chromatic aberrations on the solar cell. One of the systems is the XXR free-form concentrator designed with the SMS3D method. The primary mirror (X) of this concentrator and secondary lens (R) are divided in four symmetric sectors (folds) that perform Köhler integration; meanwhile the intermediate mirror (X) is rotationally symmetric. Second HCPV concentrator is the Fresnel-RXI (FRXI) with flat Fresnel lens as the Primary Optical Element (POE) and an RXI lens as the Secondary Optical Element (SOE). This architecture manifests 4-fold configuration for performing Köhler integration (4 array units), as well. The RXI lenses are well-known nonimaging devices, but their application as SOE is novel. Both XXR and FRXI Köhler HCPV concentrators are academic examples of very high concentration (more than 2,000x meanwhile conventional systems nowadays have up to 1,000x) prepared for the near future N-junction (N>3) solar cells. In order to have efficient and cost-effective terrestrial CPV systems, those cells will probably require higher concentrations and high spectral irradiance uniformity. Both concentrators are designed by maximizing merit functions: the optical efficiency, concentration-acceptance angle (CAP) and cell-irradiance uniformity free from chromatic aberrations (Köhler integration). Chapter 3 presents the spectrum splitting architecture based on a HCPV module with high concentration (500x) and high acceptance angle (>1º). This module aims to reduce both sources of losses of the actual commercial triple-junction (3J) solar cells with more efficient use of the solar spectrum and with recovering the light reflected from the 3J cells’ grid lines and semiconductor surface. The solar spectrum is used more efficiently due to the combination of a high efficiency 3J concentration cell (GaInP/GaInAs/Ge) and external Back-Point-Contact (BPC) concentration silicon (Si) cell. By employing external confinement techniques, the 3J cell’s reflections are recovered in order to be re-absorbed by the cell. In the proposed concentrator architecture, the 3J cell operates at its optimized current gain (at geometrical concentration of 500x), while the Si cell works near its optimum, as well (135x). The spectrum splitting module consists of a flat Fresnel lens (as the POE), and a free-form RXI-type concentrator with a band-pass filter embedded in it (as the SOE), both POE and SOE performing Köhler integration to produce light homogenization. The band-pass filter sends the IR photons in the 900-1,150nm band to the Si cell. There are several practical aspects of presented module architecture that help reducing the added complexity of the beam splitting systems: the filter and secondary are forming a single solid piece, both cells are coplanar so the heat management and wiring is simplified, etc. Two proof-of-concept prototypes are assembled and tested in order to prove filter manufacturability and performance, as well as the potential of external light recycling technique. Obtained measurement results agree quite well with models and simulations, and show an opened path to manufacturing of the Fresnel RXI-type secondary concentrator with spectrum splitting strategy. Two free-form solid V-groove collimators are presented in Chapter 4. Both free-form collimators are originally designed with the SMS3D method. The second mirrored optically active surface is converted in a grooved surface a posteriori. Initial two mirror (XX) design is presented as a proof-of-concept. Second, RXI free-form design is comparable with existing RXI collimators as it is a highly compact and a highly efficient design. It performs very good color mixing of the RGGB LED sources placed off-axis like in conventional RGB LEDs. Collimators described here improve color mixing property of the prior art rotationally symmetric no-aplanatic RXI devices, and the efficiency of the aplanatic ones, accomplishing both good collimation and good color mixing. Free-form V-groove collimators enhance the no-aplanatic device's blending capabilities by adding aplanatic features to its symmetric counterpart with no loss in efficiency. Big advantage of the RXI design is its potentially lower manufacturing cost, since the process of metallization may be avoided. Although some components are very complicated for shaping, the manufacturing costs are relatively insensitive to the complexity of the mold especially in the case of mass production (such as plastic injection), as the cost of the mold is spread in many parts. Finally, last two sections are conclusions and future lines of investigation.

Methodology of image analysis for study of the vertisols moisture content

The main problem to study vertical drainage from the moisture distribution, on a vertisol profile, is searching for suitable methods using these procedures. Our aim was to design a digital image processing methodology and its analysis to characterize the moisture content distribution of a vertisol profile. In this research, twelve soil pits were excavated on a ba re Mazic Pellic Vertisols ix of them in May 13/2011 and the rest in May 19 /2011 after a moderate rainfall event. Digital RGB images were taken from each vertisol pit using a Kodak? camera selecting a size of 1600x945 pixels. Each soil image was processed to homogenized brightness and then a spatial filter with several window sizes was applied to select the optimum one. The RGB image obtained were divided in each matrix color selecting the best thresholds for each one, maximum and minimum, to be applied and get a digital binary pattern. This one was analyzed by estimating two fractal scaling exponents box counting dimension D BC) and interface fractal dimension (D) In addition, three pre-fractal scaling coefficients were determinate at maximum resolution: total number of boxes intercepting the foreground pattern (A), fractal lacunarity (?1) and Shannon entropy S1). For all the images processed the spatial filter 9x9 was the optimum based on entropy, cluster and histogram criteria. Thresholds for each color were selected based on bimodal histograms.

Advanced background modeling with RGB-D sensors through classifiers combination and inter-frame foreground prediction

An innovative background modeling technique that is able to accurately segment foreground regions in RGB-D imagery (RGB plus depth) has been presented in this paper. The technique is based on a Bayesian framework that efficiently fuses different sources of information to segment the foreground. In particular, the final segmentation is obtained by considering a prediction of the foreground regions, carried out by a novel Bayesian Network with a depth-based dynamic model, and, by considering two independent depth and color-based mixture of Gaussians background models. The efficient Bayesian combination of all these data reduces the noise and uncertainties introduced by the color and depth features and the corresponding models. As a result, more compact segmentations, and refined foreground object silhouettes are obtained. Experimental results with different databases suggest that the proposed technique outperforms existing state-of-the-art algorithms.

Multi-sensor background subtraction by fusing multiple region-based probabilistic classifiers

In the recent years, the computer vision community has shown great interest on depth-based applications thanks to the performance and flexibility of the new generation of RGB-D imagery. In this paper, we present an efficient background subtraction algorithm based on the fusion of multiple region-based classifiers that processes depth and color data provided by RGB-D cameras. Foreground objects are detected by combining a region-based foreground prediction (based on depth data) with different background models (based on a Mixture of Gaussian algorithm) providing color and depth descriptions of the scene at pixel and region level. The information given by these modules is fused in a mixture of experts fashion to improve the foreground detection accuracy. The main contributions of the paper are the region-based models of both background and foreground, built from the depth and color data. The obtained results using different database sequences demonstrate that the proposed approach leads to a higher detection accuracy with respect to existing state-of-the-art techniques.

Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers

Low cost RGB-D cameras such as the Microsoft’s Kinect or the Asus’s Xtion Pro are completely changing the computer vision world, as they are being successfully used in several applications and research areas. Depth data are particularly attractive and suitable for applications based on moving objects detection through foreground/background segmentation approaches; the RGB-D applications proposed in literature employ, in general, state of the art foreground/background segmentation techniques based on the depth information without taking into account the color information. The novel approach that we propose is based on a combination of classifiers that allows improving background subtraction accuracy with respect to state of the art algorithms by jointly considering color and depth data. In particular, the combination of classifiers is based on a weighted average that allows to adaptively modifying the support of each classifier in the ensemble by considering foreground detections in the previous frames and the depth and color edges. In this way, it is possible to reduce false detections due to critical issues that can not be tackled by the individual classifiers such as: shadows and illumination changes, color and depth camouflage, moved background objects and noisy depth measurements. Moreover, we propose, for the best of the author’s knowledge, the first publicly available RGB-D benchmark dataset with hand-labeled ground truth of several challenging scenarios to test background/foreground segmentation algorithms.