Correction of the Colour Variations under Uncontrolled Lighting Conditions

Esta tesis trata sobre métodos de corrección que compensan la variación de las condiciones de iluminación en aplicaciones de imagen y video a color. Estas variaciones hacen que a menudo fallen aquellos algoritmos de visión artificial que utilizan características de color para describir los objetos. Se formulan tres preguntas de investigación que definen el marco de trabajo de esta tesis. La primera cuestión aborda las similitudes que se dan entre las imágenes de superficies adyacentes en relación a su comportamiento fotométrico. En base al análisis del modelo de formación de imágenes en situaciones dinámicas, esta tesis propone un modelo capaz de predecir las variaciones de color de la región de una determinada imagen a partir de las variaciones de las regiones colindantes. Dicho modelo se denomina Quotient Relational Model of Regions. Este modelo es válido cuando: las fuentes de luz iluminan todas las superficies incluídas en él; estas superficies están próximas entre sí y tienen orientaciones similares; y cuando son en su mayoría lambertianas. Bajo ciertas circunstancias, la respuesta fotométrica de una región se puede relacionar con el resto mediante una combinación lineal. No se ha podido encontrar en la literatura científica ningún trabajo previo que proponga este tipo de modelo relacional. La segunda cuestión va un paso más allá y se pregunta si estas similitudes se pueden utilizar para corregir variaciones fotométricas desconocidas en una región también desconocida, a partir de regiones conocidas adyacentes. Para ello, se propone un método llamado Linear Correction Mapping capaz de dar una respuesta afirmativa a esta cuestión bajo las circunstancias caracterizadas previamente. Para calcular los parámetros del modelo se requiere una etapa de entrenamiento previo. El método, que inicialmente funciona para una sola cámara, se amplía para funcionar en arquitecturas con varias cámaras sin solape entre sus campos visuales. Para ello, tan solo se necesitan varias muestras de imágenes del mismo objeto capturadas por todas las cámaras. Además, este método tiene en cuenta tanto las variaciones de iluminación, como los cambios en los parámetros de exposición de las cámaras. Todos los métodos de corrección de imagen fallan cuando la imagen del objeto que tiene que ser corregido está sobreexpuesta o cuando su relación señal a ruido es muy baja. Así, la tercera cuestión se refiere a si se puede establecer un proceso de control de la adquisición que permita obtener una exposición óptima cuando las condiciones de iluminación no están controladas. De este modo, se propone un método denominado Camera Exposure Control capaz de mantener una exposición adecuada siempre y cuando las variaciones de iluminación puedan recogerse dentro del margen dinámico de la cámara. Los métodos propuestos se evaluaron individualmente. La metodología llevada a cabo en los experimentos consistió en, primero, seleccionar algunos escenarios que cubrieran situaciones representativas donde los métodos fueran válidos teóricamente. El Linear Correction Mapping fue validado en tres aplicaciones de re-identificación de objetos (vehículos, caras y personas) que utilizaban como caracterísiticas la distribución de color de éstos. Por otra parte, el Camera Exposure Control se probó en un parking al aire libre. Además de esto, se definieron varios indicadores que permitieron comparar objetivamente los resultados de los métodos propuestos con otros métodos relevantes de corrección y auto exposición referidos en el estado del arte. Los resultados de la evaluación demostraron que los métodos propuestos mejoran los métodos comparados en la mayoría de las situaciones. Basándose en los resultados obtenidos, se puede decir que las respuestas a las preguntas de investigación planteadas son afirmativas, aunque en circunstancias limitadas. Esto quiere decir que, las hipótesis planteadas respecto a la predicción, la corrección basada en ésta y la auto exposición, son factibles en aquellas situaciones identificadas a lo largo de la tesis pero que, sin embargo, no se puede garantizar que se cumplan de manera general. Por otra parte, se señalan como trabajo de investigación futuro algunas cuestiones nuevas y retos científicos que aparecen a partir del trabajo presentado en esta tesis. ABSTRACT This thesis discusses the correction methods used to compensate the variation of lighting conditions in colour image and video applications. These variations are such that Computer Vision algorithms that use colour features to describe objects mostly fail. Three research questions are formulated that define the framework of the thesis. The first question addresses the similarities of the photometric behaviour between images of dissimilar adjacent surfaces. Based on the analysis of the image formation model in dynamic situations, this thesis proposes a model that predicts the colour variations of the region of an image from the variations of the surrounded regions. This proposed model is called the Quotient Relational Model of Regions. This model is valid when the light sources illuminate all of the surfaces included in the model; these surfaces are placed close each other, have similar orientations, and are primarily Lambertian. Under certain circumstances, a linear combination is established between the photometric responses of the regions. Previous work that proposed such a relational model was not found in the scientific literature. The second question examines whether those similarities could be used to correct the unknown photometric variations in an unknown region from the known adjacent regions. A method is proposed, called Linear Correction Mapping, which is capable of providing an affirmative answer under the circumstances previously characterised. A training stage is required to determine the parameters of the model. The method for single camera scenarios is extended to cover non-overlapping multi-camera architectures. To this extent, only several image samples of the same object acquired by all of the cameras are required. Furthermore, both the light variations and the changes in the camera exposure settings are covered by correction mapping. Every image correction method is unsuccessful when the image of the object to be corrected is overexposed or the signal-to-noise ratio is very low. Thus, the third question refers to the control of the acquisition process to obtain an optimal exposure in uncontrolled light conditions. A Camera Exposure Control method is proposed that is capable of holding a suitable exposure provided that the light variations can be collected within the dynamic range of the camera. Each one of the proposed methods was evaluated individually. The methodology of the experiments consisted of first selecting some scenarios that cover the representative situations for which the methods are theoretically valid. Linear Correction Mapping was validated using three object re-identification applications (vehicles, faces and persons) based on the object colour distributions. Camera Exposure Control was proved in an outdoor parking scenario. In addition, several performance indicators were defined to objectively compare the results with other relevant state of the art correction and auto-exposure methods. The results of the evaluation demonstrated that the proposed methods outperform the compared ones in the most situations. Based on the obtained results, the answers to the above-described research questions are affirmative in limited circumstances, that is, the hypothesis of the forecasting, the correction based on it, and the auto exposure are feasible in the situations identified in the thesis, although they cannot be guaranteed in general. Furthermore, the presented work raises new questions and scientific challenges, which are highlighted as future research work.

Identificación de áreas prioritarias para la conservación de razas de maíz en la sierra de Ecuador

En Ecuador el maíz es el cultivo más importante en superficie y es base de la alimentación para la población rural que vive en los Andes. A diferencia de lo que sucede en la Costa, en la región Sierra todavía se cultivan numerosas variedades tradicionales que se agrupan en veinticuatro razas. Mantener esta diversidad es, pues, de gran importancia no solo para la seguridad alimentaria, sino también como fuente de genes para tolerancia a factores abióticos que podrían ser incorporados a las variedades modernas. Si bien parte de esta diversidad fue recolectada a mediados del siglo pasado y está siendo conservada en distintos bancos de germoplasma, es deseable que su conservación in situ también esté asegurada, entre otras razones, porque de esta manera el cultivo puede seguir evolucionando. Para poder implementar un plan de conservación en finca que contribuya a preservar este patrimonio, resulta imprescindible identificar áreas idóneas donde concentrar los recursos y conocer las características y tipologías de los agricultores que manejan la diversidad actual. Generar esta información es el objetivo principal de esta investigación y para lograrlo se han llevado a cabo cuatro estudios: (1) Análisis de la diversidad a nivel de razas e identificación de áreas de alta riqueza de razas, alta diversidad morfológica y/o alta diversidad ecogeográfica en la Sierra de Ecuador, (2) Identificación del perfil y las características de los agricultores que conservan y manejan las variedades tradicionales de maíz en la Sierra de Ecuador, (3) Análisis del conocimiento local, manejo y usos de variedades tradicionales de maíz en la Sierra de Ecuador, y (4) Identificación de áreas de alta diversidad y bajo riesgo de pérdida para la conservación en finca de maíz en la Sierra de Ecuador. Para el primer estudio se visitaron 303 fincas distribuidas a lo largo de la Sierra y se recolectaron 636 muestras que fueron caracterizadas morfológicamente mediante 14 variables: 8 relacionadas con la mazorca (forma, longitud y diámetro de la mazorca, color y diámetro de olote y número y disposición de hileras) y 7 referidas el grano (número total de granos, color, forma, longitud, anchura y grosor de grano y tipo de endospermo). Adicionalmente, las fincas donde se tomaron las muestras fueron caracterizadas ecogeográficamente mediante 5 variables climáticas (temperatura media estacional, rango de temperatura media anual, temperatura mínima de diciembre, precipitación estacional y precipitación de octubre), 2 geofísicas (altitud y pendiente) y 5 edáficas (textura principal del suelo, profundidad a roca, pH, contenido en materia orgánica y fertilidad). A partir de esta información y mediante técnicas de sistemas de información geográfica (SIG), se generaron mapas de distribución por raza en formato vectorial y un mapa de riqueza de razas, un mapa de diversidad morfológica y un mapa de diversidad ecogeográfica en formato ráster con celdas de 10 km x 10 km. Los resultados permitieron constatar que, en los últimos 60 años, no se ha perdido ninguna raza. Sin embargo, Canguil, Chaucho y Clavito han dejado de cultivarse en algunas provincias con la consiguiente erosión genética del cultivo. La caracterización morfológica detectó diferencias en el grado de variabilidad intra-raza, siendo Patillo Ecuatoriano, Racimo de Uva y Uchima las razas más heterogéneas tanto para los caracteres cualitativos como cuantitativos. A nivel climático y geofísico, también se detectaron diferencias en el grado de variación intra-raza; Cuzco Ecuatoriano, Kcello Ecuatoriano y Montaña Ecuatoriana fueron las razas que en promedio presentaron mayores rangos y coeficientes de variación para estas variables ecogeográficas. En cuanto a las condiciones edáficas todas las razas, excepto Cónico Dentado, presentaron una gran heterogeneidad, pudiendo crecer tanto en suelos ricos como pobres, con valores de pH entre ácido y moderadamente alcalino. La comparación entre razas reveló diferencias significativas en los rangos ambientales de algunas razas como Cónico Dentado, que tiende a cultivarse a menor altitud y, por tanto, en ambientes menos fríos y de mayor precipitación que Blanco Blandito, Patillo Ecuatoriano, Sabanero Ecuatoriano, Uchima y Zhima. Para la mayoría de las razas se encontraron materiales potencialmente adaptados a condiciones de estrés (precipitación estacional inferior a 500 mm y suelos con pH entre 4.5 y 5.5). Finalmente, los mapas de riqueza, de diversidad morfológica y de diversidad ecogeográfica mostraron 36 celdas de alta diversidad repartidas en las 10 provincias de la Sierra: 11 celdas en las provincias del norte, 11 en las provincias del centro y 14 en las provincias del sur. Para la caracterización e identificación de las tipologías de los agricultores que cultivan maíz en la Sierra de Ecuador y el análisis de los posibles factores de riesgo de pérdida de diversidad, se realizaron entrevistas individuales y semiestructuradas a los agricultores dueños de las fincas donde se recolectaron las muestras para el estudio de diversidad (254 en total). Las preguntas que se formularon (11 abiertas y 5 cerradas) estuvieron organizadas en seis bloques: datos del agricultor, características de la finca, diversidad y conocimiento del cultivo, manejo del cultivo, usos y flujo de semillas. Los resultados indicaron que la diversidad de maíz que hay en la Sierra de Ecuador es manejada mayoritariamente por agricultores mestizos, de entre 30 y 55 años, que cultivan una o dos variedades tradicionales para autoconsumo, en parcelas de menos de 0.5 ha y en asocio con fréjol. El análisis de segmentación mediante el algoritmo Chi-square automatic interaction detection (CHAID) permitió identificar un pequeño grupo de agricultores indígenas con parcelas medianas (entre 0.5 ha y 1.5 ha) que conservan un mayor número de variedades tradicionales por finca que el agricultor promedio. Los análisis estadísticos no detectaron diferencias significativas entre etnias (mestizo vs. indígena), géneros (hombre vs. mujer) y grupos de edad (jóvenes menores de 30 años, adultos entre 30 y 55 años y adultos mayores de 55 años) en lo que respecta al conocimiento del cultivo (criterios de reconocimiento y razones de preferencia) y manejo (tipo de cultivo), pero sí detectaron diferencias entre regiones, principalmente en el modo de cultivar el maíz; mientras que en el norte y sur tienden a sembrarlo en asocio y con un mayor número de especies, en el centro acostumbran a cultivarlo preferentemente solo. En cuanto a los usos, se recopilaron hasta 39 modos diferentes de consumir maíz, siendo Kcello Ecuatoriano y Zhima las razas para las que se registró un mayor número de usos. La comparación del número medio de usos por variedad entre etnias evidenció que los agricultores mestizos utilizan sus variedades tradicionales de forma más variada que los indígenas. Entre los factores de riesgo que se analizaron, el bajo porcentaje de jóvenes agricultores que se ocupan de las fincas podría suponer una amenaza a medio plazo por falta de relevo generacional. Adicionalmente, las numerosas sinonimias y homonimias que se detectaron y el bajo intercambio de semillas también podrían ser causa de pérdida de diversidad, bien por reemplazo o por envejecimiento de la semilla. Finalmente, se concluyó que las razas Chaucho, Complejo Chillo-Huandango, Complejo Mishca-Huandango, Cónico Dentado, Montaña Ecuatoriana y Sabanero Ecuatoriano son particularmente vulnerables, no solo por su baja presencia, sino también por el color de grano que tienen (los mismos que la mayoría de las razas más comunes) y carecer de nombres y usos específicos. Finalmente, para la priorización de áreas de conservación en finca para maíz en la Sierra de Ecuador, se utilizaron 13 criterios de diferente naturaleza: 2 ecogeográficos (precipitación, diversidad ecogeográfica), 6 biológicos (grado de presencia del cultivo, riqueza de razas, diversidad morfológica, presencia de mezclas, presencia de razas locales y riesgo de erosión genética), 3 culturales (abundancia de variedades por finca, diversidad de usos y frecuencia de intercambio) y 2 demográficos (tamaño de la población y distancia a núcleos urbanos). Mediante técnicas SIG y de evaluación multicriterio, los valores originales de las capas-criterio fueron transformados a una escala de 0 a 100. Posteriormente, las capas-criterio normalizadas fueron sumadas utilizando tres métodos de ponderación: (1) mismo peso, (2) diferente peso según la puntuación otorgada por 72 expertos, y (3) diferente peso según el método de comparación entre pares de criterios. Los resultados permitieron identificar ocho celdas de 10 km x 10 km con alta puntuación (> 65): tres celdas en el norte (una en cada una de las provincias), una celda en el centro (en la provincia de Cotopaxi), y cuatro celdas en la región sur (dos en Azuay y otras dos en Loja). ABSTRACT In Ecuador, the maize is the most important cultivation in surface and it is a base of the feeding for the rural population who lives in the Andes. In contrast to what it happens on the Coast, in the Sierra region still there are cultivated numerous traditional varieties that are grouped into twenty-four races. Maintaining this diversity is, therefore, of great importance not only for food security, but also as a source of genes for tolerance to abiotic factors could be incorporated into modern varieties. Although part of this diversity was collected in the middle of the last century and is still preserved in various germplasm banks, it is desirable for the in situ conservation also is assured, among other reasons, because in this way the crop can continue to evolve. To be able to implement a conservation plan on farm that contribute to preserving this heritage, it is essential to identify suitable areas where to concentrate resources and know the characteristics and typology of farmer who managed the current diversity. To generate this information is the main target of this investigation and to achieve this, four studies have been carried out: (1) Analysis of the diversity at races and identification of areas of high richness of races, high morphological diversity and / or ecogeographical high diversity in the Sierra of Ecuador, (2) Identification of the profile and characteristics of farmers who conserve and manage traditional varieties of maize in the Sierra of Ecuador, (3) Analysis of local knowledge, management and use of traditional varieties of maize in the Sierra of Ecuador, and (4) Identification of areas of high diversity and low risk of loss for the conservation of maize in the Sierra of Ecuador. For the first study were visited 303 farms distributed along the Sierra and collected 636 samples that were characterized morphologically by 14 variables: 8 related to the ear (shape, length and diameter of the cob, colour, and diameter of cob and number and arrangement of rows) and 7 referred to the grain (total number of grain, colour, shape, length, width, and thickness and type of grain endosperm). In addition, the farms where the samples were taken were characterized ecogeographically through 5 climatic variables (seasonal average temperature, range of average annual temperature, minimum temperature for December, seasonal precipitation and precipitation of October), 2 geophysical (altitude and slope) and edaphic 5 (main texture of the soil, deep rock, pH, content of organic matter and fertility). From this information and techniques of geographic information systems (GIS), maps were generated for distribution by race in vector format and a map of richness of races, a map of morphological diversity and a map of ecogeographical diversity in raster format with cells of 10 km x 10 km. The results allowed observing that, over the past 60 years, it has not lost any race. Nevertheless, Canguil, Chaucho and Clavito have stopped being cultivated in some provinces with the consequent genetic erosion of the cultivation. The morphological characterization detected differences in the degree of variability intra-race, being Patillo Ecuatoriano, Racimo de Uva and Uchima races more heterogeneous both for the qualitative and quantitative characters. At climate and geophysical level, also detected differences in the degree of variation intra-race; Cuzco Ecuatoriano, Kcello Ecuatoriano and Montaña Ecuatoriana were races that, on average, showed higher ranges and coefficients of variation for these geographical characters. In terms of the edaphic conditions, all races, except Cónico Dentado, showed a great heterogeneity, and can grow both in rich and poor soils, with pH values between acid and moderately alkaline. The comparison between races revealed significant differences in the environmental ranges in some races as Cónico Dentado, which tends to be grown at lower elevations and, therefore, in environments less cold and greater precipitation than Blanco Blandito, Patillo Ecuatoriano, Sabanero Ecuatoriano, Uchima and Zhima. For most of the races were found materials potentially adapted to stress conditions (seasonal precipitation less than 500 mm and soil with a pH between 4.5 and 5.5). Finally, the maps of richness, morphologic diversity and ecogeographical diversity showed 36 cells high diversity distributed in 10 provinces of the Sierra: 11 cells in the northern provinces, 11 in the central provinces and 14 in the southern provinces. For the characterization and identification of the typology of the farmers who cultivate corn in the Sierra of Ecuador and the analysis of the possible factors of risk of loss of diversity, there were realized interviews individual and semistructured to the farmers’ owners of the farms where the samples were gathered for the study of diversity (254 in whole). The questions that were formulated (11 opened ones and 5 closed ones) were organized in six blocks: data of the farmer, characteristics of the farm, diversity and knowledge of the crop, crop management, uses and seed flow. The results indicated that the maize diversity that exist in the Sierra of Ecuador is managed mainly by mestizo farmers, aged between 30 and 55, who cultivate one or two traditional varieties for self-consumption, on plots of less than 0.5 has and in associated with beans. The segmentation analysis algorithm using the Chi-square automatic interaction detection (CHAID technique), allowed to identify a small group of indigenous farmers with medium-sized plots (between 0.5 there is and 1.5 it is) that a major number of traditional varieties preserves for farm that the average farmer. The statistical analysis did not detect significant differences between ethnic groups (mestizos vs. indigenous), genres (man vs. women) and age groups (young people under 30 years of age, adults between 30 and 55 years and adults over 55 years old) in regards to the knowledge of the cultivation (recognition criteria and reasons of preference) and management (type of crop), but if detected differences between regions, mainly on the mode of cultivating the maize; while in the north and south they tend to sow in associate and with a greater number of species, in the center accustomed to cultivate it preferably only. In regards to the uses, they were compiled up to 39 different ways of consuming maize, being Kcello Ecuatoriano and Zhima the races for which a major number of uses registered. The comparison of the average number of uses per variety between ethnic groups showed that the mestizo farmers used their traditional varieties of form more varied than the indigenous people. Between the factors of risk that were analyzed, the low percentage of young farmers who deal with the farms might suppose a medium-term threat for lack of generational relief. In addition, the numerous synonyms and homonyms that were detected and the low seed exchange could also be a cause of loss of diversity, either by replacement or by aging of the seed. Finally, it was concluded that the races Chaucho, Complex Chillo-Huandango, Complex Mishca-Huandango, Cónico Dentado, Montaña Ecuatoriana and Sabanero Ecuatoriano are particularly vulnerable, not only because of their low presence, but also by the grain color they have (the same as the majority of races more common) and lack of names and specific uses. Finally, for the prioritization of maize conservation areas on farm in the Sierra of Ecuador, used 13 criteria of different nature: 2 ecogeographic (precipitation, diversity ecogeographical), 6 biological (degree of presence of the crop, races richness, morphological diversity, the presence of mixtures, presence of local races and risk of genetic erosion), 3 cultural (abundance of varieties per farm, diversity of uses and frequency of exchange) and 2 demographic (population size and distance to urban centers). Using GIS techniques and multicriteria evaluation, the original values of the layers-criterion were transformed to a scale of 0 to 100. Later, the normalized layers - criteria were added using three weighting methods: (1) the same weight, (2) different weight according to the score given by 72 experts, and (3) different weight according to the method of comparison between pairs of criteria. The results allowed to identify eight 10 km cells x 10 km with high punctuation (> 65): three cells in the north (one in each of the provinces), a cell in the center (in the Cotopaxi province), and four cells in the south region (two in Azuay and other two in Loja).

Improving parameters selection of a seeded region growing method for multiband image segmentation

In the last decade, Object Based Image Analysis (OBIA) has been accepted as an effective method for processing high spatial resolution multiband images. This image analysis method is an approach that starts with the segmentation of the image. Image segmentation in general is a procedure to partition an image into homogenous groups (segments). In practice, visual interpretation is often used to assess the quality of segmentation and the analysis relies on the experience of an analyst. In an effort to address the issue, in this study, we evaluate several seed selection strategies for an automatic image segmentation methodology based on a seeded region growing-merging approach. In order to evaluate the segmentation quality, segments were subjected to spatial autocorrelation analysis using Moran's I index and intra-segment variance analysis. We apply the algorithm to image segmentation using an aerial multiband image.

Radar track segmentation with cubic splines for collision risk models in high density terminal areas

This paper presents a method to segment airplane radar tracks in high density terminal areas where the air traffic follows trajectories with several changes in heading, speed and altitude. The radar tracks are modelled with different types of segments, straight lines, cubic spline function and shape preserving cubic function. The longitudinal, lateral and vertical deviations are calculated for terminal manoeuvring area scenarios. The most promising model of the radar tracks resulted from a mixed interpolation using straight lines for linear segments and spline cubic functions for curved segments. A sensitivity analysis is used to optimise the size of the window for the segmentation process.

High-quality region-based foreground segmentation using a spatial grid of SVM classifiers

This paper presents a novel background modeling system that uses a spatial grid of Support Vector Machines classifiers for segmenting moving objects, which is a key step in many video-based consumer applications. The system is able to adapt to a large range of dynamic background situations since no parametric model or statistical distribution are assumed. This is achieved by using a different classifier per image region that learns the specific appearance of that scene region and its variations (illumination changes, dynamic backgrounds, etc.). The proposed system has been tested with a recent public database, outperforming other state-of-the-art algorithms.

Foreground segmentation in depth imagery using depth and spatial dynamic models for video surveillance applications

Low-cost systems that can obtain a high-quality foreground segmentation almostindependently of the existing illumination conditions for indoor environments are verydesirable, especially for security and surveillance applications. In this paper, a novelforeground segmentation algorithm that uses only a Kinect depth sensor is proposedto satisfy the aforementioned system characteristics. This is achieved by combininga mixture of Gaussians-based background subtraction algorithm with a new Bayesiannetwork that robustly predicts the foreground/background regions between consecutivetime steps. The Bayesian network explicitly exploits the intrinsic characteristics ofthe depth data by means of two dynamic models that estimate the spatial and depthevolution of the foreground/background regions. The most remarkable contribution is thedepth-based dynamic model that predicts the changes in the foreground depth distributionbetween consecutive time steps. This is a key difference with regard to visible imagery,where the color/gray distribution of the foreground is typically assumed to be constant.Experiments carried out on two different depth-based databases demonstrate that theproposed combination of algorithms is able to obtain a more accurate segmentation of theforeground/background than other state-of-the art approaches.

Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers

Low cost RGB-D cameras such as the Microsoft’s Kinect or the Asus’s Xtion Pro are completely changing the computer vision world, as they are being successfully used in several applications and research areas. Depth data are particularly attractive and suitable for applications based on moving objects detection through foreground/background segmentation approaches; the RGB-D applications proposed in literature employ, in general, state of the art foreground/background segmentation techniques based on the depth information without taking into account the color information. The novel approach that we propose is based on a combination of classifiers that allows improving background subtraction accuracy with respect to state of the art algorithms by jointly considering color and depth data. In particular, the combination of classifiers is based on a weighted average that allows to adaptively modifying the support of each classifier in the ensemble by considering foreground detections in the previous frames and the depth and color edges. In this way, it is possible to reduce false detections due to critical issues that can not be tackled by the individual classifiers such as: shadows and illumination changes, color and depth camouflage, moved background objects and noisy depth measurements. Moreover, we propose, for the best of the author’s knowledge, the first publicly available RGB-D benchmark dataset with hand-labeled ground truth of several challenging scenarios to test background/foreground segmentation algorithms.

A comparison of open-source segmentation architectures for dealing with imperfect data from the media in speech synthesis

Traditional Text-To-Speech (TTS) systems have been developed using especially-designed non-expressive scripted recordings. In order to develop a new generation of expressive TTS systems in the Simple4All project, real recordings from the media should be used for training new voices with a whole new range of speaking styles. However, for processing this more spontaneous material, the new systems must be able to deal with imperfect data (multi-speaker recordings, background and foreground music and noise), filtering out low-quality audio segments and creating mono-speaker clusters. In this paper we compare several architectures for combining speaker diarization and music and noise detection which improve the precision and overall quality of the segmentation.

Pulmonary Artery-Vein Segmentation in Real and Synthetic CT Images = Segmentación Arteria-Vena Pulmonares en Imágenes de CT Reales y Sintéticas

La tomografía axial computerizada (TAC) es la modalidad de imagen médica preferente para el estudio de enfermedades pulmonares y el análisis de su vasculatura. La segmentación general de vasos en pulmón ha sido abordada en profundidad a lo largo de los últimos años por la comunidad científica que trabaja en el campo de procesamiento de imagen; sin embargo, la diferenciación entre irrigaciones arterial y venosa es aún un problema abierto. De hecho, la separación automática de arterias y venas está considerado como uno de los grandes retos futuros del procesamiento de imágenes biomédicas. La segmentación arteria-vena (AV) permitiría el estudio de ambas irrigaciones por separado, lo cual tendría importantes consecuencias en diferentes escenarios médicos y múltiples enfermedades pulmonares o estados patológicos. Características como la densidad, geometría, topología y tamaño de los vasos sanguíneos podrían ser analizados en enfermedades que conllevan remodelación de la vasculatura pulmonar, haciendo incluso posible el descubrimiento de nuevos biomarcadores específicos que aún hoy en dípermanecen ocultos. Esta diferenciación entre arterias y venas también podría ayudar a la mejora y el desarrollo de métodos de procesamiento de las distintas estructuras pulmonares. Sin embargo, el estudio del efecto de las enfermedades en los árboles arterial y venoso ha sido inviable hasta ahora a pesar de su indudable utilidad. La extrema complejidad de los árboles vasculares del pulmón hace inabordable una separación manual de ambas estructuras en un tiempo realista, fomentando aún más la necesidad de diseñar herramientas automáticas o semiautomáticas para tal objetivo. Pero la ausencia de casos correctamente segmentados y etiquetados conlleva múltiples limitaciones en el desarrollo de sistemas de separación AV, en los cuales son necesarias imágenes de referencia tanto para entrenar como para validar los algoritmos. Por ello, el diseño de imágenes sintéticas de TAC pulmonar podría superar estas dificultades ofreciendo la posibilidad de acceso a una base de datos de casos pseudoreales bajo un entorno restringido y controlado donde cada parte de la imagen (incluyendo arterias y venas) está unívocamente diferenciada. En esta Tesis Doctoral abordamos ambos problemas, los cuales están fuertemente interrelacionados. Primero se describe el diseño de una estrategia para generar, automáticamente, fantomas computacionales de TAC de pulmón en humanos. Partiendo de conocimientos a priori, tanto biológicos como de características de imagen de CT, acerca de la topología y relación entre las distintas estructuras pulmonares, el sistema desarrollado es capaz de generar vías aéreas, arterias y venas pulmonares sintéticas usando métodos de crecimiento iterativo, que posteriormente se unen para formar un pulmón simulado con características realistas. Estos casos sintéticos, junto a imágenes reales de TAC sin contraste, han sido usados en el desarrollo de un método completamente automático de segmentación/separación AV. La estrategia comprende una primera extracción genérica de vasos pulmonares usando partículas espacio-escala, y una posterior clasificación AV de tales partículas mediante el uso de Graph-Cuts (GC) basados en la similitud con arteria o vena (obtenida con algoritmos de aprendizaje automático) y la inclusión de información de conectividad entre partículas. La validación de los fantomas pulmonares se ha llevado a cabo mediante inspección visual y medidas cuantitativas relacionadas con las distribuciones de intensidad, dispersión de estructuras y relación entre arterias y vías aéreas, los cuales muestran una buena correspondencia entre los pulmones reales y los generados sintéticamente. La evaluación del algoritmo de segmentación AV está basada en distintas estrategias de comprobación de la exactitud en la clasificación de vasos, las cuales revelan una adecuada diferenciación entre arterias y venas tanto en los casos reales como en los sintéticos, abriendo así un amplio abanico de posibilidades en el estudio clínico de enfermedades cardiopulmonares y en el desarrollo de metodologías y nuevos algoritmos para el análisis de imágenes pulmonares. ABSTRACT Computed tomography (CT) is the reference image modality for the study of lung diseases and pulmonary vasculature. Lung vessel segmentation has been widely explored by the biomedical image processing community, however, differentiation of arterial from venous irrigations is still an open problem. Indeed, automatic separation of arterial and venous trees has been considered during last years as one of the main future challenges in the field. Artery-Vein (AV) segmentation would be useful in different medical scenarios and multiple pulmonary diseases or pathological states, allowing the study of arterial and venous irrigations separately. Features such as density, geometry, topology and size of vessels could be analyzed in diseases that imply vasculature remodeling, making even possible the discovery of new specific biomarkers that remain hidden nowadays. Differentiation between arteries and veins could also enhance or improve methods processing pulmonary structures. Nevertheless, AV segmentation has been unfeasible until now in clinical routine despite its objective usefulness. The huge complexity of pulmonary vascular trees makes a manual segmentation of both structures unfeasible in realistic time, encouraging the design of automatic or semiautomatic tools to perform the task. However, this lack of proper labeled cases seriously limits in the development of AV segmentation systems, where reference standards are necessary in both algorithm training and validation stages. For that reason, the design of synthetic CT images of the lung could overcome these difficulties by providing a database of pseudorealistic cases in a constrained and controlled scenario where each part of the image (including arteries and veins) is differentiated unequivocally. In this Ph.D. Thesis we address both interrelated problems. First, the design of a complete framework to automatically generate computational CT phantoms of the human lung is described. Starting from biological and imagebased knowledge about the topology and relationships between structures, the system is able to generate synthetic pulmonary arteries, veins, and airways using iterative growth methods that can be merged into a final simulated lung with realistic features. These synthetic cases, together with labeled real CT datasets, have been used as reference for the development of a fully automatic pulmonary AV segmentation/separation method. The approach comprises a vessel extraction stage using scale-space particles and their posterior artery-vein classification using Graph-Cuts (GC) based on arterial/venous similarity scores obtained with a Machine Learning (ML) pre-classification step and particle connectivity information. Validation of pulmonary phantoms from visual examination and quantitative measurements of intensity distributions, dispersion of structures and relationships between pulmonary air and blood flow systems, show good correspondence between real and synthetic lungs. The evaluation of the Artery-Vein (AV) segmentation algorithm, based on different strategies to assess the accuracy of vessel particles classification, reveal accurate differentiation between arteries and vein in both real and synthetic cases that open a huge range of possibilities in the clinical study of cardiopulmonary diseases and the development of methodological approaches for the analysis of pulmonary images.

Methods and Techniques for Segmentation of Consumers in Social Media

Los medios sociales han revolucionado la manera en la que los consumidores se relacionan entre sí y con las marcas. Las opiniones publicadas en dichos medios tienen un poder de influencia en las decisiones de compra tan importante como las campañas de publicidad. En consecuencia, los profesionales del marketing cada vez dedican mayores esfuerzos e inversión a la obtención de indicadores que permitan medir el estado de salud de las marcas a partir de los contenidos digitales generados por sus consumidores. Dada la naturaleza no estructurada de los contenidos publicados en los medios sociales, la tecnología usada para procesar dichos contenidos ha menudo implementa técnicas de Inteligencia Artificial, tales como algoritmos de procesamiento de lenguaje natural, aprendizaje automático y análisis semántico. Esta tesis, contribuye al estado de la cuestión, con un modelo que permite estructurar e integrar la información publicada en medios sociales, y una serie de técnicas cuyos objetivos son la identificación de consumidores, así como la segmentación psicográfica y sociodemográfica de los mismos. La técnica de identificación de consumidores se basa en la huella digital de los dispositivos que utilizan para navegar por la Web y es tolerante a los cambios que se producen con frecuencia en dicha huella digital. Las técnicas de segmentación psicográfica descritas obtienen la posición en el embudo de compra de los consumidores y permiten clasificar las opiniones en función de una serie de atributos de marketing. Finalmente, las técnicas de segmentación sociodemográfica permiten obtener el lugar de residencia y el género de los consumidores. ABSTRACT Social media has revolutionised the way in which consumers relate to each other and with brands. The opinions published in social media have a power of influencing purchase decisions as important as advertising campaigns. Consequently, marketers are increasing efforts and investments for obtaining indicators to measure brand health from the digital content generated by consumers. Given the unstructured nature of social media contents, the technology used for processing such contents often implements Artificial Intelligence techniques, such as natural language processing, machine learning and semantic analysis algorithms. This thesis contributes to the State of the Art, with a model for structuring and integrating the information posted on social media, and a number of techniques whose objectives are the identification of consumers, as well as their socio-demographic and psychographic segmentation. The consumer identification technique is based on the fingerprint of the devices they use to surf the Web and is tolerant to the changes that occur frequently in such fingerprint. The psychographic profiling techniques described infer the position of consumer in the purchase funnel, and allow to classify the opinions based on a series of marketing attributes. Finally, the socio-demographic profiling techniques allow to obtain the residence and gender of consumers.

Seamless, Static Multi-Texturing of 3D Meshes

In the context of 3D reconstruction, we present a static multi-texturing system yielding a seamless texture atlas calculated by combining the colour information from several photos from the same subject covering most of its surface. These pictures can be provided by shooting just one camera several times when reconstructing a static object, or a set of synchronized cameras, when dealing with a human or any other moving object. We suppress the colour seams due to image misalignments and irregular lighting conditions that multi-texturing approaches typically suffer from, while minimizing the blurring effect introduced by colour blending techniques. Our system is robust enough to compensate for the almost inevitable inaccuracies of 3D meshes obtained with visual hull–based techniques: errors in silhouette segmentation, inherently bad handling of concavities, etc.

Automatic segmentation of rivers as a tool for assessing river responses. Case study: the Porma and Curueño rivers, nw Spain.

Automatic segmentation using univariate and multivariate techniques provides more objective and efficient segmentations of the river systems (Alber & Piégay, 2011) and can be complementary to the expert criteria traditionally used (Brenden et al., 2008) INTEREST: A powerful tool to objectively segment the continuity of rivers, which is required for diagnosing problems associated to human impacts OBJECTIVE: To evaluate the potentiality of univariate and multivariate methods in the assessment of river adjustments produced by flow regulation

Instrumental Colour Evaluation and Visual Consumer Study of Commercial Beverages Made with Fruit Juice and Milk

Análisis del color de bebidas formuladas con leche y frutas mediante análisis de imagen y estudio de la aceptación del color por los consumidores