Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers

Low cost RGB-D cameras such as the Microsoft’s Kinect or the Asus’s Xtion Pro are completely changing the computer vision world, as they are being successfully used in several applications and research areas. Depth data are particularly attractive and suitable for applications based on moving objects detection through foreground/background segmentation approaches; the RGB-D applications proposed in literature employ, in general, state of the art foreground/background segmentation techniques based on the depth information without taking into account the color information. The novel approach that we propose is based on a combination of classifiers that allows improving background subtraction accuracy with respect to state of the art algorithms by jointly considering color and depth data. In particular, the combination of classifiers is based on a weighted average that allows to adaptively modifying the support of each classifier in the ensemble by considering foreground detections in the previous frames and the depth and color edges. In this way, it is possible to reduce false detections due to critical issues that can not be tackled by the individual classifiers such as: shadows and illumination changes, color and depth camouflage, moved background objects and noisy depth measurements. Moreover, we propose, for the best of the author’s knowledge, the first publicly available RGB-D benchmark dataset with hand-labeled ground truth of several challenging scenarios to test background/foreground segmentation algorithms.

A comparison of open-source segmentation architectures for dealing with imperfect data from the media in speech synthesis

Traditional Text-To-Speech (TTS) systems have been developed using especially-designed non-expressive scripted recordings. In order to develop a new generation of expressive TTS systems in the Simple4All project, real recordings from the media should be used for training new voices with a whole new range of speaking styles. However, for processing this more spontaneous material, the new systems must be able to deal with imperfect data (multi-speaker recordings, background and foreground music and noise), filtering out low-quality audio segments and creating mono-speaker clusters. In this paper we compare several architectures for combining speaker diarization and music and noise detection which improve the precision and overall quality of the segmentation.

Pulmonary Artery-Vein Segmentation in Real and Synthetic CT Images = Segmentación Arteria-Vena Pulmonares en Imágenes de CT Reales y Sintéticas

La tomografía axial computerizada (TAC) es la modalidad de imagen médica preferente para el estudio de enfermedades pulmonares y el análisis de su vasculatura. La segmentación general de vasos en pulmón ha sido abordada en profundidad a lo largo de los últimos años por la comunidad científica que trabaja en el campo de procesamiento de imagen; sin embargo, la diferenciación entre irrigaciones arterial y venosa es aún un problema abierto. De hecho, la separación automática de arterias y venas está considerado como uno de los grandes retos futuros del procesamiento de imágenes biomédicas. La segmentación arteria-vena (AV) permitiría el estudio de ambas irrigaciones por separado, lo cual tendría importantes consecuencias en diferentes escenarios médicos y múltiples enfermedades pulmonares o estados patológicos. Características como la densidad, geometría, topología y tamaño de los vasos sanguíneos podrían ser analizados en enfermedades que conllevan remodelación de la vasculatura pulmonar, haciendo incluso posible el descubrimiento de nuevos biomarcadores específicos que aún hoy en dípermanecen ocultos. Esta diferenciación entre arterias y venas también podría ayudar a la mejora y el desarrollo de métodos de procesamiento de las distintas estructuras pulmonares. Sin embargo, el estudio del efecto de las enfermedades en los árboles arterial y venoso ha sido inviable hasta ahora a pesar de su indudable utilidad. La extrema complejidad de los árboles vasculares del pulmón hace inabordable una separación manual de ambas estructuras en un tiempo realista, fomentando aún más la necesidad de diseñar herramientas automáticas o semiautomáticas para tal objetivo. Pero la ausencia de casos correctamente segmentados y etiquetados conlleva múltiples limitaciones en el desarrollo de sistemas de separación AV, en los cuales son necesarias imágenes de referencia tanto para entrenar como para validar los algoritmos. Por ello, el diseño de imágenes sintéticas de TAC pulmonar podría superar estas dificultades ofreciendo la posibilidad de acceso a una base de datos de casos pseudoreales bajo un entorno restringido y controlado donde cada parte de la imagen (incluyendo arterias y venas) está unívocamente diferenciada. En esta Tesis Doctoral abordamos ambos problemas, los cuales están fuertemente interrelacionados. Primero se describe el diseño de una estrategia para generar, automáticamente, fantomas computacionales de TAC de pulmón en humanos. Partiendo de conocimientos a priori, tanto biológicos como de características de imagen de CT, acerca de la topología y relación entre las distintas estructuras pulmonares, el sistema desarrollado es capaz de generar vías aéreas, arterias y venas pulmonares sintéticas usando métodos de crecimiento iterativo, que posteriormente se unen para formar un pulmón simulado con características realistas. Estos casos sintéticos, junto a imágenes reales de TAC sin contraste, han sido usados en el desarrollo de un método completamente automático de segmentación/separación AV. La estrategia comprende una primera extracción genérica de vasos pulmonares usando partículas espacio-escala, y una posterior clasificación AV de tales partículas mediante el uso de Graph-Cuts (GC) basados en la similitud con arteria o vena (obtenida con algoritmos de aprendizaje automático) y la inclusión de información de conectividad entre partículas. La validación de los fantomas pulmonares se ha llevado a cabo mediante inspección visual y medidas cuantitativas relacionadas con las distribuciones de intensidad, dispersión de estructuras y relación entre arterias y vías aéreas, los cuales muestran una buena correspondencia entre los pulmones reales y los generados sintéticamente. La evaluación del algoritmo de segmentación AV está basada en distintas estrategias de comprobación de la exactitud en la clasificación de vasos, las cuales revelan una adecuada diferenciación entre arterias y venas tanto en los casos reales como en los sintéticos, abriendo así un amplio abanico de posibilidades en el estudio clínico de enfermedades cardiopulmonares y en el desarrollo de metodologías y nuevos algoritmos para el análisis de imágenes pulmonares. ABSTRACT Computed tomography (CT) is the reference image modality for the study of lung diseases and pulmonary vasculature. Lung vessel segmentation has been widely explored by the biomedical image processing community, however, differentiation of arterial from venous irrigations is still an open problem. Indeed, automatic separation of arterial and venous trees has been considered during last years as one of the main future challenges in the field. Artery-Vein (AV) segmentation would be useful in different medical scenarios and multiple pulmonary diseases or pathological states, allowing the study of arterial and venous irrigations separately. Features such as density, geometry, topology and size of vessels could be analyzed in diseases that imply vasculature remodeling, making even possible the discovery of new specific biomarkers that remain hidden nowadays. Differentiation between arteries and veins could also enhance or improve methods processing pulmonary structures. Nevertheless, AV segmentation has been unfeasible until now in clinical routine despite its objective usefulness. The huge complexity of pulmonary vascular trees makes a manual segmentation of both structures unfeasible in realistic time, encouraging the design of automatic or semiautomatic tools to perform the task. However, this lack of proper labeled cases seriously limits in the development of AV segmentation systems, where reference standards are necessary in both algorithm training and validation stages. For that reason, the design of synthetic CT images of the lung could overcome these difficulties by providing a database of pseudorealistic cases in a constrained and controlled scenario where each part of the image (including arteries and veins) is differentiated unequivocally. In this Ph.D. Thesis we address both interrelated problems. First, the design of a complete framework to automatically generate computational CT phantoms of the human lung is described. Starting from biological and imagebased knowledge about the topology and relationships between structures, the system is able to generate synthetic pulmonary arteries, veins, and airways using iterative growth methods that can be merged into a final simulated lung with realistic features. These synthetic cases, together with labeled real CT datasets, have been used as reference for the development of a fully automatic pulmonary AV segmentation/separation method. The approach comprises a vessel extraction stage using scale-space particles and their posterior artery-vein classification using Graph-Cuts (GC) based on arterial/venous similarity scores obtained with a Machine Learning (ML) pre-classification step and particle connectivity information. Validation of pulmonary phantoms from visual examination and quantitative measurements of intensity distributions, dispersion of structures and relationships between pulmonary air and blood flow systems, show good correspondence between real and synthetic lungs. The evaluation of the Artery-Vein (AV) segmentation algorithm, based on different strategies to assess the accuracy of vessel particles classification, reveal accurate differentiation between arteries and vein in both real and synthetic cases that open a huge range of possibilities in the clinical study of cardiopulmonary diseases and the development of methodological approaches for the analysis of pulmonary images.

Methods and Techniques for Segmentation of Consumers in Social Media

Los medios sociales han revolucionado la manera en la que los consumidores se relacionan entre sí y con las marcas. Las opiniones publicadas en dichos medios tienen un poder de influencia en las decisiones de compra tan importante como las campañas de publicidad. En consecuencia, los profesionales del marketing cada vez dedican mayores esfuerzos e inversión a la obtención de indicadores que permitan medir el estado de salud de las marcas a partir de los contenidos digitales generados por sus consumidores. Dada la naturaleza no estructurada de los contenidos publicados en los medios sociales, la tecnología usada para procesar dichos contenidos ha menudo implementa técnicas de Inteligencia Artificial, tales como algoritmos de procesamiento de lenguaje natural, aprendizaje automático y análisis semántico. Esta tesis, contribuye al estado de la cuestión, con un modelo que permite estructurar e integrar la información publicada en medios sociales, y una serie de técnicas cuyos objetivos son la identificación de consumidores, así como la segmentación psicográfica y sociodemográfica de los mismos. La técnica de identificación de consumidores se basa en la huella digital de los dispositivos que utilizan para navegar por la Web y es tolerante a los cambios que se producen con frecuencia en dicha huella digital. Las técnicas de segmentación psicográfica descritas obtienen la posición en el embudo de compra de los consumidores y permiten clasificar las opiniones en función de una serie de atributos de marketing. Finalmente, las técnicas de segmentación sociodemográfica permiten obtener el lugar de residencia y el género de los consumidores. ABSTRACT Social media has revolutionised the way in which consumers relate to each other and with brands. The opinions published in social media have a power of influencing purchase decisions as important as advertising campaigns. Consequently, marketers are increasing efforts and investments for obtaining indicators to measure brand health from the digital content generated by consumers. Given the unstructured nature of social media contents, the technology used for processing such contents often implements Artificial Intelligence techniques, such as natural language processing, machine learning and semantic analysis algorithms. This thesis contributes to the State of the Art, with a model for structuring and integrating the information posted on social media, and a number of techniques whose objectives are the identification of consumers, as well as their socio-demographic and psychographic segmentation. The consumer identification technique is based on the fingerprint of the devices they use to surf the Web and is tolerant to the changes that occur frequently in such fingerprint. The psychographic profiling techniques described infer the position of consumer in the purchase funnel, and allow to classify the opinions based on a series of marketing attributes. Finally, the socio-demographic profiling techniques allow to obtain the residence and gender of consumers.

Fenología y capacidad de dispersión de Monochamus galloprovincialis (Olivier 1795) en la Península Ibérica = Phenology and dispersal ability of Monochamus galloprovincialis (Olivier 1795) at Iberian Peninsula

La aparición y avance de la enfermedad del marchitamiento del pino (Pine Wilt Desease, PWD), causada por Bursaphelenchus xylophilus (Nematoda; Aphelenchoididae), el nematodo de la madera del pino (NMP), en el suroeste de Europa, ha puesto de manifiesto la necesidad de estudiar la fenología y la dispersión de su único vector conocido en Europa, Monochamus galloprovincialis (Col., Cerambycidae). El análisis de 12 series de emergencias entre 2010 y 2014, registradas en Palencia, València y Teruel, con material procedente de diversos puntos de la península ibérica, demostró una alta variabilidad en la fenología de M. galloprovincialis y la divergencia térmica respecto de las poblaciones portuguesas. Para éstas, el establecimiento de los umbrales térmicos de desarrollo de las larvas post-dormantes del vector (12,2 y 33,5ºC) permitió la predicción de la emergencia mediana para la fecha en la que se acumulaban de 822 grados-día. Ninguna de las series analizadas en este trabajo necesitó de dichos grados-día estimados para la emergencia mediana. Asimismo, la emergencia se adelantó en las regiones más calurosas, mientras que se retrasó en las zonas más templadas. Más allá de la posible variabilidad entre poblaciones locales peninsulares, se detectaron indicios de que la diferencia en la acumulación de calor durante el otoño puede afectar el grado de maduración de las larvas invernantes, y su posterior patrón temporal de emergencia. Por último, también fueron observados comportamientos de protandria en las emergencias. Respecto a la fenología de su vuelo, entre los años 2010 y 2015, fueron ejecutados un total de 8 experimentos de captura de M. galloprovincialis mediante trampas cebadas con atrayentes en diferentes regiones (Castellón, Teruel, Segovia y Alicante) permitiendo el seguimiento del periodo de vuelo. Su análisis permitió constatar la disminución de las capturas y el acortamiento del periodo de vuelo con la altitud, el inicio del vuelo en el mes de mayo/junio a partir de los 14ºC de temperatura media diaria, la influencia de las altas temperaturas en la disminución de las capturas estivales (potencial causante de perfiles bimodales en las curvas de vuelo en las zonas menos frías), la evolución de la proporción de sexos a lo largo del periodo de vuelo (que muestra una mayor captura de hembras al inicio y de machos al final) y el comportamiento diurno y ligado a las altas temperaturas del vuelo circadiano del insecto. Dos redes de muestreo sistemático de insectos saproxílicos instaladas en la Comunitat Valencia (Red MUFFET, 15 parcelas, año 2013) y en Murcia (Red ESFP, 20 parcelas, años 2008-2010) permitieron el estudio de la comunidad de insectos relacionada con M. galloprovincialis. Cada una de las parcelas contaba con una trampa cebada con atrayentes y una estación meteorológica. El registro de más de 250 especies de coleópteros saproxílicos demostró el potencial que tiene el empleo de redes de trampas vigía para la detección temprana de organismos exóticos, además de permitir la caracterización y evaluación de las comunidades de entomofauna útil, representando una de las mejores herramientas de la gestión integrada de plagas. En este caso, la comunidad de saproxílicos estudiada mostró ser muy homogénea respecto a la variación ambiental de las zonas de muestreo, y que pese a las pequeñas variaciones entre las comunidades de los diferentes ecosistemas, el rol que M. galloprovincialis desempeña en ellas a lo largo de todo el gradiente estudiado es el mismo. Con todo, el análisis mediante redes de interacción mostró su relevancia ecológica al actuar de conector entre los diferentes niveles tróficos. Por último, un total de 12 experimentos de marcaje-liberación-recaptura desarrollados entre 2009 y 2012 en Castellón, Teruel, Valencia y Murcia permitieron evaluar el comportamiento dispersivo de M. galloprovincialis. Las detecciones mediante trampas cebadas de los insectos liberados se dieron por lo menos 8 días después de la emergencia. La abundancia de población pareció relacionada con la continuidad, la naturalización de la masa, y con la afección previa de incendios. La dispersión no estuvo influida por la dirección ni la intensidad de los vientos dominantes. La abundancia de material hospedante (en lo referente a las variables de masa y a los índices de competencia) influyó en la captura del insecto en paisajes fragmentados, aunque la ubicación de las trampas optimizó el número de capturas cuando se ubicaron en el límite de la masa y en zonas visibles. Por último también se constató que M. galloprovincialis posee suficiente capacidad de dispersión como para recorrer hasta 1500 m/día, llegando a alcanzar distancias máximas de 13600m o de 22100 m. ABSTRACT The detection and expansion of the Pine Wilt Desease (PWD), caused by Bursaphelenchus xylophilus (Nematoda; Aphelenchoididae), Pine Wood Nematode (PWN), in southwestern Europe since 1999, has triggered off the study of the phenology and the dispersion of its unique vector in the continent, Monochamus galloprovincialis (Coleoptera, Cerambycidae). The analysis of 12 emergence series between 2010 and 2014 registered in Palencia, Teruel and Valencia (Spain), registered from field colonized material collected at several locations of the Iberian Peninsula, showed a high variability in the emergence phenology of M. galloprovincialis. In addition, these patterns showed a very acute thermal divergence regarding a development model fitted earlier in Portugal. Such model forecasted the emergence of 50% of M. galloprovincialis individuals in the Setúbal Peninsula (Portugal) when an average of 822 degree-days (DD) were reached, based on the accumulation of heat from the 1st of March until emergence and lower and upper thresholds of 12.2 ºC and 33,5 °C respectively. In our results, all analyzed series needed less than 822 DD to complete the 50% of the emergence. Also, emergency occurred earlier in the hottest regions, while it was delayed in more temperate areas. Beyond the possible variability between local populations, the difference in the heat accumulation during the fall season may have affected the degree of maturation of overwintering larvae, and subsequently, the temporal pattern of M. galloprovincialis emergences. Therefore these results suggest the need to differentiate local management strategies for the PWN vector, depending on the location, and the climatic variables of each region. Finally, protandrous emergence patterns were observed for M. galloprovincialis in most of the studied data-sets. Regarding the flight phenology of M. galloprovincialis, a total of 8 trapping experiments were carried out in different regions of the Iberian Peninsula (Castellón, Teruel, Segovia and Alicante) between 2010 and 2015. The use of commercial lures and traps allowed monitoring of the flight period of M. galloprovincialis. The analyses of such curves, helped confirming different aspects. First, a decline in the number of catches and a shortening of the flight period was observed as the altitude increased. Flight period was recorded to start in May / June when the daily average temperature went over 14 ° C. A significant influence of high temperatures on the decrease of catches in the summer was found in many occasions, which frequently lead to a bimodal profile of the flight curves in warm areas. The evolution of sex ratio along the flight period shows a greater capture of females at the beginning of the period, and of males at the end. In addition, the circadian response of M. galloprovincialis to lured traps was described for the first time, concluding that the insect is diurnal and that such response is linked to high temperatures. Two networks of systematic sampling of saproxylic insects were installed in the Region of Valencia (Red MUFFET, 15 plots, 2013) and Murcia (Red ICPF, 20 plots, 2008-2010). These networks, intended to serve the double purpose of early-detection and long term monitoring of the saproxylic beetle assemblies, allowed the study of insect communities related to M. galloprovincialis. Each of the plots had a trap baited with attractants and a weather station. The registration of almost 300 species of saproxylic beetles demonstrated the potential use of such trapping networks for the early detection of exotic organisms, while at the same time allows the characterization and evaluation of useful entomological fauna communities, representing one of the best tools for the integrated pest management. In this particular case, the studied community of saproxylic beetles was very homogeneous with respect to environmental variation of the sampling areas, and despite small variations between communities of different ecosystems, the role that M. galloprovincialis apparently plays in them across the studied gradient seems to be the same. However, the analysis through food-webs showed the ecological significance of M. galloprovincialis as a connector between different trophic levels. Finally, 12 mark-release-recapture experiments were carried out between 2009 and 2012 in Castellón, Teruel, Valencia and Murcia (Spain) with the aim to describe the dispersive behavior of M. galloprovincialis as well as the stand and landscape characteristics that could influence its abundance and dispersal. No insects younger than 8 days were caught in lured traps. Population abundance estimates from mark-release-recapture data, seemed related to forest continuity, naturalization, and to prior presence of forest fires. On the other hand, M. galloprovincialis dispersal was not found to be significantly influenced by the direction and intensity of prevailing winds. The abundance of host material, very related to stand characteristics and spacing indexes, influenced the insect abundance in fragmented landscapes. In addition, the location of the traps optimized the number of catches when they were placed in the edge of the forest stands and in visible positions. Finally it was also found that M. galloprovincialis is able to fly up to 1500 m / day, reaching maximum distances of up to 13600 m or 22100 m.

Automatic segmentation of rivers as a tool for assessing river responses. Case study: the Porma and Curueño rivers, nw Spain.

Automatic segmentation using univariate and multivariate techniques provides more objective and efficient segmentations of the river systems (Alber & Piégay, 2011) and can be complementary to the expert criteria traditionally used (Brenden et al., 2008) INTEREST: A powerful tool to objectively segment the continuity of rivers, which is required for diagnosing problems associated to human impacts OBJECTIVE: To evaluate the potentiality of univariate and multivariate methods in the assessment of river adjustments produced by flow regulation

Co-aggregation ability of cell Wall components of Saccharomyces cerevisiae to pathogenic bacteria

Autoaggregation in bacteria is the phenomenon of aggregation between cells of the same strain, whereas coaggregation is due to aggregation occurring among different species. Aggregation ability of prebiotic bacteria is related to adhesion ability, which is a prerequisite for the colonization and protection of the gastrointestinal tract in all animal species; however, coaggregation ability of prebiotic bacteria offers a possibility of close interaction with pathogenic bacteria.