Moving object detection strategy for augmented-reality applications in a GPGPU by using CUDA

A spatial-color-based non-parametric background-foreground modeling strategy in a GPGPU by using CUDA is proposed. This strategy is suitable for augmented-reality applications, providing real-time high-quality results in a great variety of scenarios.

Temporal segmentation tool for high-quality real time video editing software

The increasing use of video editing software requires faster and more efficient editing tools. As a first step, these tools perform a temporal segmentation in shots that allows a later building of indexes describing the video content. Here, we propose a novel real-time high-quality shot detection strategy, suitable for the last generation of video editing software requiring both low computational cost and high quality results. While abrupt transitions are detected through a very fast pixel-based analysis, gradual transitions are obtained from an efficient edge-based analysis. Both analyses are reinforced with a motion analysis that helps to detect and discard false detections. This motion analysis is carried out exclusively over a reduced set of candidate transitions, thus maintaining the computational requirements demanded by new applications to fulfill user needs.

Moving object detection for real-time augmented reality applications in a GPGPU

The last generation of consumer electronic devices is endowed with Augmented Reality (AR) tools. These tools require moving object detection strategies, which should be fast and efficient, to carry out higher level object analysis tasks. We propose a lightweight spatio-temporal-based non-parametric background-foreground modeling strategy in a General Purpose Graphics Processing Unit (GPGPU), which provides real-time high-quality results in a great variety of scenarios and is suitable for AR applications.

Adaptable Bayesian classifier for spatiotemporal nonparametric moving object detection strategies

Electronic devices endowed with camera platforms require new and powerful machine vision applications, which commonly include moving object detection strategies. To obtain high-quality results, the most recent strategies estimate nonparametrically background and foreground models and combine them by means of a Bayesian classifier. However, typical classifiers are limited by the use of constant prior values and they do not allow the inclusion of additional spatiodependent prior information. In this Letter, we propose an alternative Bayesian classifier that, unlike those reported before, allows the use of additional prior information obtained from any source and depending on the spatial position of each pixel.

Real-time Surveillance Application by Multiple Detectors and Compressive Trackers

A real-time surveillance system for IP network cameras is presented. Motion, part-body, and whole-body detectors are efficiently combined to generate robust and fast detections, which feed multiple compressive trackers. The generated trajectories are then improved using a reidentification strategy for long term operation.

Region-based moving object detection using spatially conditioned nonparametric models in a GPU

A novel GPU-based nonparametric moving object detection strategy for computer vision tools requiring real-time processing is proposed. An alternative and efficient Bayesian classifier to combine nonparametric background and foreground models allows increasing correct detections while avoiding false detections. Additionally, an efficient region of interest analysis significantly reduces the computational cost of the detections.

High-quality region-based foreground segmentation using a spatial grid of SVM classifiers

This paper presents a novel background modeling system that uses a spatial grid of Support Vector Machines classifiers for segmenting moving objects, which is a key step in many video-based consumer applications. The system is able to adapt to a large range of dynamic background situations since no parametric model or statistical distribution are assumed. This is achieved by using a different classifier per image region that learns the specific appearance of that scene region and its variations (illumination changes, dynamic backgrounds, etc.). The proposed system has been tested with a recent public database, outperforming other state-of-the-art algorithms.

Desarrollo de una estrategia para la agrupación automática de jugadores de fútbol en función del color de su equipación

Debido a los avances tecnológicos sufridos en las últimas décadas dentro de las TIC, cada vez son más los usuarios que demandan contenido multimedia enriquecido con información adicional (por ejemplo, realidad aumentada para realzar zonas de determinadas imágenes, o metadatos asociados al contenido visualizado en un video). Dentro de todo el contenido multimedia que se oferta, los eventos deportivos tienen una gran relevancia y entre ellos destaca el fútbol ya que se practica en más de 200 países y sus seguidores demandan una gran cantidad de información adicional en el momento de la retransmisión de los partidos como, por ejemplo, estadísticas del partido (goles marcados, kilómetros recorridos durante el partido por el jugador, etc.), estadísticas globales de la temporada, etc. El presente trabajo pretende abordar la tarea de clasificar en equipos a los diferentes jugadores que intervienen en un partido de fútbol, lo cual facilitará la extracción de las anteriormente mencionadas estadísticas. Este trabajo se dividirá en dos etapas claramente diferenciadas: En la primera etapa extraeremos características de la imagen que nos permitan tener información de cada uno de los jugadores. Éstas características podrán ser extraídas en forma de histogramas, histogramas normalizados, medias o características que preserven las características espaciales de la imagen. Lo importante en esta fase es extraer información que posteriormente nos permita hacer la mejor clasificación posible. Para ello el objetivo principal de esta fase es que las características extraídas mantengan la mayor diferenciación posible entre elementos de distinta clase y la menor diferenciación posible entre elementos de la misma clase. En la segunda etapa se procederá a la clasificación, propiamente dicha, mediante el uso de criterios que nos permitan diferenciar a miembros pertenecientes a distintos equipos. Para lograr esta clasificación se analizará el uso de distintos algoritmos que permitan establecer un grado de parecido entre los conjuntos de características obtenidas en la primera etapa.

Estudio e implementación de estrategias de detección de objetos móviles mediante métodos basados en el uso de Local Binary Patterns

El objetivo de este Trabajo de Fin de Grado es el estudio e implementación de estrategias de detección de objetos móviles basadas en el uso de Local Binary Patterns. Para ello, en primer lugar se han analizado los métodos de substracción de fondos basados en información de textura propuestos durante los últimos años. Como resultado de este análisis, se ha implementado una estrategia basada en Local Binary Patterns a la que posteriormente se le han añadido las mejoras que se han considerado más apropiadas, las cuales están destinadas tanto a reducir el coste computacional de la estrategia como a mejorar la calidad de los resultados obtenidos. Por último se ha realizado un estudio comparativo entre las estrategias implementadas y otros métodos populares empleados para la substracción de fondos, como los basados en el uso de mezclas de gaussianas.

Robust Image Registration with Global Intensity Transformation

This paper presents a registration method for images with global illumination variations. The method is based on a joint iterative optimization (geometric and photometric) of the L1 norm of the intensity error. Two strategies are compared to directly find the appropriate intensity transformation within each iteration: histogram specification and the solution obtained by analyzing the necessary optimality conditions. Such strategies reduce the search space of the joint optimization to that of the geometric transformation between the images.

Relationship among slurry characteristics and gaseous emissions at different types of commercial Spanish pig farms

This study aimed to analyse several factors of variation of slurry composition and to establish prediction equations for potential methane (CH4) and ammonia (NH3) emissions. Seventy-nine feed and slurry samples were collected at two seasons (summer and winter) from commercial pig farms sited at two Spanish regions (Centre and Mediterranean). Nursery, growing-fattening, gestating and lactating facilities were sampled. Feed and slurry composition were determined, and potential CH4 and NH3 emissions measured at laboratory. Feed nutrient contents were used as covariates in the analysis. Near infrared reflectance spectroscopy (NIRS) was evaluated as a predicting tool for slurry composition and potential gaseous emissions. A wide variability was found both in feed and slurry composition. Mediterranean farms had a higher pH (p<0.001) and ash (p=0.02) concentration than those located at the Centre of Spain. Also, type of farm affected ether extract content of the slurry (p=0.02), with highest values obtained for the youngest animal facilities. Results suggested a buffer effect of dietary fibre on slurry pH and a direct relationship (p<0.05) with fibre constituents of manure. Dietary protein content did not affect slurry nitrogen content but decreased (p=0.003) total and volatile solids concentration. Prediction models of potential NH3 emissions (R2=0.89) and CH4 yield (R2=0.61) were obtained from slurry composition. Predictions from NIRS showed a high accuracy for most slurry constituents (R2>0.90) and similar accuracy of prediction of potential NH3 and CH4 emissions (R2=0.84 and 0.68, respectively) to models using slurry characteristics, which can be of interest to estimate emissions from commercial farms and establish mitigation strategies or optimize biogas production.

Statistical moving object detection for mobile devices with camera

A novel and high-quality system for moving object detection in sequences recorded with moving cameras is proposed. This system is based on the collaboration between an automatic homography estimation module for image alignment, and a robust moving object detection using an efficient spatiotemporal nonparametric background modeling.

Elaboración de una herramienta en Matlab para el análisis de las estrategias de estimación y compensación de movimiento empleadas en codificadores de vídeo

El presente trabajo parte con la intención de crear un entorno gráfico cómodo y amigable con el cual desarrollar la práctica relacionada con el estudio de las estrategias de estimación y compensación de movimiento aplicadas en los estándares de codificación de vídeo, y que forma parte de la asignatura “Televisión” de 4º de grado. Hasta ahora, se viene utilizado un entorno conocido como Cantata, proporcionado por Khoros, basado en la conexión de estructuras denominadas glifos a través de las cuales circula un flujo de datos (en nuestro caso, relacionado con el tratamiento de imágenes y vídeo). El presente trabajo adapta dicha estructura a las posibilidades gráficas de Matlab, incorporando, además, funcionalidades adicionales. En primer lugar, se expondrán los métodos de estimación y compensación que han sido programados en la herramienta desarrollada, así como las ventajas e inconvenientes asociados a cada uno de ellos. Dichos métodos de estimación y compensación de movimiento tratan de reducir la información a transmitir aprovechando la redundancia temporal presente entre las imágenes de una secuencia. El objetivo será establecer una correspondencia entre dos imágenes de una secuencia entre las que se ha producido un movimiento, calculando un conjunto de vectores en que representan dicho movimiento. Acto seguido, se describirán las claves de la interfaz gráfica desarrollada. En primer lugar se definirá el entorno gráfico habilitado por Khoros en el cual se ha desarrollado hasta ahora la práctica ya mencionada. Más tarde, introduciremos los aspectos más importantes para la creación de interfaces gráficas en Matlab, y se describirá brevemente una interfaz gráfica desarrollada anteriormente en el Grupo de Tratamiento de Imágenes (GTI) que ha sido tomada como referencia para el presente trabajo. Una vez presentado el entorno gráfico se describirán detalladamente los módulos elaborados para llevar a cabo la estimación y compensación de movimiento, además de otras funciones relacionadas con el tratamiento de imágenes y vídeo y la visualización de resultados. Por último, se propone un nuevo enunciado para la citada práctica, adaptado a la herramienta desarrollada y respetando, hasta donde ha sido posible, la estructura y objetivos docentes del enunciado original.

Optimal Piecewise Linear Function Approximation for GPU-based Applications

Many computer vision and human-computer interaction applications developed in recent years need evaluating complex and continuous mathematical functions as an essential step toward proper operation. However, rigorous evaluation of this kind of functions often implies a very high computational cost, unacceptable in real-time applications. To alleviate this problem, functions are commonly approximated by simpler piecewise-polynomial representations. Following this idea, we propose a novel, efficient, and practical technique to evaluate complex and continuous functions using a nearly optimal design of two types of piecewise linear approximations in the case of a large budget of evaluation subintervals. To this end, we develop a thorough error analysis that yields asymptotically tight bounds to accurately quantify the approximation performance of both representations. It provides an improvement upon previous error estimates and allows the user to control the trade-off between the approximation error and the number of evaluation subintervals. To guarantee real-time operation, the method is suitable for, but not limited to, an efficient implementation in modern Graphics Processing Units (GPUs), where it outperforms previous alternative approaches by exploiting the fixed-function interpolation routines present in their texture units. The proposed technique is a perfect match for any application requiring the evaluation of continuous functions, we have measured in detail its quality and efficiency on several functions, and, in particular, the Gaussian function because it is extensively used in many areas of computer vision and cybernetics, and it is expensive to evaluate.

NURBS-Based Geometry Parameterization for Aerodynamic Shape Optimization

La motivación de esta tesis es el desarrollo de una herramienta de optimización automática para la mejora del rendimiento de formas aerodinámicas enfocado en la industria aeronáutica. Este trabajo cubre varios aspectos esenciales, desde el empleo de Non-Uniform Rational B-Splines (NURBS), al cálculo de gradientes utilizando la metodología del adjunto continuo, el uso de b-splines volumétricas como parámetros de diseño, el tratamiento de la malla en las intersecciones, y no menos importante, la adaptación de los algoritmos de la dinámica de fluidos computacional (CFD) en arquitecturas hardware de alto paralelismo, como las tarjetas gráficas, para acelerar el proceso de optimización. La metodología adjunta ha posibilitado que los métodos de optimización basados en gradientes sean una alternativa prometedora para la mejora de la eficiencia aerodinámica de los aviones. La formulación del adjunto permite calcular los gradientes de una función de coste, como la resistencia aerodinámica o la sustentación, independientemente del número de variables de diseño, a un coste computacional equivalente a una simulación CFD. Sin embargo, existen problemas prácticos que han imposibilitado su aplicación en la industria, que se pueden resumir en: integrabilidad, rendimiento computacional y robustez de la solución adjunta. Este trabajo aborda estas contrariedades y las analiza en casos prácticos. Como resumen, las contribuciones de esta tesis son: • El uso de NURBS como variables de diseño en un bucle de automático de optimización, aplicado a la mejora del rendimiento aerodinámico de alas en régimen transónico. • El desarrollo de algoritmos de inversión de punto, para calcular las coordenadas paramétricas de las coordenadas espaciales, para ligar los vértices de malla a las NURBS. • El uso y validación de la formulación adjunta para el calculo de los gradientes, a partir de las sensibilidades de la solución adjunta, comparado con diferencias finitas. • Se ofrece una estrategia para utilizar la geometría CAD, en forma de parches NURBS, para tratar las intersecciones, como el ala-fuselaje. • No existen muchas alternativas de librerías NURBS viables. En este trabajo se ha desarrollado una librería, DOMINO NURBS, y se ofrece a la comunidad como código libre y abierto. • También se ha implementado un código CFD en tarjeta gráfica, para realizar una valoración de cómo se puede adaptar un código sobre malla no estructurada a arquitecturas paralelas. • Finalmente, se propone una metodología, basada en la función de Green, como una forma eficiente de paralelizar simulaciones numéricas. Esta tesis ha sido apoyada por las actividades realizadas por el Área de Dinámica da Fluidos del Instituto Nacional de Técnica Aeroespacial (INTA), a través de numerosos proyectos de financiación nacional: DOMINO, SIMUMAT, y CORESFMULAERO. También ha estado en consonancia con las actividades realizadas por el departamento de Métodos y Herramientas de Airbus España y con el grupo Investigación y Tecnología Aeronáutica Europeo (GARTEUR), AG/52. ABSTRACT The motivation of this work is the development of an automatic optimization strategy for large scale shape optimization problems that arise in the aeronautics industry to improve the aerodynamic performance; covering several aspects from the use of Non-Uniform Rational B-Splines (NURBS), the calculation of the gradients with the continuous adjoint formulation, the development of volumetric b-splines parameterization, mesh adaptation and intersection handling, to the adaptation of Computational Fluid Dynamics (CFD) algorithms to take advantage of highly parallel architectures in order to speed up the optimization process. With the development of the adjoint formulation, gradient-based methods for aerodynamic optimization become a promising approach to improve the aerodynamic performance of aircraft designs. The adjoint methodology allows the evaluation the gradients to all design variables of a cost function, such as drag or lift, at the equivalent cost of more or less one CFD simulation. However, some practical problems have been delaying its full implementation to the industry, which can be summarized as: integrability, computer performance, and adjoint robustness. This work tackles some of these issues and analyse them in well-known test cases. As summary, the contributions comprises: • The employment of NURBS as design variables in an automatic optimization loop for the improvement of the aerodynamic performance of aircraft wings in transonic regimen. • The development of point inversion algorithms to calculate the NURBS parametric coordinates from the space coordinates, to link with the computational grid vertex. • The use and validation of the adjoint formulation to calculate the gradients from the surface sensitivities in an automatic optimization loop and evaluate its reliability, compared with finite differences. • This work proposes some algorithms that take advantage of the underlying CAD geometry description, in the form of NURBS patches, to handle intersections and mesh adaptations. • There are not many usable libraries for NURBS available. In this work an open source library DOMINO NURBS has been developed and is offered to the community as free, open source code. • The implementation of a transonic CFD solver from scratch in a graphic card, for an assessment of the implementability of conventional CFD solvers for unstructured grids to highly parallel architectures. • Finally, this research proposes the use of the Green's function as an efficient paralellization scheme of numerical solvers. The presented work has been supported by the activities carried out at the Fluid Dynamics branch of the National Institute for Aerospace Technology (INTA) through national founding research projects: DOMINO, SIMUMAT, and CORESIMULAERO; in line with the activities carried out by the Methods and Tools and Flight Physics department at Airbus and the Group for Aeronautical Research and Technology in Europe (GARTEUR) action group AG/52.