An Efficient Multiple Object Detection and Tracking Framework for Automatic Counting and Video Surveillance Applications

Automatic visual object counting and video surveillance have important applications for home and business environments, such as security and management of access points. However, in order to obtain a satisfactory performance these technologies need professional and expensive hardware, complex installations and setups, and the supervision of qualified workers. In this paper, an efficient visual detection and tracking framework is proposed for the tasks of object counting and surveillance, which meets the requirements of the consumer electronics: off-the-shelf equipment, easy installation and configuration, and unsupervised working conditions. This is accomplished by a novel Bayesian tracking model that can manage multimodal distributions without explicitly computing the association between tracked objects and detections. In addition, it is robust to erroneous, distorted and missing detections. The proposed algorithm is compared with a recent work, also focused on consumer electronics, proving its superior performance.

Foreground segmentation in depth imagery using depth and spatial dynamic models for video surveillance applications

Low-cost systems that can obtain a high-quality foreground segmentation almostindependently of the existing illumination conditions for indoor environments are verydesirable, especially for security and surveillance applications. In this paper, a novelforeground segmentation algorithm that uses only a Kinect depth sensor is proposedto satisfy the aforementioned system characteristics. This is achieved by combininga mixture of Gaussians-based background subtraction algorithm with a new Bayesiannetwork that robustly predicts the foreground/background regions between consecutivetime steps. The Bayesian network explicitly exploits the intrinsic characteristics ofthe depth data by means of two dynamic models that estimate the spatial and depthevolution of the foreground/background regions. The most remarkable contribution is thedepth-based dynamic model that predicts the changes in the foreground depth distributionbetween consecutive time steps. This is a key difference with regard to visible imagery,where the color/gray distribution of the foreground is typically assumed to be constant.Experiments carried out on two different depth-based databases demonstrate that theproposed combination of algorithms is able to obtain a more accurate segmentation of theforeground/background than other state-of-the art approaches.

La videovigilancia : tecnologías actuales y aspectos sociopolíticos

En este Proyecto de fin de carrera titulado: LA VÍDEOVIGILANCIA: TECNOLOGÍAS ACTUALES Y ASPECTOS SOCIOPOLÍTICOS, tiene como objetivo hacer un estudio en los sistemas de Vídeovigilancia basado en cámaras-IP, con fines de seguridad, control o supervisión. Nos basaremos en exponer los sistemas Vídeovigilancia basados en cámara-IP actuales de ultima generación, cuya principal virtud de estos sistemas, es la comunicación con otros lugares, o espacios públicos como privados y poder visualizar tanto en vivo como en diferido lo que este pasando en ese lugar y en ese momento o haya pasado a través del protocolo de comunicación-IP. Se explicara desde el más básico al más complejo sistema de videovigilancia-IP, también explicaremos su puesta en practica mediante los múltiples interconexiones que estos conlleven. Llegando a este punto, se nos plantea las siguientes cuestiones que da origen a este PFC. Estos sistemas de Vídeovigilancia-IP, captan las imágenes por medio de las cámaras-IP, proporcionando su facilidad tanto de visionado/grabacion, como de control, ya que no es necesario estar presente e interactuando con otros sistemas digitales de diverso índole actuales, gracias al protocolo-IP. Estos sistemas-IP, tienen su puesta en práctica mediante las instalaciones requeridas ,estas podrán ser sencillas o muy complejas de todos los sistemas-IP. Debido al gran aumento masivo, las tecnologías actuales de diverso índole de cámaras-IP en materia de la vídeovigilancia en lugares públicos, y privados en nuestra sociedad actual, lo hace un medio particularmente invasivo y por ello resulta necesario tanto la concurrencia de condiciones que legitimen los tratamientos de datos de personas identificables, como la definición de los principios y garantías que deban aplicarse ya que estas, repercutirán sobre los derechos de las personas, lo que obligara a fijar ciertas garantías. Se nos plantea los casos en los que la captación y/o tratamiento de imágenes con fines de Vídeovigilancia que pertenezcan a personas identificadas o identificables, ha obligado a España, y según dispuesto por la Directiva 95/46/CE del Parlamento Europeo, a regularizar esta situación mediante la Ley Orgánica de Protección de Datos (LOPD) 15/1999 de 13 de diciembre, bajo los procedimientos del Estado español en materia sociopolítica, y dando vigor a esta ley, mediante la aprobación de la Instrucción 1/2006 de 8 de noviembre de 2006, cuyo máximo organismo es la Agencia española de Protección de Datos (AGPD). Una vez planteada la motivación y justificación del proyecto, se derivan unos objetivos a cumplir con la realización del mismo. Los objetivos del proyecto se pueden diferenciar en dos clases principalmente. Los objetivos principales y objetivos secundarios. Los objetivos principales de este PFC, nacen directamente de las necesidades planteadas originalmente en materia de Vídeovigilancia, tanto tecnológicamente basado en las cámaras-IP en la captación y/o tratamiento de imágenes, así como sociopolíticamente donde trataremos de describirlo mediante las indicaciones y criterios con casos prácticos y de cómo deben de aplicarse según la instrucción 1/2006 mediante la LOPD en materia de Vídeovigilancia, en cuanto a la protección de datos que puedan repercutir sobre el derecho de las personas. Por otra parte los objetivos secundarios, son la extensión del objetivo primario y son de orden cuantificador en este PFC, dando una explicación más exhaustiva del objetivo principal. ABSTRACT In this final year project, entitled: THE VIDEOSURVEILLANCE: CURRENT TECHNOLOGIES AND POLITICALSOCIALS ASPECTS, aims to make a study of video surveillance systems based on IP cameras, for security, control or supervision. We will rely on to expose the camera based video surveillance systems IP-current last generation, whose main virtue of these systems, is communication with other places, or public and private spaces and to view both live and time so this happening in that place and at that time or passed through-IP communication protocol. He explained from the most basic to the most complex-IP video surveillance system, also explain its implementation into practice through multiple interconnections that these entail. Arriving at this point, we face the following issues which gave rise to this PFC. These IP-video surveillance systems, captured images through IP-cameras, providing both ease of viewing / recording, as a control, since it is not necessary to be present and interacting with other digital systems such diverse today, thanks IP-protocol. These systems-IP, have their implementation through the facilities required, these can be simple or very complex all-IP video surveillance systems. Due to the large increase in mass, current technologies of different kinds of IP cameras for video surveillance in public places, and private in our society, it makes a particularly invasive and therefore attendance is necessary both conditions that legitimize data processing of identifiable people, as the definition of the principles and safeguards to be applied as these will impact on the rights of the people, which forced to set certain guarantees. We face those cases in which the uptake and / or image processing video surveillance purposes belonging to identified or identifiable, has forced Spain, and as required by Directive 95/46/EC of the European Parliament, to regularize this situation by the Organic Law on Data Protection (LOPD) 15/1999 of December 13, under the procedures of the Spanish State in sociopolitical, and giving effect to this Act, with the approval of the Instruction 1/2006 of 8 November 2006, the governing body is the Spanish Agency for Data Protection (AGPD). Once raised the motivation and justification for the project, resulting in meeting targets to achieve the same. Project objectives can be differentiated into two main classes, the main objectives and secondary objectives: The main objectives of this PFC, born directly from requirements originally raised for capturing both technologically imaging me and try to describe where sociopolitically, the details and criteria as case studies and should be applied according to the instruction 1 / 2006 by the LOPD on video surveillance system in terms of data protection that could impact on the right people. Moreover the secondary objectives are the extension of the primary and are of a quantifier in this PFC, giving a fuller explanation of the main objective.

Higher-order regularization and morphological techniques for image segmentation

La segmentación de imágenes es un campo importante de la visión computacional y una de las áreas de investigación más activas, con aplicaciones en comprensión de imágenes, detección de objetos, reconocimiento facial, vigilancia de vídeo o procesamiento de imagen médica. La segmentación de imágenes es un problema difícil en general, pero especialmente en entornos científicos y biomédicos, donde las técnicas de adquisición imagen proporcionan imágenes ruidosas. Además, en muchos de estos casos se necesita una precisión casi perfecta. En esta tesis, revisamos y comparamos primero algunas de las técnicas ampliamente usadas para la segmentación de imágenes médicas. Estas técnicas usan clasificadores a nivel de pixel e introducen regularización sobre pares de píxeles que es normalmente insuficiente. Estudiamos las dificultades que presentan para capturar la información de alto nivel sobre los objetos a segmentar. Esta deficiencia da lugar a detecciones erróneas, bordes irregulares, configuraciones con topología errónea y formas inválidas. Para solucionar estos problemas, proponemos un nuevo método de regularización de alto nivel que aprende información topológica y de forma a partir de los datos de entrenamiento de una forma no paramétrica usando potenciales de orden superior. Los potenciales de orden superior se están popularizando en visión por computador, pero la representación exacta de un potencial de orden superior definido sobre muchas variables es computacionalmente inviable. Usamos una representación compacta de los potenciales basada en un conjunto finito de patrones aprendidos de los datos de entrenamiento que, a su vez, depende de las observaciones. Gracias a esta representación, los potenciales de orden superior pueden ser convertidos a potenciales de orden 2 con algunas variables auxiliares añadidas. Experimentos con imágenes reales y sintéticas confirman que nuestro modelo soluciona los errores de aproximaciones más débiles. Incluso con una regularización de alto nivel, una precisión exacta es inalcanzable, y se requeire de edición manual de los resultados de la segmentación automática. La edición manual es tediosa y pesada, y cualquier herramienta de ayuda es muy apreciada. Estas herramientas necesitan ser precisas, pero también lo suficientemente rápidas para ser usadas de forma interactiva. Los contornos activos son una buena solución: son buenos para detecciones precisas de fronteras y, en lugar de buscar una solución global, proporcionan un ajuste fino a resultados que ya existían previamente. Sin embargo, requieren una representación implícita que les permita trabajar con cambios topológicos del contorno, y esto da lugar a ecuaciones en derivadas parciales (EDP) que son costosas de resolver computacionalmente y pueden presentar problemas de estabilidad numérica. Presentamos una aproximación morfológica a la evolución de contornos basada en un nuevo operador morfológico de curvatura que es válido para superficies de cualquier dimensión. Aproximamos la solución numérica de la EDP de la evolución de contorno mediante la aplicación sucesiva de un conjunto de operadores morfológicos aplicados sobre una función de conjuntos de nivel. Estos operadores son muy rápidos, no sufren de problemas de estabilidad numérica y no degradan la función de los conjuntos de nivel, de modo que no hay necesidad de reinicializarlo. Además, su implementación es mucho más sencilla que la de las EDP, ya que no requieren usar sofisticados algoritmos numéricos. Desde un punto de vista teórico, profundizamos en las conexiones entre operadores morfológicos y diferenciales, e introducimos nuevos resultados en este área. Validamos nuestra aproximación proporcionando una implementación morfológica de los contornos geodésicos activos, los contornos activos sin bordes, y los turbopíxeles. En los experimentos realizados, las implementaciones morfológicas convergen a soluciones equivalentes a aquéllas logradas mediante soluciones numéricas tradicionales, pero con ganancias significativas en simplicidad, velocidad y estabilidad. ABSTRACT Image segmentation is an important field in computer vision and one of its most active research areas, with applications in image understanding, object detection, face recognition, video surveillance or medical image processing. Image segmentation is a challenging problem in general, but especially in the biological and medical image fields, where the imaging techniques usually produce cluttered and noisy images and near-perfect accuracy is required in many cases. In this thesis we first review and compare some standard techniques widely used for medical image segmentation. These techniques use pixel-wise classifiers and introduce weak pairwise regularization which is insufficient in many cases. We study their difficulties to capture high-level structural information about the objects to segment. This deficiency leads to many erroneous detections, ragged boundaries, incorrect topological configurations and wrong shapes. To deal with these problems, we propose a new regularization method that learns shape and topological information from training data in a nonparametric way using high-order potentials. High-order potentials are becoming increasingly popular in computer vision. However, the exact representation of a general higher order potential defined over many variables is computationally infeasible. We use a compact representation of the potentials based on a finite set of patterns learned fromtraining data that, in turn, depends on the observations. Thanks to this representation, high-order potentials can be converted into pairwise potentials with some added auxiliary variables and minimized with tree-reweighted message passing (TRW) and belief propagation (BP) techniques. Both synthetic and real experiments confirm that our model fixes the errors of weaker approaches. Even with high-level regularization, perfect accuracy is still unattainable, and human editing of the segmentation results is necessary. The manual edition is tedious and cumbersome, and tools that assist the user are greatly appreciated. These tools need to be precise, but also fast enough to be used in real-time. Active contours are a good solution: they are good for precise boundary detection and, instead of finding a global solution, they provide a fine tuning to previously existing results. However, they require an implicit representation to deal with topological changes of the contour, and this leads to PDEs that are computationally costly to solve and may present numerical stability issues. We present a morphological approach to contour evolution based on a new curvature morphological operator valid for surfaces of any dimension. We approximate the numerical solution of the contour evolution PDE by the successive application of a set of morphological operators defined on a binary level-set. These operators are very fast, do not suffer numerical stability issues, and do not degrade the level set function, so there is no need to reinitialize it. Moreover, their implementation is much easier than their PDE counterpart, since they do not require the use of sophisticated numerical algorithms. From a theoretical point of view, we delve into the connections between differential andmorphological operators, and introduce novel results in this area. We validate the approach providing amorphological implementation of the geodesic active contours, the active contours without borders, and turbopixels. In the experiments conducted, the morphological implementations converge to solutions equivalent to those achieved by traditional numerical solutions, but with significant gains in simplicity, speed, and stability.

Vehicular traffic surveillance and road lane detection using radar interferometry

Speed enforcement on public roadways is an important issue in order to guarantee road security and to reduce the number and seriousness of traffic accidents. Traditionally, this task has been partially solved using radar and/or laser technologies and, more recently, using video-camera based systems. All these systems have significant shortcomings that have yet to be overcome. The main drawback of classical Doppler radar technology is that the velocity measurement fails when several vehicles are in the radars beam. Modern radar systems are able to measure speed and range between vehicle and radar. However, this is not enough to discriminate the lane where the vehicle is driving on. The limitation of several vehicles in the beam is overcome using laser technology. However, laser systems have another important limitation: They cannot measure the speed of several vehicles simultaneously. Novel video-camera systems, based on license plate identification, solve the previous drawbacks, but they have the problem that they can only measure average speed but never top-speed. This paper studies the feasibility of using an interferometric linear frequency modulated continuous wave radar to improve top-speed enforcement on roadways. Two different systems based on down-the-road and across-the-road radar configurations are presented. The main advantage of the proposed solutions is they can simultaneously measure speed, range, and lane of several vehicles, allowing the univocal identification of the offenders. A detailed analysis about the operation and accuracy of these solutions is reported. In addition, the feasibility of the proposed techniques has been demonstrated with simulations and real experiments using a Ka-band interferometric radar developed by our research group.

Cognitive Surveillance Architecture for Scenario Understanding

Uno de los mayores retos para la comunidad científica es conseguir que las máquinas posean en un futuro la capacidad del sistema visual y cognitivo humanos, de forma que, por ejemplo, en entornos de video vigilancia, puedan llegar a proporcionar de manera automática una descripción fiable de lo que está ocurriendo en la escena. En la presente tesis, mediante la propuesta de un marco de trabajo de referencia, se discuten y plantean los pasos necesarios para el desarrollo de sistemas más inteligentes capaces de extraer y analizar, a diferentes niveles de abstracción y mediante distintos módulos de procesamiento independientes, la información necesaria para comprender qué está sucediendo en un conjunto amplio de escenarios de distinta naturaleza. Se parte de un análisis de requisitos y se identifican los retos para este tipo de sistemas en la actualidad, lo que constituye en sí mismo los objetivos de esta tesis, contribuyendo así a un modelo de datos basado en el conocimiento que permitirá analizar distintas situaciones en las que personas y vehículos son los actores principales, dejando no obstante la puerta abierta a la adaptación a otros dominios. Así mismo, se estudian los distintos procesos que se pueden lanzar a nivel interno así como la necesidad de integrar mecanismos de realimentación a distintos niveles que permitan al sistema adaptarse mejor a cambios en el entorno. Como resultado, se propone un marco de referencia jerárquico que integra las capacidades de percepción, interpretación y aprendizaje para superar los retos identificados en este ámbito; y así poder desarrollar sistemas de vigilancia más robustos, flexibles e inteligentes, capaces de operar en una variedad de entornos. Resultados experimentales ejecutados sobre distintas muestras de datos (secuencias de vídeo principalmente) demuestran la efectividad del marco de trabajo propuesto respecto a otros propuestos en el pasado. Un primer caso de estudio, permite demostrar la creación de un sistema de monitorización de entornos de parking en exteriores para la detección de vehículos y el análisis de plazas libres de aparcamiento. Un segundo caso de estudio, permite demostrar la flexibilidad del marco de referencia propuesto para adaptarse a los requisitos de un entorno de vigilancia completamente distinto, como es un hogar inteligente donde el análisis automático de actividades de la vida cotidiana centra la atención del estudio. ABSTRACT One of the most ambitious objectives for the Computer Vision and Pattern Recognition research community is that machines can achieve similar capacities to the human's visual and cognitive system, and thus provide a trustworthy description of what is happening in the scene under surveillance. Thus, a number of well-established scenario understanding architectural frameworks to develop applications working on a variety of environments can be found in the literature. In this Thesis, a highly descriptive methodology for the development of scene understanding applications is presented. It consists of a set of formal guidelines to let machines extract and analyse, at different levels of abstraction and by means of independent processing modules that interact with each other, the necessary information to understand a broad set of different real World surveillance scenarios. Taking into account the challenges that working at both low and high levels offer, we contribute with a highly descriptive knowledge-based data model for the analysis of different situations in which people and vehicles are the main actors, leaving the door open for the development of interesting applications in diverse smart domains. Recommendations to let systems achieve high-level behaviour understanding will be also provided. Furthermore, feedback mechanisms are proposed to be integrated in order to let any system to understand better the environment and the logical context around, reducing thus the uncertainty and noise, and increasing its robustness and precision in front of low-level or high-level errors. As a result, a hierarchical cognitive architecture of reference which integrates the necessary perception, interpretation, attention and learning capabilities to overcome main challenges identified in this area of research is proposed; thus allowing to develop more robust, flexible and smart surveillance systems to cope with the different requirements of a variety of environments. Once crucial issues that should be treated explicitly in the design of this kind of systems have been formulated and discussed, experimental results shows the effectiveness of the proposed framework compared with other proposed in the past. Two case studies were implemented to test the capabilities of the framework. The first case study presents how the proposed framework can be used to create intelligent parking monitoring systems. The second case study demonstrates the flexibility of the system to cope with the requirements of a completely different environment, a smart home where activities of daily living are performed. Finally, general conclusions and future work lines to further enhancing the capabilities of the proposed framework are presented.