Reconeixement i seguiment d’objectes en vídeo a partir del seu moviment

L’objectiu d’aquest PFC és estudiar la branca de la detecció d’objectes en vídeos segons el seu moviment. Per fer-ho es crearà un algorisme que sigui capaç de tractar un vídeo, calculant el nombre d’objectes de l’escena i quina és la posició de cada un d’aquests. L’algorisme ha de ser capaç de trobar un conjunt de regions útils i a partir d’aquest, separar-lo en diferents grups, cada un representant un objecte en moviment. La finalitat d’aquest projecte és l’estudi de la detecció d’objectes en vídeo. Intentarem crear un algorisme que ens permeti dur a terme aquest estudi i treure’n conclusions. Pretenem fer un algorisme, o un conjunt d’algorismes, en Matlab que sigui capaç de donat qualsevol vídeo, pugui retornar un conjunt de imatges, o un vídeo, amb els diferents objectes de l’escena destacats. Es faran proves en diferents situacions, des de objectes sintètics amb un moviment clarament definit, fins a proves en seqüències reals extretes de diferents pel•lícules. Per últim es pretén comprovar l’eficiència d’aquest. Ja que el projecte s’emmarca en la línia de recerca de robòtica i visió per computador, la tasca principal serà la manipulació d’imatges. Per tant farem servir el Matlab, ja que les imatges no son res més que matrius i aquest programa permet el càlcul vectorial i matricial d’una manera senzilla i realment eficient

Estudi i implementació d’un mètode de reconstrucció 3D basat en SfM i registre de vistes 3D parcials

Aquest projecte es basarà en reconstruir una imatge 3D gran a partir d’una seqüència d’imatges 2D capturades per una càmera. Ens centrem en l’estudi de les bases matemàtiques de la visió per computador així com en diferents mètodes emprats en la reconstrucció 3D d’imatges. Per portar a terme aquest estudi s’utilitza la plataforma de desenvolupament MatLab ja que permet tractar operacions matemàtiques, imatges i matrius de gran tamany amb molta senzillesa, rapidesa i eficiència, per aquesta raó s’usa en moltes recerques sobre aquest tema. El projecte aprofundeix en el tema descrit anteriorment estudiant i implementant un mètode que consisteix en aplicar Structure From Motion (SFM) a pocs frames seguits obtinguts d’una seqüència d’imatges 2D per crear una reconstrucció 3D. Quan s’han creat dues reconstruccions 3D consecutives i fent servir un frame com a mínim en comú entre elles, s’aplica un mètode de registre d’estructures 3D, l’Iterative Closest Point (ICP), per crear una reconstrucció 3D més gran a través d’unir les diferents reconstruccions obtingudes a partir de SfM. El mètode consisteix en anar repetint aquestes operacions fins al final dels frames per poder aconseguir una reconstrucció 3D més gran que les petites imatges que s’aconsegueixen a través de SfM. A la Figura 1 es pot veure un esquema del procés que es segueix. Per avaluar el comportament del mètode, utilitzem un conjunt de seqüències sintètiques i un conjunt de seqüències reals obtingudes a partir d’una càmera. L’objectiu final d’aquest projecte és construir una nova toolbox de MatLab amb tots els mètodes per crear reconstruccions 3D grans per tal que sigui possible tractar amb facilitat aquest problema i seguir-lo desenvolupant en un futur

Surface topography and mixed-pixel effects on the simulated L-band brightness temperatures.

The impact of topography and mixed pixels on L-band radiometric observations over land needs to be quantified to improve the accuracy of soil moisture retrievals. For this purpose, a series of simulations has been performed with an improved version of the soil moisture and ocean salinity (SMOS) end-to-end performance simulator (SEPS). The brightness temperature generator of SEPS has been modified to include a 100-m-resolution land cover map and a 30-m-resolution digital elevation map of Catalonia (northeast of Spain). This high-resolution generator allows the assessment of the errors in soil moisture retrieval algorithms due to limited spatial resolution and provides a basis for the development of pixel disaggregation techniques. Variation of the local incidence angle, shadowing, and atmospheric effects (up- and downwelling radiation) due to surface topography has been analyzed. Results are compared to brightness temperatures that are computed under the assumption of an ellipsoidal Earth.

Processat de vídeo aplicat a la robòtica

Aquest projecte consisteix en acoblar una càmera web uEye en una de les extremitats d'un robot industrial (ABB Irc5). Aquest robot, es mourà en cas què es detecti una cara a través de la webcam. L'objectiu és intentar que la cara es situï sempre al mig de la imatge captada per la càmera. Podem dividir les tasques d'aquest projecte amb 4 fases diferents. A continuació expliquem les diferents etapes. La Càmera uEye s'encarrega de capturar imatges i passar-les a un PC utilitzant Python. La funció de Detecció de Cares ens indica la posició i dimensions de la cara. Tot seguit, la funció LabJack s'encarrega de canviar els valors digitals de les 5 senyals mitjançant programació amb Python. Per últim el Robot ABB interpreta el valor d'aquestes 5 senyals i es desplaça mitjançant petits increments amb l'objectiu de situar la cara al mig de la imatge capturada.

A Motion compensated filtering approach to remove sunlight flicker in shallow water images

A common problem in video surveys in very shallow waters is the presence of strong light fluctuations, due to sun light refraction. Refracted sunlight casts fast moving patterns, which can significantly degrade the quality of the acquired data. Motivated by the growing need to improve the quality of shallow water imagery, we propose a method to remove sunlight patterns in video sequences. The method exploits the fact that video sequences allow several observations of the same area of the sea floor, over time. It is based on computing the image difference between a given reference frame and the temporal median of a registered set of neighboring images. A key observation is that this difference will have two components with separable spectral content. One is related to the illumination field (lower spatial frequencies) and the other to the registration error (higher frequencies). The illumination field, recovered by lowpass filtering, is used to correct the reference image. In addition to removing the sunflickering patterns, an important advantage of the approach is the ability to preserve the sharpness in corrected image, even in the presence of registration inaccuracies. The effectiveness of the method is illustrated in image sets acquired under strong camera motion containing non-rigid benthic structures. The results testify the good performance and generality of the approach

Planar homography: accuracy analysis and applications

Projective homography sits at the heart of many problems in image registration. In addition to many methods for estimating the homography parameters (R.I. Hartley and A. Zisserman, 2000), analytical expressions to assess the accuracy of the transformation parameters have been proposed (A. Criminisi et al., 1999). We show that these expressions provide less accurate bounds than those based on the earlier results of Weng et al. (1989). The discrepancy becomes more critical in applications involving the integration of frame-to-frame homographies and their uncertainties, as in the reconstruction of terrain mosaics and the camera trajectory from flyover imagery. We demonstrate these issues through selected examples

Globally aligned photomosaic of the Lucky Strike hydrothermal vent field (Mid-Atlantic Ridge, 37°18.5’N): Release of georeferenced data, mosaic construction, and viewing software

We present a georeferenced photomosaic of the Lucky Strike hydrothermal vent field (Mid-Atlantic Ridge, 37°18’N). The photomosaic was generated from digital photographs acquired using the ARGO II seafloor imaging system during the 1996 LUSTRE cruise, which surveyed a ~1 km2 zone and provided a coverage of ~20% of the seafloor. The photomosaic has a pixel resolution of 15 mm and encloses the areas with known active hydrothermal venting. The final mosaic is generated after an optimization that includes the automatic detection of the same benthic features across different images (feature-matching), followed by a global alignment of images based on the vehicle navigation. We also provide software to construct mosaics from large sets of images for which georeferencing information exists (location, attitude, and altitude per image), to visualize them, and to extract data. Georeferencing information can be provided by the raw navigation data (collected during the survey) or result from the optimization obtained from imatge matching. Mosaics based solely on navigation can be readily generated by any user but the optimization and global alignment of the mosaic requires a case-by-case approach for which no universally software is available. The Lucky Strike photomosaics (optimized and navigated-only) are publicly available through the Marine Geoscience Data System (MGDS, http://www.marine-geo.org). The mosaic-generating and viewing software is available through the Computer Vision and Robotics Group Web page at the University of Girona (http://eia.udg.es/_rafa/mosaicviewer.html)

Small scale underwater change detection

In this paper, we present a method to deal with the constraints of the underwater medium for finding changes between sequences of underwater images. One of the main problems of underwater medium for automatically detecting changes is the low altitude of the camera when taking pictures. This emphasise the parallax effect between the images as they are not taken exactly at the same position. In order to solve this problem, we are geometrically registering the images together taking into account the relief of the scene

Creating large and accurate mosaics of the mid-atlantic ridge

We present an approach for creating image mosaics using navigation data consisting on 3D position estimates provided by sensors such as LBL available in deep water surveys. A central issue with acoustic 3D positioning is that the accuracy is far too low compositing the images within reasonable accuracy

A noninvasive method for measuring the velocity of diffuse hydrothermal flow by tracking moving refractive index anomalies

Diffuse flow velocimetry (DFV) is introduced as a new, noninvasive, optical technique for measuring the velocity of diffuse hydrothermal flow. The technique uses images of a motionless, random medium (e.g.,rocks) obtained through the lens of a moving refraction index anomaly (e.g., a hot upwelling). The method works in two stages. First, the changes in apparent background deformation are calculated using particle image velocimetry (PIV). The deformation vectors are determined by a cross correlation of pixel intensities across consecutive images. Second, the 2-D velocity field is calculated by cross correlating the deformation vectors between consecutive PIV calculations. The accuracy of the method is tested with laboratory and numerical experiments of a laminar, axisymmetric plume in fluids with both constant and temperaturedependent viscosity. Results show that average RMS errors are ∼5%–7% and are most accurate in regions of pervasive apparent background deformation which is commonly encountered in regions of diffuse hydrothermal flow. The method is applied to a 25 s video sequence of diffuse flow from a small fracture captured during the Bathyluck’09 cruise to the Lucky Strike hydrothermal field (September 2009). The velocities of the ∼10°C–15°C effluent reach ∼5.5 cm/s, in strong agreement with previous measurements of diffuse flow. DFV is found to be most accurate for approximately 2‐D flows where background objects have a small spatial scale, such as sand or gravel

Reconfigurable Architecture To Estimate The Motion Of An Underwater Vehicle

This work proposes a parallel architecture for a motion estimation algorithm. It is well known that image processing requires a huge amount of computation, mainly at low level processing where the algorithms are dealing with a great numbers of data-pixel. One of the solutions to estimate motions involves detection of the correspondences between two images. Due to its regular processing scheme, parallel implementation of correspondence problem can be an adequate approach to reduce the computation time. This work introduces parallel and real-time implementation of such low-level tasks to be carried out from the moment that the current image is acquired by the camera until the pairs of point-matchings are detected

Augmented state Kalman filtering for AUV navigation

Addresses the problem of estimating the motion of an autonomous underwater vehicle (AUV), while it constructs a visual map ("mosaic" image) of the ocean floor. The vehicle is equipped with a down-looking camera which is used to compute its motion with respect to the seafloor. As the mosaic increases in size, a systematic bias is introduced in the alignment of the images which form the mosaic. Therefore, this accumulative error produces a drift in the estimation of the position of the vehicle. When the arbitrary trajectory of the AUV crosses over itself, it is possible to reduce this propagation of image alignment errors within the mosaic. A Kalman filter with augmented state is proposed to optimally estimate both the visual map and the vehicle position

Aplicació per a la predicció automàtica de la data d'adquisició d'una imatge

En aquesta memòria es presenta un projecte que té com a objectiu principal la creació d'una aplicació que, donada una imatge d'entrada, retorni en quina dècada va ser adquirida la imatge. Apart es pretén millorar els resultats obtinguts en altres estudis sobre la classificació d'imatges segons la seva data d'adquisició. En la memòria s'explica l'estudi realitzat anteriorment sobre el tema i quin ha estat el mètode escollit per millorar els seus resultats. També s'explica com hem creat l'aplicació i els passos que segueix l'aplicació en la seva execució.

Estudi per a una interfície d'ajuda a daltònics en la interpretació de mapes de metro

En aquest projecte fem un estudi de diferents mètodes per a la segmentació i extracció de línies de mapes de metro com a suport per a daltònics. Hem aplicat dos mètodes amb intervenció de l’usuari i cinc mètodes automàtics on fem servir K-means per a la segmentació de color i Hough per a l’extracció de línies. Dels mètodes amb intervenció obtenim millors resultats amb un mètode d’assignació aproximada del color, i entre els autoàatics tenim com a millor una solució ad-hoc sense paràmetres aplicada sobre l’espai RGB. D’acord amb els resultats experimentals, aquests mètodes ens permeten fer una bona segmentació i extracció de les línies de metro.