Calibration of a Structured Light-Based Stereo Catadioptric Sensor

Catadioptric sensors are combinations of mirrors and lenses made in order to obtain a wide field of view. In this paper we propose a new sensor that has omnidirectional viewing ability and it also provides depth information about the nearby surrounding. The sensor is based on a conventional camera coupled with a laser emitter and two hyperbolic mirrors. Mathematical formulation and precise specifications of the intrinsic and extrinsic parameters of the sensor are discussed. Our approach overcomes limitations of the existing omni-directional sensors and eventually leads to reduced costs of production

Robust decoupled visual servoing based on structured light

This paper focuses on the problem of realizing a plane-to-plane virtual link between a camera attached to the end-effector of a robot and a planar object. In order to do the system independent to the object surface appearance, a structured light emitter is linked to the camera so that 4 laser pointers are projected onto the object. In a previous paper we showed that such a system has good performance and nice characteristics like partial decoupling near the desired state and robustness against misalignment of the emitter and the camera (J. Pages et al., 2004). However, no analytical results concerning the global asymptotic stability of the system were obtained due to the high complexity of the visual features utilized. In this work we present a better set of visual features which improves the properties of the features in (J. Pages et al., 2004) and for which it is possible to prove the global asymptotic stability

Plane-to-plane positioning from image-based visual servoing and structured light

In this paper we face the problem of positioning a camera attached to the end-effector of a robotic manipulator so that it gets parallel to a planar object. Such problem has been treated for a long time in visual servoing. Our approach is based on linking to the camera several laser pointers so that its configuration is aimed to produce a suitable set of visual features. The aim of using structured light is not only for easing the image processing and to allow low-textured objects to be treated, but also for producing a control scheme with nice properties like decoupling, stability, well conditioning and good camera trajectory

A new optimised De Bruijn coding strategy for structured light patterns

Coded structured light is an optical technique based on active stereovision that obtains the shape of objects. One shot techniques are based on projecting a unique light pattern with an LCD projector so that grabbing an image with a camera, a large number of correspondences can be obtained. Then, a 3D reconstruction of the illuminated object can be recovered by means of triangulation. The most used strategy to encode one-shot patterns is based on De Bruijn sequences. In This work a new way to design patterns using this type of sequences is presented. The new coding strategy minimises the number of required colours and maximises both the resolution and the accuracy

Implementation of a robust coded structured light technique for dynamic 3D measurements

This paper presents the implementation details of a coded structured light system for rapid shape acquisition of unknown surfaces. Such techniques are based on the projection of patterns onto a measuring surface and grabbing images of every projection with a camera. Analyzing the pattern deformations that appear in the images, 3D information of the surface can be calculated. The implemented technique projects a unique pattern so that it can be used to measure moving surfaces. The structure of the pattern is a grid where the color of the slits are selected using a De Bruijn sequence. Moreover, since both axis of the pattern are coded, the cross points of the grid have two codewords (which permits to reconstruct them very precisely), while pixels belonging to horizontal and vertical slits have also a codeword. Different sets of colors are used for horizontal and vertical slits, so the resulting pattern is invariant to rotation. Therefore, the alignment constraint between camera and projector considered by a lot of authors is not necessary

Behaviours implemented using a vision system based on coded light projection

In a search for new sensor systems and new methods for underwater vehicle positioning based on visual observation, this paper presents a computer vision system based on coded light projection. 3D information is taken from an underwater scene. This information is used to test obstacle avoidance behaviour. In addition, the main ideas for achieving stabilisation of the vehicle in front of an object are presented

Aplicació de visió per dispositius mòbils

En aquest projecte es presenta l’aplicació per a dispositius mòbils Doppelganger. La seva funció és, a partir d’una fotografia, detectar la cara i mostrar la persona famosa de la nostra base de dades que més s’assembla a la persona en la fotografia. Per la implementació s’han utilitzat algoritmes de visió per computador i d’aprenentatge automàtic com per exemple el PCA i el K-Nearest Neighbor, tot utilitzant llibreries gratuïtes com són les OpenCV.

Object and Scene Classification: what does a Supervised Approach Provide us?

Given a set of images of scenes containing different object categories (e.g. grass, roads) our objective is to discover these objects in each image, and to use this object occurrences to perform a scene classification (e.g. beach scene, mountain scene). We achieve this by using a supervised learning algorithm able to learn with few images to facilitate the user task. We use a probabilistic model to recognise the objects and further we classify the scene based on their object occurrences. Experimental results are shown and evaluated to prove the validity of our proposal. Object recognition performance is compared to the approaches of He et al. (2004) and Marti et al. (2001) using their own datasets. Furthermore an unsupervised method is implemented in order to evaluate the advantages and disadvantages of our supervised classification approach versus an unsupervised one

Anàlisi d'imatges estereoscòpiques utilitzant mètodes de baixa càrrega computacional

 Mitjançant imatges estereoscòpiques es poden detectar la posició respecte dela càmera dels objectes que apareixen en una escena. A partir de lesdiferències entre les imatges captades pels dos objectius es pot determinar laprofunditat dels objectes. Existeixen diversitat de tècniques de visió artificialque permeten calcular la localització dels objectes, habitualment amb l’objectiude reconstruir l’escena en 3D. Aquestes tècniques necessiten una gran càrregacomputacional, ja que utilitzen mètodes de comparació bidimensionals, i pertant, no es poden utilitzar per aplicacions en temps real.En aquest treball proposem un nou mètode d’anàlisi de les imatgesestereoscòpiques que ens permeti obtenir la profunditat dels objectes d’unaescena amb uns resultats acceptables. Aquest nou mètode es basa entransformar la informació bidimensional de la imatge en una informacióunidimensional per tal de poder fer la comparació de les imatges amb un baixcost computacional, i dels resultats de la comparació extreure’n la profunditatdels objectes dins l’escena. Això ha de permetre, per exemple, que aquestmètode es pugui implementar en un dispositiu autònom i li permeti realitzaroperacions de guiatge a través d’espais interiors i exteriors.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Automatic Prediction of Facial Trait Judgments: Appearance vs. Structural Models

Evaluating other individuals with respect to personality characteristics plays a crucial role in human relations and it is the focus of attention for research in diverse fields such as psychology and interactive computer systems. In psychology, face perception has been recognized as a key component of this evaluation system. Multiple studies suggest that observers use face information to infer personality characteristics. Interactive computer systems are trying to take advantage of these findings and apply them to increase the natural aspect of interaction and to improve the performance of interactive computer systems. Here, we experimentally test whether the automatic prediction of facial trait judgments (e.g. dominance) can be made by using the full appearance information of the face and whether a reduced representation of its structure is sufficient. We evaluate two separate approaches: a holistic representation model using the facial appearance information and a structural model constructed from the relations among facial salient points. State of the art machine learning methods are applied to a) derive a facial trait judgment model from training data and b) predict a facial trait value for any face. Furthermore, we address the issue of whether there are specific structural relations among facial points that predict perception of facial traits. Experimental results over a set of labeled data (9 different trait evaluations) and classification rules (4 rules) suggest that a) prediction of perception of facial traits is learnable by both holistic and structural approaches; b) the most reliable prediction of facial trait judgments is obtained by certain type of holistic descriptions of the face appearance; and c) for some traits such as attractiveness and extroversion, there are relationships between specific structural features and social perceptions.

Anàlisi d'imatges estereoscòpiques utilitzant mètodes de baixa càrrega computacional

Mitjançant imatges estereoscòpiques es poden detectar la posició respecte de la càmera dels objectes que apareixen en una escena. A partir de les diferències entre les imatges captades pels dos objectius es pot determinar la profunditat dels objectes. Existeixen diversitat de tècniques de visió artificial que permeten calcular la localització dels objectes, habitualment amb l’objectiu de reconstruir l’escena en 3D. Aquestes tècniques necessiten una gran càrrega computacional, ja que utilitzen mètodes de comparació bidimensionals, i per tant, no es poden utilitzar per aplicacions en temps real. En aquest treball proposem un nou mètode d’anàlisi de les imatges estereoscòpiques que ens permeti obtenir la profunditat dels objectes d’una escena amb uns resultats acceptables. Aquest nou mètode es basa en transformar la informació bidimensional de la imatge en una informació unidimensional per tal de poder fer la comparació de les imatges amb un baix cost computacional, i dels resultats de la comparació extreure’n la profunditat dels objectes dins l’escena. Això ha de permetre, per exemple, que aquest mètode es pugui implementar en un dispositiu autònom i li permeti realitzar operacions de guiatge a través d’espais interiors i exteriors.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Clonació del gen de l'envolta de vih en el plàsmid pnl Δenv-Ren per la obtenció de recombinants

Estudi elaborat a partir d’una estada al Laboratori de Inmunopatología del SIDA del Dr Alcamí a l’Instituto de Salud Carlos III-Centro Nacional de Microbiologia, entre finals de desembre de 2006 i març de 2007. L’objectiu ha estat millorar la caracterització de l’envolta del VIH-1 mitjançant l’obtenció de virus recombinants, ja que això permet estudiar l’envolta viral tant genètica com fenotípicament. En aquest cas, s’ha estudiat l'envolta viral dels pacients sotmesos a vacunació terapèutica amb cèl•lules dendrítiques polsades amb virus autòlegs. Durant aquesta estada es realitza un aprenentatge profund de les tècniques adequades per a l'amplificació i clonatge del gen complet de l'envolta del VIH-1 (env), així com de l’obtenció de virus recombinants amb l’envolta del pacient i els corresponents assaigs de tropisme viral i neutralització sèrica. Aquesta metodologia empra el virus quimèric pNL4.3 delta_env Renilla, construït a partir del virus de referència NL4.3 i que té dues característiques importants: la primera és que conté un gen marcador Renilla, que a l’interior de les cèl•lules infectades té activitat luciferasa. La utilització del virus pNL4.3 delta_env Renilla en assaigs de neutralització presenta diversos avantatges front altres assaigs més convencionals, tant a nivell de sensibilitat i especificitat com d’estalvi de temps.

Dance movement patterns recognition

"Es tracta d'un projecte dividit en dues parts independents però complementàries, realitzades per autors diferents. Aquest document conté originàriament altre material i/o programari només consultable a la Biblioteca de Ciència i Tecnologia"