Object recognition for autonomous objects: comparison of two approaches

Report for the scientific sojourn at the Swiss Federal Institute of Technology Zurich, Switzerland, between September and December 2007. In order to make robots useful assistants for our everyday life, the ability to learn and recognize objects is of essential importance. However, object recognition in real scenes is one of the most challenging problems in computer vision, as it is necessary to deal with difficulties. Furthermore, in mobile robotics a new challenge is added to the list: computational complexity. In a dynamic world, information about the objects in the scene can become obsolete before it is ready to be used if the detection algorithm is not fast enough. Two recent object recognition techniques have achieved notable results: the constellation approach proposed by Lowe and the bag of words approach proposed by Nistér and Stewénius. The Lowe constellation approach is the one currently being used in the robot localization project of the COGNIRON project. This report is divided in two main sections. The first section is devoted to briefly review the currently used object recognition system, the Lowe approach, and bring to light the drawbacks found for object recognition in the context of indoor mobile robot navigation. Additionally the proposed improvements for the algorithm are described. In the second section the alternative bag of words method is reviewed, as well as several experiments conducted to evaluate its performance with our own object databases. Furthermore, some modifications to the original algorithm to make it suitable for object detection in unsegmented images are proposed.

ETIKETAGGER: herramienta para el etiquetaje de secuencias de imágenes

La adaptación del reconocimiento de objetos sobre la robótica móvil requiere un enfoque y nuevas aplicaciones que optimicen el entrenamiento de los robots para obtener resultados satisfactorios. Es conocido que el proceso de entrenamiento es largo y tedioso, donde la intervención humana es absolutamente necesaria para supervisar el comportamiento del robot y la dirección hacia los objetivos. Es por esta razón que se ha desarrollado una herramienta que reduce notablemente el esfuerzo humano que se debe hacer para esta supervisión, automatizando el proceso necesario para obtener una evaluación de resultados, y minimizando el tiempo que se malgasta debido a errores humanos o falta de infraestructuras.

Multi-scale label interaction to improve object detection and segmentation

The project aims at advancing the state of the art in the use of context information for classification of image and video data. The use of context in the classification of images has been showed of great importance to improve the performance of actual object recognition systems. In our project we proposed the concept of Multi-scale Feature Labels as a general and compact method to exploit the local and global context. The feature extraction from the discriminative probability or classification confidence label field is of great novelty. Moreover the use of a multi-scale representation of the feature labels lead to a compact and efficient description of the context. The goal of the project has been also to provide a general-purpose method and prove its suitability in different image/video analysis problem. The two-year project generated 5 journal publications (plus 2 under submission), 10 conference publications (plus 2 under submission) and one patent (plus 1 pending). Of these publications, a relevant number make use of the main result of this project to improve the results in detection and/or segmentation of objects.

Reconeixement i seguiment d’objectes en vídeo a partir del seu moviment

L’objectiu d’aquest PFC és estudiar la branca de la detecció d’objectes en vídeos segons el seu moviment. Per fer-ho es crearà un algorisme que sigui capaç de tractar un vídeo, calculant el nombre d’objectes de l’escena i quina és la posició de cada un d’aquests. L’algorisme ha de ser capaç de trobar un conjunt de regions útils i a partir d’aquest, separar-lo en diferents grups, cada un representant un objecte en moviment. La finalitat d’aquest projecte és l’estudi de la detecció d’objectes en vídeo. Intentarem crear un algorisme que ens permeti dur a terme aquest estudi i treure’n conclusions. Pretenem fer un algorisme, o un conjunt d’algorismes, en Matlab que sigui capaç de donat qualsevol vídeo, pugui retornar un conjunt de imatges, o un vídeo, amb els diferents objectes de l’escena destacats. Es faran proves en diferents situacions, des de objectes sintètics amb un moviment clarament definit, fins a proves en seqüències reals extretes de diferents pel•lícules. Per últim es pretén comprovar l’eficiència d’aquest. Ja que el projecte s’emmarca en la línia de recerca de robòtica i visió per computador, la tasca principal serà la manipulació d’imatges. Per tant farem servir el Matlab, ja que les imatges no son res més que matrius i aquest programa permet el càlcul vectorial i matricial d’una manera senzilla i realment eficient

Reconeixement i seguiment d’objectes en vídeo a partir del seu moviment

L’objectiu d’aquest PFC és estudiar la branca de la detecció d’objectes en vídeos segons el seu moviment. Per fer-ho es crearà un algorisme que sigui capaç de tractar un vídeo, calculant el nombre d’objectes de l’escena i quina és la posició de cada un d’aquests. L’algorisme ha de ser capaç de trobar un conjunt de regions útils i a partir d’aquest, separar-lo en diferents grups, cada un representant un objecte en moviment. La finalitat d’aquest projecte és l’estudi de la detecció d’objectes en vídeo. Intentarem crear un algorisme que ens permeti dur a terme aquest estudi i treure’n conclusions. Pretenem fer un algorisme, o un conjunt d’algorismes, en Matlab que sigui capaç de donat qualsevol vídeo, pugui retornar un conjunt de imatges, o un vídeo, amb els diferents objectes de l’escena destacats. Es faran proves en diferents situacions, des de objectes sintètics amb un moviment clarament definit, fins a proves en seqüències reals extretes de diferents pel•lícules. Per últim es pretén comprovar l’eficiència d’aquest. Ja que el projecte s’emmarca en la línia de recerca de robòtica i visió per computador, la tasca principal serà la manipulació d’imatges. Per tant farem servir el Matlab, ja que les imatges no son res més que matrius i aquest programa permet el càlcul vectorial i matricial d’una manera senzilla i realment eficient

Desenvolupament d’un sistema de visió estereoscòpica per a la reconstrucció tridimensional d’objectes

El projecte consisteix en analitzar, dissenyar i desenvolupar un sistemaestèreo binocular (format per dues càmeres) sobre un suport que ofereixi la mobilitat iportabilitat necessària per utilitzar-lo de forma independent, és a dir, sense necessitat deconnexió a un ordinador, ja que normalment, els sistemes de visió per computador solenincorporar un ordinador amb un frame grabber (placa de captura d’imatges). Per a dur a terme elsistema estèreo més adient, s’analitzaran els requeriments necessaris, s’estudiaran diferentsalternatives, i finalment, es desenvoluparà i es demostrarà el funcionament del sistema en qüestió

Desenvolupament d’un sistema de visió estereoscòpica per a la reconstrucció tridimensional d’objectes

El projecte consisteix en analitzar, dissenyar i desenvolupar un sistema estèreo binocular (format per dues càmeres) sobre un suport que ofereixi la mobilitat i portabilitat necessària per utilitzar-lo de forma independent, és a dir, sense necessitat de connexió a un ordinador, ja que normalment, els sistemes de visió per computador solen incorporar un ordinador amb un frame grabber (placa de captura d’imatges). Per a dur a terme el sistema estèreo més adient, s’analitzaran els requeriments necessaris, s’estudiaran diferents alternatives, i finalment, es desenvoluparà i es demostrarà el funcionament del sistema en qüestió

La incidència de l’afinació en el reconeixement auditiu dels intervals harmònics: una experiència a l’inici dels estudis musicals especialitzats de grau mitjà.

L’article presenta una investigació sobre la incidència de l’afinació vocal en el reconeixement auditiu dels intervals harmònics. La recerca s’ha realitzat durant el curs acadèmic 2006-07 en el context del Conservatori Professional de Música de Girona, concretant-se la mostra d’estudi en els alumnes de primer curs de grau mitjà. S’hi exposen en primer lloc les línies bàsiques del concepte d’educació de l’oïda musical, que seguidament s’especifiquen en l’afinació i el reconeixement auditiu dels intervals musicals. Posteriorment es relata el procediment metodològic que s’ha dut a terme en aquest estudi de cas, detallant-se els resultats musicals obtinguts a través de la realització d’un test de nivell de reconeixement auditiu harmònic. Aquest test s’ha efectuat prèviament i posterior a un breu treball d’intervenció vocal. L’estratègia de recerca es completa mitjançant unes enquestes adreçades als alumnes i als seus corresponents professors especialitzats en Llenguatge Musical. Les conclusions de la investigació ens permeten confirmar que l’afinació vocal ha incidit positivament en el reconeixement auditiu dels intervals harmònics.

Disseny i implementació hardware d'algorismes de reconeixement de caràcters per comptadors d'aigua

Aquest projecte consisteix en l'estudi, comparació i implementació en hardware d'algoritmes de reconeixement de caràcters per integrar en un sistema intel·ligent de captura d'imatges. Aquest sistema, integrat per una càmera amb format i característiques específiques i que anirà acoblat a un comptador d'aigua tradicional, en captarà imatges i les enviarà per RF al punt de recepció de la companyia. L'objectiu principal consisteix en aconseguir un disseny que redueixi al màxim la quantitat d'informació per transmetre, tenint en compte les limitacions de l'entorn.

Reconeixement de la digitalització com a un mètode de preservació per reformatatge

L'Association of Research Libraries (ARL) considera la digitalització com a una opció acceptada per a la preservació de diferents materials mitjançant el reformatatge ("reformatting"). Aquest document l'ha redactat un conjunt d'experts de diferents universitats, amb comentaris d'especialistes en preservació, amb l'objectiu de facilitar el desenvolupament i implementació de polítiques, estàndards, guies i millors pràctiques on encara no s'apliquen. L'informe s'adreça principalment a la preservació del material en suport paper però també a com preservar, a través del reformatatge, materials que actualment es troben en diversos suports. Ofereix un estudi comparatiu de diferents tecnologies que poden ajudar a prendre una decisió sobre quina estratègia de preservació cal seguir, enumera quins beneficis comporta la digitalització per a la preservació, proporciona una introducció als estàndards i millors pràctiques de reformatatge digital i en descriu l'estat actual així com els compromisos que s'adopten per a la preservació a llarg termini. Finalment dóna a conèixer els webs de projectes i iniciatives més rellevants en la matèria.

Arquitectures d'Aprenentatge Automàtic per al Reconeixement d'Estructures Lingüístiques en el Text

Estudi realitzat a partir d’una estada al Computer Science and Artificial Intelligence Lab, del Massachusetts Institute of Technology, entre 2006 i 2008. La recerca desenvolupada en aquest projecte se centra en mètodes d'aprenentatge automàtic per l'anàlisi sintàctica del llenguatge. Com a punt de partida, establim que la complexitat del llenguatge exigeix no només entendre els processos computacionals associats al llenguatge sinó també entendre com es pot aprendre automàticament el coneixement per a dur a terme aquests processos.

Aplicacions de reconeixement de la parla: sistemes de respeaking III

En aquest projecte es fa una introducció als reconeixedors de la parla, el seu funcionament i la seva base matemàtica. Un cop tots els conceptes han quedat clars, es mostra el mètode de creació que hem seguit per obtenir el nostre propi reconeixedor de la parla, utilitzant les eines HTK, en català. S’avaluen les seves virtuts i els seus defectes a través de diferents proves realitzades als seus components. A més a més, el projecte arrodoneix la feina implementant un sistema de dictat automàtic que explota el reconeixedor de la parla utilitzant Julius.

Sistema de reconeixement de cares basat en múltiples vistes

En aquest projecte es proposa un algorisme de detecció de pell que introdueix el veïnatge a l’hora de classificar píxels. Partim d’un espai de color invariant après a partir de múltiples vistes i introduïm la influència del veïnatge mitjançant camps aleatoris de Markov. A partir dels experiments realitzats podem concloure que la inclusió del veïnatge en el procés de classificació de píxels millora significativament els resultats de detecció.

Sistema de reconeixement de veu per a domòtica

Se discute y se prueba la viabilidad de un sistema reconocedor de voz, así como su integración en una aplicación gráfica que simula una vivienda domótica. Se hace uso de tecnologías de reconocimiento del habla para llevar a cabo la primera parte del proyecto. Para la creación de la interfaz gráfica se utilizan tecnologías gráficas tridimensionales para dar más realismo al simulador.

Eigen Faces: Detecció, Classificació/Reconeixement de cares

En aquest projecte es pretén utilitzar mètodes coneguts com ara Viola&Jones (detecció) i EigenFaces (reconeixement) per a detectar i reconèixer cares dintre d’imatges de vídeo. Per a aconseguir aquesta tasca cal partir d’un conjunt de dades d’entrenament per a cada un dels mètodes (base de dades formada per imatges i anotacions manuals). A partir d’aquí, l’aplicació, ha de ser capaç de detectar cares en noves imatges i reconèixer-les (identificar de quina cara es tracta)