图像不变局部特征研究及应用

图像不变局部特征是新近兴起的一类图像特征，基于不变局部特征的图像表示是计算机视觉的热点研究问题，在理论研究和实际应用上都具有重要意义。本论文针对图像不变局部特征的原理特性及应用展开研究：（1）当今流行的不变局部特征检测和描述方法；（2）局部特征组织方式；（3）基于局部不变特征的摄像机运动检测方法；（4）基于局部特征组合的目标模型及识别方法。 深入研究了当今流行的不变局部特征检测子，重点分析了其提取原理、特征结构、不变性阶次、精确度等特性，在此基础上对多种检测子进行比较分析，得出各自的适用范围，并总结出在具体应用环境下的特征选择原则。 针对视频分析中摄像机运动检测的具体应用，提出一种基于尺度不变局部特征的摄像机运动检测方法。该方法选取尺度不变局部特征，采用无序特征集合的方式表示图像帧，通过帧间局部特征的匹配，提出归一化软投票的方法鲁棒地估计特征匹配对的位置、尺度的变化，并根据各变化值和投票数的特点识别出摄像机的运动类型。该方法简单、鲁棒，满足了摄像机运动检测的处理速度和准确性需求。 针对基于局部特征的目标表示和识别问题，研究分析现有两种模型bag-of-words和part-based的优缺点，将二者结合，提出一种局部特征组合的目标表示模型和相应的识别算法。该方法在半局部区域内的特征同时进行外观描述和空间位置编码，并用数据挖掘中的频繁项挖掘技术自动提取出表征目标的特征组合，作为子模型。目标模型由一系列子模型构成，子模型的数量及每个子模型中包含的部件数目均自动从训练集中发现，是完全目标自适应的。所提方法克服了bag-of-words方法表达的精确性不足、part-based方法训练速度过慢的缺点，在识别问题上得到了较好的总体性能。

Object Matching in Distributed Video Surveillance Systems by LDA-Based Appearance Descriptors

Establishing correspondences among object instances is still challenging in multi-camera surveillance systems, especially when the cameras’ fields of view are non-overlapping. Spatiotemporal constraints can help in solving the correspondence problem but still leave a wide margin of uncertainty. One way to reduce this uncertainty is to use appearance information about the moving objects in the site. In this paper we present the preliminary results of a new method that can capture salient appearance characteristics at each camera node in the network. A Latent Dirichlet Allocation (LDA) model is created and maintained at each node in the camera network. Each object is encoded in terms of the LDA bag-of-words model for appearance. The encoded appearance is then used to establish probable matching across cameras. Preliminary experiments are conducted on a dataset of 20 individuals and comparison against Madden’s I-MCHR is reported.

La visión artificial, un nuevo aliado para el análisis de imágenes artísticas

En este estudio se evalúa el rendimiento de los métodos de Bag-of-Visualterms (BOV) para la clasificación automática de imágenes digitales de la base de datos del artista Miquel Planas. Estas imágenes intervienen en la ideación y diseño de su producción escultórica. Constituye un interesante desafío dada la dificultad de la categorización de escenas cuando éstas difieren más por los contenidos semánticos que por los objetos que contienen. Hemos empleado un método de reconocimiento basado en Kernels introducido por Lazebnik, Schmid y Ponce en 2006. Los resultados son prometedores, en promedio, la puntuación del rendimiento es aproximadamente del 70%. Los experimentos sugieren que la categorización automática de imágenes basada en métodos de visión artificial puede proporcionar principios objetivos en la catalogación de imágenes y que los resultados obtenidos pueden ser aplicados en diferentes campos de la creación artística.

Common-sense reasoning for human action recognition

This paper presents a novel method that leverages reasoning capabilities in a computer vision system dedicated to human action recognition. The proposed methodology is decomposed into two stages. First, a machine learning based algorithm - known as bag of words - gives a first estimate of action classification from video sequences, by performing an image feature analysis. Those results are afterward passed to a common-sense reasoning system, which analyses, selects and corrects the initial estimation yielded by the machine learning algorithm. This second stage resorts to the knowledge implicit in the rationality that motivates human behaviour. Experiments are performed in realistic conditions, where poor recognition rates by the machine learning techniques are significantly improved by the second stage in which common-sense knowledge and reasoning capabilities have been leveraged. This demonstrates the value of integrating common-sense capabilities into a computer vision pipeline. © 2012 Elsevier B.V. All rights reserved.

Novel genetic susceptibility loci for diabetic end-stage renal disease identified through robust naive Bayes classification

Aims/hypothesis: Diabetic nephropathy is a major diabetic complication, and diabetes is the leading cause of end-stage renal disease (ESRD). Family studies suggest a hereditary component for diabetic nephropathy. However, only a few genes have been associated with diabetic nephropathy or ESRD in diabetic patients. Our aim was to detect novel genetic variants associated with diabetic nephropathy and ESRD. Methods: We exploited a novel algorithm, ‘Bag of Naive Bayes’, whose marker selection strategy is complementary to that of conventional genome-wide association models based on univariate association tests. The analysis was performed on a genome-wide association study of 3,464 patients with type 1 diabetes from the Finnish Diabetic Nephropathy (FinnDiane) Study and subsequently replicated with 4,263 type 1 diabetes patients from the Steno Diabetes Centre, the All Ireland-Warren 3-Genetics of Kidneys in Diabetes UK collection (UK–Republic of Ireland) and the Genetics of Kidneys in Diabetes US Study (GoKinD US). Results: Five genetic loci (WNT4/ZBTB40-rs12137135, RGMA/MCTP2-rs17709344, MAPRE1P2-rs1670754, SEMA6D/SLC24A5-rs12917114 and SIK1-rs2838302) were associated with ESRD in the FinnDiane study. An association between ESRD and rs17709344, tagging the previously identified rs12437854 and located between the RGMA and MCTP2 genes, was replicated in independent case–control cohorts. rs12917114 near SEMA6D was associated with ESRD in the replication cohorts under the genotypic model (p < 0.05), and rs12137135 upstream of WNT4 was associated with ESRD in Steno. Conclusions/interpretation: This study supports the previously identified findings on the RGMA/MCTP2 region and suggests novel susceptibility loci for ESRD. This highlights the importance of applying complementary statistical methods to detect novel genetic variants in diabetic nephropathy and, in general, in complex diseases.

Generating a Word-Emotion Lexicon from #Emotional Tweets

Research in emotion analysis of text suggest that emotion lexicon based features are superior to corpus based n-gram features. However the static nature of the general purpose emotion lexicons make them less suited to social media analysis, where the need to adopt to changes in vocabulary usage and context is crucial. In this paper we propose a set of methods to extract a word-emotion lexicon automatically from an emotion labelled corpus of tweets. Our results confirm that the features derived from these lexicons outperform the standard Bag-of-words features when applied to an emotion classification task. Furthermore, a comparative analysis with both manually crafted lexicons and a state-of-the-art lexicon generated using Point-Wise Mutual Information, show that the lexicons generated from the proposed methods lead to significantly better classi- fication performance.

Contribuições para a localização e mapeamento em robótica através da identificação visual de lugares

Tese de doutoramento, Informática (Engenharia Informática), Universidade de Lisboa, Faculdade de Ciências, 2015

Text mining e twitter : o poder das redes sociais num mercado competitivo

Actualmente, com a massificação da utilização das redes sociais, as empresas passam a sua mensagem nos seus canais de comunicação, mas os consumidores dão a sua opinião sobre ela. Argumentam, opinam, criticam (Nardi, Schiano, Gumbrecht, & Swartz, 2004). Positiva ou negativamente. Neste contexto o Text Mining surge como uma abordagem interessante para a resposta à necessidade de obter conhecimento a partir dos dados existentes. Neste trabalho utilizámos um algoritmo de Clustering hierárquico com o objectivo de descobrir temas distintos num conjunto de tweets obtidos ao longo de um determinado período de tempo para as empresas Burger King e McDonald’s. Com o intuito de compreender o sentimento associado a estes temas foi feita uma análise de sentimentos a cada tema encontrado, utilizando um algoritmo Bag-of-Words. Concluiu-se que o algoritmo de Clustering foi capaz de encontrar temas através do tweets obtidos, essencialmente ligados a produtos e serviços comercializados pelas empresas. O algoritmo de Sentiment Analysis atribuiu um sentimento a esses temas, permitindo compreender de entre os produtos/serviços identificados quais os que obtiveram uma polaridade positiva ou negativa, e deste modo sinalizar potencias situações problemáticas na estratégia das empresas, e situações positivas passíveis de identificação de decisões operacionais bem-sucedidas.

Concept oriented biomedical information retrieval

Le domaine biomédical est probablement le domaine où il y a les ressources les plus riches. Dans ces ressources, on regroupe les différentes expressions exprimant un concept, et définit des relations entre les concepts. Ces ressources sont construites pour faciliter l’accès aux informations dans le domaine. On pense généralement que ces ressources sont utiles pour la recherche d’information biomédicale. Or, les résultats obtenus jusqu’à présent sont mitigés : dans certaines études, l’utilisation des concepts a pu augmenter la performance de recherche, mais dans d’autres études, on a plutôt observé des baisses de performance. Cependant, ces résultats restent difficilement comparables étant donné qu’ils ont été obtenus sur des collections différentes. Il reste encore une question ouverte si et comment ces ressources peuvent aider à améliorer la recherche d’information biomédicale. Dans ce mémoire, nous comparons les différentes approches basées sur des concepts dans un même cadre, notamment l’approche utilisant les identificateurs de concept comme unité de représentation, et l’approche utilisant des expressions synonymes pour étendre la requête initiale. En comparaison avec l’approche traditionnelle de "sac de mots", nos résultats d’expérimentation montrent que la première approche dégrade toujours la performance, mais la seconde approche peut améliorer la performance. En particulier, en appariant les expressions de concepts comme des syntagmes stricts ou flexibles, certaines méthodes peuvent apporter des améliorations significatives non seulement par rapport à la méthode de "sac de mots" de base, mais aussi par rapport à la méthode de Champ Aléatoire Markov (Markov Random Field) qui est une méthode de l’état de l’art dans le domaine. Ces résultats montrent que quand les concepts sont utilisés de façon appropriée, ils peuvent grandement contribuer à améliorer la performance de recherche d’information biomédicale. Nous avons participé au laboratoire d’évaluation ShARe/CLEF 2014 eHealth. Notre résultat était le meilleur parmi tous les systèmes participants.

Scene Classification Using a Hybrid Generative/Discriminative Approach

We investigate whether dimensionality reduction using a latent generative model is beneficial for the task of weakly supervised scene classification. In detail, we are given a set of labeled images of scenes (for example, coast, forest, city, river, etc.), and our objective is to classify a new image into one of these categories. Our approach consists of first discovering latent ";topics"; using probabilistic Latent Semantic Analysis (pLSA), a generative model from the statistical text literature here applied to a bag of visual words representation for each image, and subsequently, training a multiway classifier on the topic distribution vector for each image. We compare this approach to that of representing each image by a bag of visual words vector directly and training a multiway classifier on these vectors. To this end, we introduce a novel vocabulary using dense color SIFT descriptors and then investigate the classification performance under changes in the size of the visual vocabulary, the number of latent topics learned, and the type of discriminative classifier used (k-nearest neighbor or SVM). We achieve superior classification performance to recent publications that have used a bag of visual word representation, in all cases, using the authors' own data sets and testing protocols. We also investigate the gain in adding spatial information. We show applications to image retrieval with relevance feedback and to scene classification in videos

Efficient 3D scene modeling and mosaicing

El modelat d'escenes és clau en un gran ventall d'aplicacions que van des de la generació mapes fins a la realitat augmentada. Aquesta tesis presenta una solució completa per a la creació de models 3D amb textura. En primer lloc es presenta un mètode de Structure from Motion seqüencial, a on el model 3D de l'entorn s'actualitza a mesura que s'adquireix nova informació visual. La proposta és més precisa i robusta que l'estat de l'art. També s'ha desenvolupat un mètode online, basat en visual bag-of-words, per a la detecció eficient de llaços. Essent una tècnica completament seqüencial i automàtica, permet la reducció de deriva, millorant la navegació i construcció de mapes. Per tal de construir mapes en àrees extenses, es proposa un algorisme de simplificació de models 3D, orientat a aplicacions online. L'eficiència de les propostes s'ha comparat amb altres mètodes utilitzant diversos conjunts de dades submarines i terrestres.

Cap a un model per interpretar i facilitar l'aprendre: estratègies i recursos per a la reflexió-acció en i des de la pràctica

1.- L'enquadrament d'aquest treball de recerca s'ha fet en i des de la praxis. EI que interessa és descobrir i proposar instruments pedagògics d'ajuda, assequibles i contextualitzats, especialment en el terreny de la comunicació i la interacció Educador-Educand. La metodologia que s'ha fet servir és de caire qualitatiu, etnogràfic, en un enfocament basat en la investigació-acció. La visió de la persona és volgudament holística; els sentiments, els significats, I' orientació personal, I' autodirecció. esdevenen elements centrals. La hipòtesi de treball, en la qual es fonamenta la recerca, podria formular-se així: 'En la pràctica, els Educadors, d'una forma més o menys reflexiva, perceben i interpreten el procés d'aprendre dels Educands; hi intervenen, el mediatitzen; n'avaluen la direcció i l'encert". A partir d'aquest supòsit, l'investigador veu convenient donar resposta a tres qüestions centrals: A) Com comprenem i interpretem els Educadors el procés d'aprendre dels Educands?; B) Quin tipus d'intervenció resultarà adient per promoure i/o facilitar l'aprendre?; C) Amb quins instruments i estratègies comptem per ajudar pedagògicament? 2.- Per llegir l'aprendre, l'investigador fa ús d'un model mental, indispensable per ordenar les dades de l'experiència. Convé, per tant, explicitar-lo, fer-ne ciència, coneixement compartit. En aquesta direcció de treball se li plantegen dos tipus d'interrogants: A) Quins són els elements comuns a qualsevol experiència d'aprenentatge?; Quina mena d'activitat o experiència personal desenvolupen tots els Educands; i B) Com es manifesta aquesta experiència? Amb quins indicadors? Quina mena de "text" llegeix l'Educador per orientar la seva intervenció d'ajuda? 3.- L'aprenentatge. en aquest treball, és considerat per l'investigador com la resultant de tres processos personals: el posicionament, l'estratègia i l'avaluació. Quan l'Educador vol compartir amb l'Educand el seu procés idiosincràtic d'aprendre, procura reconstruir amb ell aquestes tres accions bàsiques: A) Com es posiciona: què tem o desitja, què creu, què espera, quines expectatives viu, com es motiva? B) Quines són les seves pautes d'actuació: com treballa, com memoritza, com recupera la informació que té a la memòria, què fa davant d'un problema... ? C) Què busca; què és important per a ella; què pretén... ? 4.- Davant la complexitat dels missatges emesos per l'Educand l'investigador opta per llegir tres tipus de "textos": els productes i els resultats; les conductes; i els missatges parlats. Entre tots tres, pensa, podrà trobar elements i indicadors adequats per fonamentar, sempre hipotèticament, la seva actuació pedagògica. 5.- Procura sobretot detectar i fer existir els èxits, aquells productes i/o resultats que l'Educand troba valuosos, per tal d'ajudar-lo a prendre consciència dels seu repertori personal d'estratègies i capacitats. En aquest àmbit es proposen tres actituds o enfocaments del treball d'ajuda: A) El primer fa referència a la presa de consciència de l'estratègia personal, que s'amaga darrera el producte valorat. B) El segon apunta cap al respecte per l'estratègia que cadascú executa i, per tant, li és familiar. L'Educand la necessita. Es la seva. Es troba en la seva experiència, encara que no necessàriament existeixi en la seva construcció conscient. C) El tercer ,el duu a valorar l'estratègia d'acord amb les finalitats de l'Educand. La seva adequació es legitima pel que es proposa. Partim del supòsit que tota conducta es troba dirigida per un propòsit a vegades difícil de copsar i no sempre recomanable per a l'Educand. 6.- La conducta percebuda de l'Educand és entesa com un missatge, un conjunt d'indicadors de la seva activitat contextualitzada, interna i externa; missatge que, en relació amb altres, com els productes i les verbalitzacions, manifesta fragments dels seus significats, projectes, estratègies, valors. Es fa un èmfasi especial en les conductes "internes", els gestos mentals, l'acció interior, tramesa per mitja de microcomportaments sovint no conscient, i certificada per mitjà de la verbalització del viscut. 7.- Parlar amb l'Educand suposa dues menes d'accions: escoltar i emetre. Escoltem per comprendre; emetem per perfilar la comprensió i també per ajudar. En l'emissió, el missatge pedagògic té dues funcions: a) rellançar i orientar el pensament i l'autoexploració de l'Educand; i b) influir per tal que desenvolupi amb èxit el seu projecte d'aprendre. Interessa d'una manera especial ajudar a integrar en la consciència de l'Educand aquests elements de la seva experiència que poden facilitar-li l'adquisició del coneixement. I entenem que, en aquesta empresa, la paraula i la interacció verbal poden tenir-hi un joc important. Per aquesta raó s'ha considerat necessari oferir un model d'anàlisi de la interacció i els missatges verbals. 8.- "Les persones aprenen sempre, amb recursos, processos i sistemes de valoració idiosincràtics, per fa qual cosa la seva orientació en el context esdevé un referent central en el disseny de l'ajuda pedagògica i en la seva avaluació". Aquesta és la hipòtesi de sortida per dissenyar la intervenció pedagògica. Tothom aprèn, inevitablement; la qüestió és quina cosa està aprenent i de quina manera els seus resultats d'ara són mediatitzats per l'experiència passada i, alhora, condicionen el seu aprendre futur. L'aprenent es posiciona, anticipa el procés d' aprendre, valora la seva. capacitat per desenvolupar-lo amb èxit, es motiva en una determinada direcció, d'acord amb la seva experiència, els seus aprenentatges anteriors. Executa estratègies, mostra un tipus d'intel·ligència, una forma personal de processar la informació. Pretén quelcom. És un sistema obert en relació amb el medi: hi ha uns valors que dirigeixen la seva presa de decisions. Utilitza uns criteris propis, una gamma personal d'opcions conscients. Avalua el que fa, el resultat que obté i la seva capacitat personal. 9.- L'ajuda pedagògica que I' autor proposa s'encamina sobretot a facilitar en l'Educand la descoberta dels seus propis recursos. Es tracta de portar-lo cap a la consideració atenta de la seva pròpia experiència, per amplificar-la i fer-la existir com a recurs conscient . Ha dibuixat i experimentat tres conjunts d'intervenció cadascun enfocat vers un àmbit de l'experiència d'aprendre, el qual col·loca com a prioritari, sense oblidar qualsevol dels altres que pugui ser rellevant, per comprendre o ajudar. A) Intervenció sobre el posicionament. En aquest àmbit enfoca l'estil de motivació que executa l'Educand, mira de corregir-lo, si cal, a partir de l'anàlisi i la comprensió de les seves formes de motivar-se quan ell viu l'èxit. Treballa proposant objectius paradoxals de fracàs gairebé impossible, buscant l'assoliment de petits èxits, potser aparentment insignificants, però estratègics; prescriu l'automatisme, per modificar-lo si l'Educand ho desitja; comprova el procés d'anticipació de I' experiència que l'aprenent es construeix per orientar-se; l'ajuda a contextualitzar anticipació i a fer ús dels seus Ilenguatges interns més eficaços i còmodes;... B) Intervenció sobre les estratègies i processos. En un segon enfocament, no necessàriament posterior al descrit, considera les estratègies de I'Educand, també a partir dels seus encerts i èxits. Mira de portar-lo cap a fa descripció i presa de consciència de les seves maneres de fer mes còmodes i segures, les que lliguen amb les seves preferències cerebrals. Quan viu dificultats, el convida a explorar les excepcions, els moments en els quals les seves realitzacions són satisfactòries. Pretén sobretot modificar les seves creences limitants, posant-lo en conflicte amb els fets de l'experiència. A vegades, caldrà facilitar l'adquisició d'estratègies i procediments nous que l'Educand considera plausibles. Es tracta específicament de fer existir opcions noves d'actuació per tal d'assolir allò que vol i/o necessita. C) Intervenció sobre el sistema de valors de l'Educand. L'Educand viu uns valors, els quals expliquen el seu món intern les conductes que realitza i els resultats que obté. Aquest àmbit és col·locat, en el model, al centre del procés d'aprendre. Hom actua amb propòsits determinats, no necessariament conscients. L'obertura de la persona a l'experiència d'aprendre es dirigeix segons criteris i valors irrenunciables. 10.- L 'Educador procura compartir els objectius de l'Educand i els seus projectes per assolir-los; vol tanmateix que se'n faci coneixedor i director responsable. Per a això li convé preguntar-se per quina mena d'experiència està desenvolupant i quin sentit ecològic te per a ell. L'Educador, el seu model del món, la seva persona, està compromès en el procés d'ajuda. No és només un tècnic que aplica recursos objectius. El seu model de comunicació, el seu pensament, les seves expectatives i anticipacions, tenen un pes considerable en el tipus d'intervenció pedagògica que durà a terme i, d'escreix, en el tipus d' aprenentatge que facilita. En la intervenció, l'Educador parteix d'una avaluació intencionadament positiva, centrada en els recursos i les solucions, en la metacognició i l'autoregulació dels processos, a partir de premisses que pressuposen l'èxit personal.

Integrated visual vocabulary in latent Dirichlet allocation-based scene classification for IKONOS image

Scene classification based on latent Dirichlet allocation (LDA) is a more general modeling method known as a bag of visual words, in which the construction of a visual vocabulary is a crucial quantization process to ensure success of the classification. A framework is developed using the following new aspects: Gaussian mixture clustering for the quantization process, the use of an integrated visual vocabulary (IVV), which is built as the union of all centroids obtained from the separate quantization process of each class, and the usage of some features, including edge orientation histogram, CIELab color moments, and gray-level co-occurrence matrix (GLCM). The experiments are conducted on IKONOS images with six semantic classes (tree, grassland, residential, commercial/industrial, road, and water). The results show that the use of an IVV increases the overall accuracy (OA) by 11 to 12% and 6% when it is implemented on the selected and all features, respectively. The selected features of CIELab color moments and GLCM provide a better OA than the implementation over CIELab color moment or GLCM as individuals. The latter increases the OA by only ∼2 to 3%. Moreover, the results show that the OA of LDA outperforms the OA of C4.5 and naive Bayes tree by ∼20%. © 2014 Society of Photo-Optical Instrumentation Engineers (SPIE) [DOI: 10.1117/1.JRS.8.083690]

ReadingAct RGB-D action dataset and human action recognition from local features

For general home monitoring, a system should automatically interpret people’s actions. The system should be non-intrusive, and able to deal with a cluttered background, and loose clothes. An approach based on spatio-temporal local features and a Bag-of-Words (BoW) model is proposed for single-person action recognition from combined intensity and depth images. To restore the temporal structure lost in the traditional BoW method, a dynamic time alignment technique with temporal binning is applied in this work, which has not been previously implemented in the literature for human action recognition on depth imagery. A novel human action dataset with depth data has been created using two Microsoft Kinect sensors. The ReadingAct dataset contains 20 subjects and 19 actions for a total of 2340 videos. To investigate the effect of using depth images and the proposed method, testing was conducted on three depth datasets, and the proposed method was compared to traditional Bag-of-Words methods. Results showed that the proposed method improves recognition accuracy when adding depth to the conventional intensity data, and has advantages when dealing with long actions.

Application execution management on the InteGrade opportunistic grid middleware

The InteGrade project is a multi-university effort to build a novel grid computing middleware based on the opportunistic use of resources belonging to user workstations. The InteGrade middleware currently enables the execution of sequential, bag-of-tasks, and parallel applications that follow the BSP or the MPI programming models. This article presents the lessons learned over the last five years of the InteGrade development and describes the solutions achieved concerning the support for robust application execution. The contributions cover the related fields of application scheduling, execution management, and fault tolerance. We present our solutions, describing their implementation principles and evaluation through the analysis of several experimental results. (C) 2010 Elsevier Inc. All rights reserved.