Seleção seqüencial de descritores por análise da semântica para recuperação de imagens baseada no conteúdo

With the rapid growth of databases of various types (text, multimedia, etc..), There exist a need to propose methods for ordering, access and retrieve data in a simple and fast way. The images databases, in addition to these needs, require a representation of the images so that the semantic content characteristics are considered. Accordingly, several proposals such as the textual annotations based retrieval has been made. In the annotations approach, the recovery is based on the comparison between the textual description that a user can make of images and descriptions of the images stored in database. Among its drawbacks, it is noted that the textual description is very dependent on the observer, in addition to the computational effort required to describe all the images in database. Another approach is the content based image retrieval - CBIR, where each image is represented by low-level features such as: color, shape, texture, etc. In this sense, the results in the area of CBIR has been very promising. However, the representation of the images semantic by low-level features is an open problem. New algorithms for the extraction of features as well as new methods of indexing have been proposed in the literature. However, these algorithms become increasingly complex. So, doing an analysis, it is natural to ask whether there is a relationship between semantics and low-level features extracted in an image? and if there is a relationship, which descriptors better represent the semantic? which leads us to a new question: how to use descriptors to represent the content of the images?. The work presented in this thesis, proposes a method to analyze the relationship between low-level descriptors and semantics in an attempt to answer the questions before. Still, it was observed that there are three possibilities of indexing images: Using composed characteristic vectors, using parallel and independent index structures (for each descriptor or set of them) and using characteristic vectors sorted in sequential order. Thus, the first two forms have been widely studied and applied in literature, but there were no records of the third way has even been explored. So this thesis also proposes to index using a sequential structure of descriptors and also the order of these descriptors should be based on the relationship that exists between each descriptor and semantics of the users. Finally, the proposed index in this thesis revealed better than the traditional approachs and yet, was showed experimentally that the order in this sequence is important and there is a direct relationship between this order and the relationship of low-level descriptors with the semantics of the users

Conselho Nacional de Desenvolvimento Científico e Tecnológico

Na recuperação de imagens basada no conteúdo - CBIR, cada imagem é representada pelas suas características de baixo nível como são: cor, forma, textura, etc. A representação da semântica das imagens por características de baixo nível é um problema em aberto. Novos algoritmos para a extração de características assim como novos métodos de indexação tem sido propostos na literatura. Porém, estes algoritmos tornam-se cada vez mais complexos surgindo assim uma serie de questionamentos, tais como: existe uma relação entre a semântica e as características de baixo nível extraídas em uma imagem? quais descritores representam melhor esta semântica? responder estes questionamentos nos leva a um novo: quantos descritores usar para a representação do conteúdo das imagens?. Nesta tese propomos um método para analisar a relação que existe entre descritores de baixo nível e a semântica, na tentativa de responder os questionamentos formulados. Ainda, propoe-se uma indexação dos vetores de características ordenados de forma seqüencial, a qual foi comparada com as formas de indexação tradicionais. Assim, para indexar as imagens usando uma estrutura seqüencial dos descritores, foi estabelecido uma ordem segundo a relação que existe entre cada descritor e a semântica das imagens. Finalmente, a proposta de indexação realizada nesta tese mostrou-se superior às propostas tradicionais e ainda, mostrou-se experimentalmente que a ordem nesta seqüência é relevante e existe uma relação direta entre esta ordem e a relação dos descritores de baixo nível com a semântica das imagens. Como estrutura de indexação foi usada uma rede TS-SL-SOM e é proposta um novo algoritmo de treinamento nesta rede de forma que a eficiência alcançada seja otimizada. Finalmente, para poder estabelecer o grau de semântica extraída por cada descritor são propostos algoritmos e índices que quantificam esta semântica de tal forma que os descritores sejam comparáveis e se consiga escolher quais descritores usar segundo o problema dado