Recuperação de informação multimédia em memórias pessoais

Dissertação apresentada para a obtenção do Grau de Doutor em Informática pela Universidade Nova de Lisboa, Faculdade de Ciências e Tecnologia

Esta dissertação descreve soluções para a recuperação e anotação de informação multimédia em memórias pessoais. Estas propostas incluem métodos de recuperação e anotação de fotografias,baseados na extracção de informação semântica em imagens, e aplicações de recuperação e anotação em três cenários diferentes: ambientes domésticos, cenários móveis e em actividades de entretenimento. Os métodos propostos para recuperar e anotar fotos utilizam informação multimodal, nomeadamente,características visuais, informação de áudio e metadados contextuais obtidos no instante de captura. Esta metodologia baseia-se na análise semântica de imagens, obtida utilizando estes dados, para recuperar e anotar imagens automaticamente. Os metadados contextuais utilizados são o instante de captura da foto e a sua localização geográfica. Para ambientes domésticos, é proposta uma aplicação para partilha de momentos relevantes do passado baseada na pesquisa e visualização de fotos pessoais. A interface inclui uma linguagem visual baseada em ícones para definir a pesquisa e permite interrogar a colecção pessoal com objectos físicos. Para cenários móveis, nomeadamente em actividades turísticas, é descrita uma aplicação para partilha de fotos no momento da visita a locais de interesse, por exemplo, museus ou lugares históricos. A partilha de imagens é baseada no método de recuperação proposto. A aplicação permite a captura de fotografias e a sua anotação com informação de áudio obtida segundos após a captura e com coordenadas de localização geográfica obtidas pelo receptor GPS (Global Positioning System) incluído. Para corrigir erros produzidos pelo método automático de recuperação e anotação é proposta uma aplicação para anotação semiautomática de imagens. Esta aplicação inclui um jogo de computador para anotar imagens baseado numa interface gestual de modo a motivar os utilizadores para a tarefa da anotação. A tese apresenta as soluções referidas descrevendo a metodologia de concepção utilizada no desenvolvimento das aplicações, incluindo os resultados obtidos nos testes de usabilidade efectuados. São também apresentados e discutidos resultados da avaliação efectuada para validar os métodos de recuperação e anotação em cada uma das aplicações.