An augmented reality pipeline to create scenes with coherent illumination using textured cuboids

Shadows and illumination play an important role when generating a realistic scene in computer graphics. Most of the Augmented Reality (AR) systems track markers placed in a real scene and retrieve their position and orientation to serve as a frame of reference for added computer generated content, thereby producing an augmented scene. Realistic depiction of augmented content with coherent visual cues is a desired goal in many AR applications. However, rendering an augmented scene with realistic illumination is a complex task. Many existent approaches rely on a non automated pre-processing phase to retrieve illumination parameters from the scene. Other techniques rely on specific markers that contain light probes to perform environment lighting estimation. This study aims at designing a method to create AR applications with coherent illumination and shadows, using a textured cuboid marker, that does not require a training phase to provide lighting information. Such marker may be easily found in common environments: most of product packaging satisfies such characteristics. Thus, we propose a way to estimate a directional light configuration using multiple texture tracking to render AR scenes in a realistic fashion. We also propose a novel feature descriptor that is used to perform multiple texture tracking. Our descriptor is an extension of the binary descriptor, named discrete descriptor, and outperforms current state-of-the-art methods in speed, while maintaining their accuracy.

Sombras e iluminação possuem um papel importante na síntese de cenas realistas em Computação Gráfica. A maioria dos sistemas de Realidade Aumentada rastreia marcadores posicionados numa real, obtendo sua posição e orientação para servir como referência para o conteúdo sintético, produzindo a cena aumentada. A exibição realista de conteúdo aumentado com pistas visuais coerentes é um objetivo desejável em muitas aplicações de Realidade Aumentada. Contudo, renderizar uma cena aumentada com iluminação realista é um tarefa complexa. Muitas abordagens existentes dependem de uma fase de pré-processamento não automatizada para obter os parâmetros de iluminação da cena. Outras técnicas dependem de marcadores específicos que contém probes de luz para realizar a estimação da iluminação do ambiente. Esse estudo se foca na criação de um método para criar aplicações de Realidade Aumentada com iluminação coerente e sombras, usando um cubóide texturizado como marcador, não requerendo fase de treinamento para prover informação acerca da iluminação do ambiente. Um marcador desse tipo pode ser facilmente encontrado em ambientes comuns: a maioria das embalagens de produtos satisfaz essas características. Portanto, ese estudo propõe uma maneira de estimar a configuração de uma luz direcional utilizando o rastreamento de múltiplas texturas para renderizar cenas de Realidade Aumentada de maneira realista. Também é proposto um novo descritor de features visuais que é usado para realizar o rastreamento de múltiplas texturas. Esse descritor extende o descritor binário e é denominado descritor discreto. Ele supera o atual estado-da-arte em velocidade, enquanto mantém níveis similares de precisão.