Seamless, Static Multi-Texturing of 3D Meshes

In the context of 3D reconstruction, we present a static multi-texturing system yielding a seamless texture atlas calculated by combining the colour information from several photos from the same subject covering most of its surface. These pictures can be provided by shooting just one camera several times when reconstructing a static object, or a set of synchronized cameras, when dealing with a human or any other moving object. We suppress the colour seams due to image misalignments and irregular lighting conditions that multi-texturing approaches typically suffer from, while minimizing the blurring effect introduced by colour blending techniques. Our system is robust enough to compensate for the almost inevitable inaccuracies of 3D meshes obtained with visual hull–based techniques: errors in silhouette segmentation, inherently bad handling of concavities, etc.

Reflexión y refracción de la luz en medios anisótropos

En este proyecto se pretende estudiar el comportamiento de la luz al atravesar medios de diversos materiales, tanto isótropos como anisótropos uniáxicos. Para ello se requiere realizar un estudio previo de las condiciones de contorno aplicables a las ecuaciones de Maxwell en la interfase de dos medios que pueden ser isótropos o anisótropos. En el caso de dos materiales isótropos, la solución del problema son los conocidos coeficientes de Fresnel de reflexión y transmisión. En este trabajo se pretende generalizar el estudio al caso del paso de la luz desde un medio isótropo a otro anisótropo uniáxico (con su eje óptico en orientación arbitraria) y viceversa y al caso de dos materiales anisótropos uniáxicos con ejes ópticos en orientaciones arbitrarias. Es de especial interés el caso de un mismo material uniáxico en el que las dos partes tienen el eje óptico con distinta orientación. Una vez planteadas las condiciones de contorno específicas en cada caso, se obtendrá un conjunto de ecuaciones algebraicas cuya resolución permitirá obtener los coeficientes de reflexión y transmisión buscados. Para plantear el sistema de ecuaciones adecuado, será necesario tener una descripción de las características ópticas de los materiales empleados, la orientación de los ejes ópticos en cada caso, y los posibles ángulos de incidencia. Se realizará un tratamiento matricial de modo que el paquete MatLab permite su inversión de manera inmediata. Se desarrollará una interfaz sencilla, realizada con MatLab, que permita al usuario introducir sin dificultad los datos correspondientes a los materiales de los medios incidente y transmitido, la orientación en espacial del o de los ejes ópticos, de la longitud de onda de trabajo y del ángulo de incidencia del haz de luz, con los que la aplicación realizará los cálculos. Los coeficientes de reflexión y refracción obtenidos serán representados gráficamente en función del ángulo de incidencia. Así mismo se representarán los ángulos transmitidos y reflejados en función del de incidencia. Todo ello de esta forma, que resulte sencilla la interpretación de los datos por parte del usuario. ABSTRACT. The reason for this project is to study the behavior of light when light crosses different media of different materials, isotropic materials and uniaxial anisotropic materials. For this, a previous study is necessary where the boundary conditions apply to Maxwell equations at the interface between two media which can be isotropic and anisotropic. If both materials are isotropic, the Fresnel ccoefficients of reflection and refraction are used to solve the problem. The aim of this work is to generalize a study when light crosses from an isotropic media to a uniaxial anisotropic media, where its axis have arbitrary directions, and vicecersa. The system consisting of two materials with axis in arbitrary directions are also being studied. Once the specific boundary conditions are known in each case, a set of algebraic equations are obtained whose solution allows obtaining the reflection coefficients and refraction coefficients. It is necessary to have a description of the optical characteristics of the materials used; of the directions axis in each case and the possible angle of incidence. A matrix is proposed for later treatment in Matlab that allows the immediate inversion. A simple interface will de developed, manufactured with Matlab, that allows the user to enter data easily corresponding to the incident media and transmission media of the different materials, the special axis directions, the wavelength and the angle of incidence of the light beam. This data is used by the application to perform the necessary calculations to solve the problem. When reflection coefficients and refraction coefficients are obtained, the application draws the graphics in function of the angle of incidence. Also transmitted and reflected angles depending on the incidence are represented. This is to perform a data representation which is a simple interpretation of the user data.

Multi-textured 3D humanoid reconstruction through passive and active automatic techniques = Reconstrucción de humanoides 3D multi-texturados mediante técnicas pasivas y activas automáticas

The proliferation of video games and other applications of computer graphics in everyday life demands a much easier way to create animatable virtual human characters. Traditionally, this has been the job of highly skilled artists and animators that painstakingly model, rig and animate their avatars, and usually have to tune them for each application and transmission/rendering platform. The emergence of virtual/mixed reality environments also calls for practical and costeffective ways to produce custom models of actual people. The purpose of the present dissertation is bringing 3D human scanning closer to the average user. For this, two different techniques are presented, one passive and one active. The first one is a fully automatic system for generating statically multi-textured avatars of real people captured with several standard cameras. Our system uses a state-of-the-art shape from silhouette technique to retrieve the shape of subject. However, to deal with the lack of detail that is common in the facial region for these kind of techniques, which do not handle concavities correctly, our system proposes an approach to improve the quality of this region. This face enhancement technique uses a generic facial model which is transformed according to the specific facial features of the subject. Moreover, this system features a novel technique for generating view-independent texture atlases computed from the original images. This static multi-texturing system yields a seamless texture atlas calculated by combining the color information from several photos. We suppress the color seams due to image misalignments and irregular lighting conditions that multi-texturing approaches typically suffer from, while minimizing the blurring effect introduced by color blending techniques. The second technique features a system to retrieve a fully animatable 3D model of a human using a commercial depth sensor. Differently to other approaches in the current state of the art, our system does not require the user to be completely still through the scanning process, and neither the depth sensor is moved around the subject to cover all its surface. Instead, the depth sensor remains static and the skeleton tracking information is used to compensate the user’s movements during the scanning stage. RESUMEN La popularización de videojuegos y otras aplicaciones de los gráficos por ordenador en el día a día requiere una manera más sencilla de crear modelos virtuales humanos animables. Tradicionalmente, estos modelos han sido creados por artistas profesionales que cuidadosamente los modelan y animan, y que tienen que adaptar específicamente para cada aplicación y plataforma de transmisión o visualización. La aparición de los entornos de realidad virtual/mixta aumenta incluso más la demanda de técnicas prácticas y baratas para producir modelos 3D representando personas reales. El objetivo de esta tesis es acercar el escaneo de humanos en 3D al usuario medio. Para ello, se presentan dos técnicas diferentes, una pasiva y una activa. La primera es un sistema automático para generar avatares multi-texturizados de personas reales mediante una serie de cámaras comunes. Nuestro sistema usa técnicas del estado del arte basadas en shape from silhouette para extraer la forma del sujeto a escanear. Sin embargo, este tipo de técnicas no gestiona las concavidades correctamente, por lo que nuestro sistema propone una manera de incrementar la calidad en una región del modelo que se ve especialmente afectada: la cara. Esta técnica de mejora facial usa un modelo 3D genérico de una cara y lo modifica según los rasgos faciales específicos del sujeto. Además, el sistema incluye una novedosa técnica para generar un atlas de textura a partir de las imágenes capturadas. Este sistema de multi-texturización consigue un atlas de textura sin transiciones abruptas de color gracias a su manera de mezclar la información de color de varias imágenes sobre cada triángulo. Todas las costuras y discontinuidades de color debidas a las condiciones de iluminación irregulares son eliminadas, minimizando el efecto de desenfoque de la interpolación que normalmente introducen este tipo de métodos. La segunda técnica presenta un sistema para conseguir un modelo humano 3D completamente animable utilizando un sensor de profundidad. A diferencia de otros métodos del estado de arte, nuestro sistema no requiere que el usuario esté completamente quieto durante el proceso de escaneado, ni mover el sensor alrededor del sujeto para cubrir toda su superficie. Por el contrario, el sensor se mantiene estático y el esqueleto virtual de la persona, que se va siguiendo durante el proceso, se utiliza para compensar sus movimientos durante el escaneado.