Refined facial disparity maps for automatic creation of 3D avatars

We propose a new method to automatically refine a facial disparity map obtained with standard cameras and under conventional illumination conditions by using a smart combination of traditional computer vision and 3D graphics techniques. Our system inputs two stereo images acquired with standard (calibrated) cameras and uses dense disparity estimation strategies to obtain a coarse initial disparity map, and SIFT to detect and match several feature points in the subjects face. We then use these points as anchors to modify the disparity in the facial area by building a Delaunay triangulation of their convex hull and interpolating their disparity values inside each triangle. We thus obtain a refined disparity map providing a much more accurate representation of the the subjects facial features. This refined facial disparity map may be easily transformed, through the camera calibration parameters, into a depth map to be used, also automatically, to improve the facial mesh of a 3D avatar to match the subjects real human features.

Desarrollo de un sistema de reconocimiento facial

El objetivo principal alrededor del cual se desenvuelve este proyecto es el desarrollo de un sistema de reconocimiento facial. Entre sus objetivos específicos se encuentran: realizar una primera aproximación sobre las técnicas de reconocimiento facial existentes en la actualidad, elegir una aplicación donde pueda ser útil el reconocimiento facial, diseñar y desarrollar un programa en MATLAB que lleve a cabo la función de reconocimiento facial, y evaluar el funcionamiento del sistema desarrollado. Este documento se encuentra dividido en cuatro partes: INTRODUCCIÓN, MARCO TEÓRICO, IMPLEMENTACIÓN, y RESULTADOS, CONCLUSIONES Y LÍNEAS FUTURAS. En la primera parte, se hace una introducción relativa a la actualidad del reconocimiento facial y se comenta brevemente sobre las técnicas existentes para desarrollar un sistema biométrico de este tipo. En ella se justifican también aquellas técnicas que acabaron formando parte de la implementación. En la segunda parte, el marco teórico, se explica la estructura general que tiene un sistema de reconocimiento biométrico, así como sus modos de funcionamiento, y las tasas de error utilizadas para evaluar y comparar su rendimiento. Así mismo, se lleva a cabo una descripción más profunda sobre los conceptos y métodos utilizados para efectuar la detección y reconocimiento facial en la tercera parte del proyecto. La tercera parte abarca una descripción detallada de la solución propuesta. En ella se explica el diseño, características y aplicación de la implementación; que trata de un programa elaborado en MATLAB con interfaz gráfica, y que utiliza cuatro sistemas de reconocimiento facial, basados cada uno en diferentes técnicas: Análisis por componentes principales, análisis lineal discriminante, wavelets de Gabor, y emparejamiento de grafos elásticos. El programa ofrece además la capacidad de crear y editar una propia base de datos con etiquetas, dándole aplicación directa sobre el tema que se trata. Se proponen además una serie de características con el objetivo de ampliar y mejorar las funcionalidades del programa diseñado. Dentro de dichas características destaca la propuesta de un modo de verificación híbrido aplicable a cualquier rama de la biometría y un programa de evaluación capaz de medir, graficar, y comparar las configuraciones de cada uno de los sistemas de reconocimiento implementados. Otra característica destacable es la herramienta programada para la creación de grafos personalizados y generación de modelos, aplicable a reconocimiento de objetos en general. En la cuarta y última parte, se presentan al principio los resultados obtenidos. En ellos se contemplan y analizan las comparaciones entre las distintas configuraciones de los sistemas de reconocimiento implementados para diferentes bases de datos (una de ellas formada con imágenes con condiciones de adquisición no controladas). También se miden las tasas de error del modo de verificación híbrido propuesto. Finalmente, se extraen conclusiones, y se proponen líneas futuras de investigación. ABSTRACT The main goal of this project is to develop a facial recognition system. To meet this end, it was necessary to accomplish a series of specific objectives, which were: researching on the existing face recognition technics nowadays, choosing an application where face recognition might be useful, design and develop a face recognition system using MATLAB, and measure the performance of the implemented system. This document is divided into four parts: INTRODUCTION, THEORTICAL FRAMEWORK, IMPLEMENTATION, and RESULTS, CONCLUSSIONS AND FUTURE RESEARCH STUDIES. In the first part, an introduction is made in relation to facial recognition nowadays, and the techniques used to develop a biometric system of this kind. Furthermore, the techniques chosen to be part of the implementation are justified. In the second part, the general structure and the two basic modes of a biometric system are explained. The error rates used to evaluate and compare the performance of a biometric system are explained as well. Moreover, a description of the concepts and methods used to detect and recognize faces in the third part is made. The design, characteristics, and applications of the systems put into practice are explained in the third part. The implementation consists in developing a program with graphical user interface made in MATLAB. This program uses four face recognition systems, each of them based on a different technique: Principal Component Analysis (PCA), Fisher’s Linear Discriminant (FLD), Gabor wavelets, and Elastic Graph Matching (EGM). In addition, with this implementation it is possible to create and edit one´s tagged database, giving it a direct application. Also, a group of characteristics are proposed to enhance the functionalities of the program designed. Among these characteristics, three of them should be emphasized in this summary: A proposal of an hybrid verification mode of a biometric system; and an evaluation program capable of measuring, plotting curves, and comparing different configurations of each implemented recognition system; and a tool programmed to create personalized graphs and models (tagged graph associated to an image of a person), which can be used generally in object recognition. In the fourth and last part of the project, the results of the comparisons between different configurations of the systems implemented are shown for three databases (One of them created with pictures taken under non-controlled environments). The error rates of the proposed hybrid verification mode are measured as well. Finally, conclusions are extracted and future research studies are proposed.

Reconocimiento facial

El presente proyecto trata sobre uno de los campos más problemáticos de la inteligencia artificial, el reconocimiento facial. Algo tan sencillo para las personas como es reconocer una cara conocida se traduce en complejos algoritmos y miles de datos procesados en cuestión de segundos. El proyecto comienza con un estudio del estado del arte de las diversas técnicas de reconocimiento facial, desde las más utilizadas y probadas como el PCA y el LDA, hasta técnicas experimentales que utilizan imágenes térmicas en lugar de las clásicas con luz visible. A continuación, se ha implementado una aplicación en lenguaje C++ que sea capaz de reconocer a personas almacenadas en su base de datos leyendo directamente imágenes desde una webcam. Para realizar la aplicación, se ha utilizado una de las librerías más extendidas en cuanto a procesado de imágenes y visión artificial, OpenCV. Como IDE se ha escogido Visual Studio 2010, que cuenta con una versión gratuita para estudiantes. La técnica escogida para implementar la aplicación es la del PCA ya que es una técnica básica en el reconocimiento facial, y además sirve de base para soluciones mucho más complejas. Se han estudiado los fundamentos matemáticos de la técnica para entender cómo procesa la información y en qué se datos se basa para realizar el reconocimiento. Por último, se ha implementado un algoritmo de testeo para poder conocer la fiabilidad de la aplicación con varias bases de datos de imágenes faciales. De esta forma, se puede comprobar los puntos fuertes y débiles del PCA. ABSTRACT. This project deals with one of the most problematic areas of artificial intelligence, facial recognition. Something so simple for human as to recognize a familiar face becomes into complex algorithms and thousands of data processed in seconds. The project begins with a study of the state of the art of various face recognition techniques, from the most used and tested as PCA and LDA, to experimental techniques that use thermal images instead of the classic visible light images. Next, an application has been implemented in C + + language that is able to recognize people stored in a database reading images directly from a webcam. To make the application, it has used one of the most outstretched libraries in terms of image processing and computer vision, OpenCV. Visual Studio 2010 has been chosen as the IDE, which has a free student version. The technique chosen to implement the software is the PCA because it is a basic technique in face recognition, and also provides a basis for more complex solutions. The mathematical foundations of the technique have been studied to understand how it processes the information and which data are used to do the recognition. Finally, an algorithm for testing has been implemented to know the reliability of the application with multiple databases of facial images. In this way, the strengths and weaknesses of the PCA can be checked.

AVALIAÇÃO COMPARATIVA ENTRE AGRADABILIDADE FACIAL, PROPORÇÃO ÁUREA E PADRÃO FACIAL

O propósito desta pesquisa foi estudar algumas análises faciais utilizadas para diagnóstico ortodôntico e verificar a concordância entre norma lateral e frontal na avaliação da agradabilidade facial para os grupos leigos e profissionais, a concordância entre estes grupos na avaliação da agradabilidade facial nas normas lateral e frontal, bem como verificar a associação entre agradabilidade facial e Proporção Áurea, agradabilidade facial e Padrão Facial e entre Padrão Facial e Proporção Áurea. Utilizou-se 208 fotografias faciais padronizadas (104 laterais e 104 frontais) de 104 indivíduos escolhidos aleatoriamente, que primeiramente foram classificadas em agradável , aceitável e desagradável por dois grupos distintos: grupo Ortodontia e grupo Leigos . As fotografias laterais e frontais foram submetidas a medidas de Proporção Áurea Facial por meio de programa computadorizado e os indivíduos foram classificados quanto ao Padrão Facial pelo seu aspecto lateral. Após análise estatística, verificou-se que não houve concordância entre as variáveis da avaliação de agradabilidade estudadas, bem como não houve associação entre Proporção Áurea com agradabilidade facial ou com Padrão Facial. Entre agradabilidade facial e Padrão Facial, observou-se para a norma lateral associação fortemente positiva, porém para a frontal não houve associação para ambos os grupos de avaliadores.

AVALIAÇÃO COMPARATIVA ENTRE AGRADABILIDADE FACIAL, PROPORÇÃO ÁUREA E PADRÃO FACIAL

O propósito desta pesquisa foi estudar algumas análises faciais utilizadas para diagnóstico ortodôntico e verificar a concordância entre norma lateral e frontal na avaliação da agradabilidade facial para os grupos leigos e profissionais, a concordância entre estes grupos na avaliação da agradabilidade facial nas normas lateral e frontal, bem como verificar a associação entre agradabilidade facial e Proporção Áurea, agradabilidade facial e Padrão Facial e entre Padrão Facial e Proporção Áurea. Utilizou-se 208 fotografias faciais padronizadas (104 laterais e 104 frontais) de 104 indivíduos escolhidos aleatoriamente, que primeiramente foram classificadas em agradável , aceitável e desagradável por dois grupos distintos: grupo Ortodontia e grupo Leigos . As fotografias laterais e frontais foram submetidas a medidas de Proporção Áurea Facial por meio de programa computadorizado e os indivíduos foram classificados quanto ao Padrão Facial pelo seu aspecto lateral. Após análise estatística, verificou-se que não houve concordância entre as variáveis da avaliação de agradabilidade estudadas, bem como não houve associação entre Proporção Áurea com agradabilidade facial ou com Padrão Facial. Entre agradabilidade facial e Padrão Facial, observou-se para a norma lateral associação fortemente positiva, porém para a frontal não houve associação para ambos os grupos de avaliadores.

AVALIAÇÃO DA INFLUÊNCIA DO TIPO FACIAL NOS TAMANHOS DOS ESPAÇOS AÉREOS NASO E BUCOFARÍNGE

A variação nos tamanhos dos espaços aéreos naso e bucofaríngeo ocorre devido a fatores genéticos e/ou ambientais. A diminuição no tamanho do espaço aéreo nasofaríngeo, causada pela hipertrofia da tonsila faríngea, tem sido associada a alterações no padrão normal de crescimento craniofacial e a efeitos deletérios na oclusão. O objetivo do presente trabalho é avaliar se há variação nos tamanhos dos espaços aéreos naso e bucofaríngeo de acordo com o padrão de crescimento craniofacial, assim como avaliar a correlação entre os tamanhos dos espaços e o índice VERT, além de verificar um possível dimorfismo sexual. Na mensuração dos espaços, utilizou-se telerradiografias laterais de 90 pacientes, divididos em três grupos de acordo com o padrão de crescimento craniofacial, determinado por meio do índice VERT de Ricketts. Os pacientes da amostra, com idades entre 9 e 16 anos, apresentavam padrão respiratório nasal, sem qualquer tipo de obstrução. Não foi observada variação estatisticamente significante nos tamanhos dos espaços aéreos naso e bucofaríngeo, quando comparados os três tipos faciais. Também não foi encontrada correlação entre os tamanhos dos espaços aéreos e os valores do índice VERT de Ricketts dos pacientes e não foi observado dimorfismo sexual. XII

AVALIAÇÃO DA INFLUÊNCIA DO TIPO FACIAL NOS TAMANHOS DOS ESPAÇOS AÉREOS NASO E BUCOFARÍNGE

A variação nos tamanhos dos espaços aéreos naso e bucofaríngeo ocorre devido a fatores genéticos e/ou ambientais. A diminuição no tamanho do espaço aéreo nasofaríngeo, causada pela hipertrofia da tonsila faríngea, tem sido associada a alterações no padrão normal de crescimento craniofacial e a efeitos deletérios na oclusão. O objetivo do presente trabalho é avaliar se há variação nos tamanhos dos espaços aéreos naso e bucofaríngeo de acordo com o padrão de crescimento craniofacial, assim como avaliar a correlação entre os tamanhos dos espaços e o índice VERT, além de verificar um possível dimorfismo sexual. Na mensuração dos espaços, utilizou-se telerradiografias laterais de 90 pacientes, divididos em três grupos de acordo com o padrão de crescimento craniofacial, determinado por meio do índice VERT de Ricketts. Os pacientes da amostra, com idades entre 9 e 16 anos, apresentavam padrão respiratório nasal, sem qualquer tipo de obstrução. Não foi observada variação estatisticamente significante nos tamanhos dos espaços aéreos naso e bucofaríngeo, quando comparados os três tipos faciais. Também não foi encontrada correlação entre os tamanhos dos espaços aéreos e os valores do índice VERT de Ricketts dos pacientes e não foi observado dimorfismo sexual. XII

Avaliação radiográfica da precisão do registro do arco facial em planejamentos ortodôntico-cirúrgicos

O presente trabalho avaliou a precisão do registro do arco facial. Foram selecionados 17 indivíduos com padrão facial tipo II e com idade entre 15 e 46 anos, sendo três do sexo masculino e 14 do sexo feminino. O estudo comparou medidas obtidas a partir de cefalogramas com base em telerradiografias em norma lateral, e de modelos de gesso da arcada dentária superior montados num articulador semi-ajustável. Essas grandezas foram estabelecidas a partir de pontos cefalométricos consagrados, e por novos pontos que tiveram como referências botões ortodônticos colados nos dentes incisivos central superior esquerdo e primeiro molar superior esquerdo, e marcadores metálicos adaptados no alinhamento do arco facial posicionado na face dos pacientes.(AU)

Avaliação radiográfica da precisão do registro do arco facial em planejamentos ortodôntico-cirúrgicos

O presente trabalho avaliou a precisão do registro do arco facial. Foram selecionados 17 indivíduos com padrão facial tipo II e com idade entre 15 e 46 anos, sendo três do sexo masculino e 14 do sexo feminino. O estudo comparou medidas obtidas a partir de cefalogramas com base em telerradiografias em norma lateral, e de modelos de gesso da arcada dentária superior montados num articulador semi-ajustável. Essas grandezas foram estabelecidas a partir de pontos cefalométricos consagrados, e por novos pontos que tiveram como referências botões ortodônticos colados nos dentes incisivos central superior esquerdo e primeiro molar superior esquerdo, e marcadores metálicos adaptados no alinhamento do arco facial posicionado na face dos pacientes.(AU)

AVALIAÇÃO DAS ALTERAÇÕES DENTÁRIAS E DO PERFIL FACIAL OBTIDAS NO TRATAMENTO ORTODÔNTICO COM BRAQUETES AUTOLIGADOS

Este trabalho teve como objetivo principal avaliar as inclinações dentárias e o perfil facial de pacientes tratados ortodonticamente com braquete autoligado Damon 2, prescrição padrão. Para este estudo, foi selecionada uma amostra de 18 indivíduos, sendo 12 do sexo masculino e 6 do feminino, com idades que variaram de 12 a 20 anos (idade média de 15 anos) e que apresentavam discrepância de modelo negativa (de 4 mm a 15 mm). Como critério de inclusão, os pacientes deveriam apresentar dentição permanente completa até os segundos molares, má oclusão de Classe I de Angle, telerradiografias em norma lateral do início e final do tratamento ortodôntico e modelos de estudo em gesso dos arcos dentários superiores e inferiores do início e final do tratamento ortodôntico. As medições das inclinações ântero-posteriores dos incisivos centrais superiores e incisivos centrais inferiores e alterações do perfil facial foram realizadas por meio das telerradiografias em norma lateral. As distâncias transversais das regiões de cúspide e cervical inter-caninos, primeiros e segundos pré-molares e primeiros molares, foram obtidas medindo-se os modelos de gesso. Todas as mensurações foram realizadas nas telerradiografias e modelos de gesso obtidos antes do início do tratamento ortodôntico (T1) e no final do tratamento (T2). Após a coleta de todos os dados aplicou-se o teste t de Student para comparar as medidas dos dois tempos avaliados neste estudo. Verificou-se diferença estatisticamente significante (p<0,05) na inclinação dos incisivos centrais inferiores e nas dimensões transversais inter-cúspides e inter-cervicais dos primeiros e segundos pré-molares e primeiros molares na maxila. Na mandíbula todas as distâncias transversais (inter cúspides e cervicais) de caninos, primeiros e segundos pré-molares e primeiros molares apresentaram significância estatística (p<0,05), exceto a distância inter-cervical dos caninos inferiores. Concluímos que o tratamento ortodôntico sem extrações de pacientes com má oclusão de Classe I realizados com os braquetes Damon 2, prescrição padrão, não promoveu alteração na inclinação vestíbulo-lingual dos incisivos centrais superiores, aumentou a inclinação vestibular dos incisivos centrais inferiores, não alterou o perfil facial e aumentou de modo significativo a dimensão transversal da maxila e da mandíbula por meio de inclinação vestibular de coroa.(AU)

AVALIAÇÃO DAS ALTERAÇÕES DENTÁRIAS E DO PERFIL FACIAL OBTIDAS NO TRATAMENTO ORTODÔNTICO COM BRAQUETES AUTOLIGADOS

Este trabalho teve como objetivo principal avaliar as inclinações dentárias e o perfil facial de pacientes tratados ortodonticamente com braquete autoligado Damon 2, prescrição padrão. Para este estudo, foi selecionada uma amostra de 18 indivíduos, sendo 12 do sexo masculino e 6 do feminino, com idades que variaram de 12 a 20 anos (idade média de 15 anos) e que apresentavam discrepância de modelo negativa (de 4 mm a 15 mm). Como critério de inclusão, os pacientes deveriam apresentar dentição permanente completa até os segundos molares, má oclusão de Classe I de Angle, telerradiografias em norma lateral do início e final do tratamento ortodôntico e modelos de estudo em gesso dos arcos dentários superiores e inferiores do início e final do tratamento ortodôntico. As medições das inclinações ântero-posteriores dos incisivos centrais superiores e incisivos centrais inferiores e alterações do perfil facial foram realizadas por meio das telerradiografias em norma lateral. As distâncias transversais das regiões de cúspide e cervical inter-caninos, primeiros e segundos pré-molares e primeiros molares, foram obtidas medindo-se os modelos de gesso. Todas as mensurações foram realizadas nas telerradiografias e modelos de gesso obtidos antes do início do tratamento ortodôntico (T1) e no final do tratamento (T2). Após a coleta de todos os dados aplicou-se o teste t de Student para comparar as medidas dos dois tempos avaliados neste estudo. Verificou-se diferença estatisticamente significante (p<0,05) na inclinação dos incisivos centrais inferiores e nas dimensões transversais inter-cúspides e inter-cervicais dos primeiros e segundos pré-molares e primeiros molares na maxila. Na mandíbula todas as distâncias transversais (inter cúspides e cervicais) de caninos, primeiros e segundos pré-molares e primeiros molares apresentaram significância estatística (p<0,05), exceto a distância inter-cervical dos caninos inferiores. Concluímos que o tratamento ortodôntico sem extrações de pacientes com má oclusão de Classe I realizados com os braquetes Damon 2, prescrição padrão, não promoveu alteração na inclinação vestíbulo-lingual dos incisivos centrais superiores, aumentou a inclinação vestibular dos incisivos centrais inferiores, não alterou o perfil facial e aumentou de modo significativo a dimensão transversal da maxila e da mandíbula por meio de inclinação vestibular de coroa.(AU)

AVALIAÇÃO COMPARATIVA DA AGRADABILIDADE FACIAL DE PACIENTES COM MÁ-OCLUSÃO DE CLASSE II TRATADOS COM COMPENSAÇÃO DENTÁRIA OU CIRURGIA ORTOGNÁTICA

O objetivo deste estudo foi avaliar, por meio de fotografias em norma frontal e lateral, a agradabilidade facial obtida com o tratamento de pacientes portadores de má oclusão de classe II. Foram selecionados dois grupos de pacientes que receberam abordagens diferentes de tratamento, um submetido à cirurgia ortognática e o outro à compensação dentária. As fotografias em norma lateral e frontal obtidas ao início e final do tratamento foram distribuídas aleatoriamente e dispostas em apresentação de multimídia para serem submetidas à avaliação subjetiva de indivíduos leigos e ortodontistas, em uma escala linear crescente. Os resultados foram avaliados comparativamente entre os grupos leigos e ortodontistas, entre os estágios inicial e final do tratamento e entre os grupos tratados com a abordagem cirúrgica e compensatória, com o intuito de estabelecer qual das duas abordagens oferece maior agradabilidade facial. Concluímos que houve proximidade entre as avaliações de leigos e ortodontistas quanto à agradabilidade facial, sendo os leigos mais críticos. Tanto leigos quanto ortodontistas deram escores significativamente maiores para as fotos pós-tratamento nos casos compensatórios e cirúrgicos; os casos cirúrgicos em norma lateral obtiveram os resultados melhores.

Cationic facial amphiphiles: a promising class of transfection agents.

A promising class of compounds for DNA transfection have been designed by conjugating various polyamines to bile-acid-based amphiphiles. Formulations containing these compounds were tested for their ability to facilitate the uptake of a beta-galactosidase reporter plasmid into COS-7 cells. Dioleoyl phosphatidyl ethanolamine (DOPE) formulations of some of the compounds were several times better than Lipofectin at promoting DNA uptake. The most active compounds contained the most hydrophilic bile acid components. The activity is clearly not related to affinity for DNA: the hydrophobic bile acid conjugates were found to form stable complexes with DNA at lower charge ratios than the hydrophilic conjugates. We suggest that the high activity of the best compounds is related to their facial amphiphilicity, which may confer an ability to destabilize membranes. The success of these unusual cationic transfection agents may inspire the design of even more effective gene delivery agents.