Relightify: Caras 3D Relumables a partir de una sola imagen mediante Modelos de Difusión
Relightify: Relightable 3D Faces from a Single Image via Diffusion Models
May 10, 2023
Autores: Foivos Paraperas Papantoniou, Alexandros Lattas, Stylianos Moschoglou, Stefanos Zafeiriou
cs.AI
Resumen
Tras el notable éxito de los modelos de difusión en la generación de imágenes, trabajos recientes también han demostrado su impresionante capacidad para abordar una serie de problemas inversos de manera no supervisada, restringiendo adecuadamente el proceso de muestreo basado en una entrada de condicionamiento. Motivados por esto, en este artículo presentamos el primer enfoque que utiliza modelos de difusión como un previo para la reconstrucción altamente precisa de BRDF faciales 3D a partir de una sola imagen. Comenzamos aprovechando un conjunto de datos UV de alta calidad de reflectancia facial (albedo difuso y especular, y normales), que renderizamos bajo diferentes configuraciones de iluminación para simular texturas RGB naturales y, luego, entrenamos un modelo de difusión no condicional en pares concatenados de texturas renderizadas y componentes de reflectancia. En el momento de la prueba, ajustamos un modelo morfable 3D a la imagen dada y desplegamos la cara en una textura UV parcial. Al muestrear desde el modelo de difusión, manteniendo intacta la parte observada de la textura, el modelo rellena no solo las áreas auto-oclusivas sino también los componentes de reflectancia desconocidos, en una única secuencia de pasos de eliminación de ruido. A diferencia de los métodos existentes, adquirimos directamente la textura observada a partir de la imagen de entrada, lo que resulta en una estimación de reflectancia más fiel y consistente. A través de una serie de comparaciones cualitativas y cuantitativas, demostramos un rendimiento superior tanto en la tarea de completado de texturas como en la reconstrucción de reflectancia.
English
Following the remarkable success of diffusion models on image generation,
recent works have also demonstrated their impressive ability to address a
number of inverse problems in an unsupervised way, by properly constraining the
sampling process based on a conditioning input. Motivated by this, in this
paper, we present the first approach to use diffusion models as a prior for
highly accurate 3D facial BRDF reconstruction from a single image. We start by
leveraging a high-quality UV dataset of facial reflectance (diffuse and
specular albedo and normals), which we render under varying illumination
settings to simulate natural RGB textures and, then, train an unconditional
diffusion model on concatenated pairs of rendered textures and reflectance
components. At test time, we fit a 3D morphable model to the given image and
unwrap the face in a partial UV texture. By sampling from the diffusion model,
while retaining the observed texture part intact, the model inpaints not only
the self-occluded areas but also the unknown reflectance components, in a
single sequence of denoising steps. In contrast to existing methods, we
directly acquire the observed texture from the input image, thus, resulting in
more faithful and consistent reflectance estimation. Through a series of
qualitative and quantitative comparisons, we demonstrate superior performance
in both texture completion as well as reflectance reconstruction tasks.