Relightify: Herbelichtbare 3D-gezichten uit een enkele afbeelding via diffusiemodellen

Relightify: Relightable 3D Faces from a Single Image via Diffusion Models

May 10, 2023

Auteurs: Foivos Paraperas Papantoniou, Alexandros Lattas, Stylianos Moschoglou, Stefanos Zafeiriou

cs.AI

Samenvatting

Na het opmerkelijke succes van diffusiemodellen op het gebied van beeldgeneratie, hebben recente werken ook hun indrukwekkende vermogen aangetoond om een aantal inverse problemen op een onbewaakte manier aan te pakken, door het bemonsteringsproces correct te beperken op basis van een conditionerende invoer. Gemotiveerd door dit, presenteren we in dit artikel de eerste aanpak om diffusiemodellen te gebruiken als een prior voor zeer nauwkeurige 3D-gezichts-BRDF-reconstructie vanuit een enkele afbeelding. We beginnen met het benutten van een hoogwaardige UV-dataset van gezichtsreflectie (diffuse en speculaire albedo en normalen), die we renderen onder verschillende belichtingsinstellingen om natuurlijke RGB-texturen te simuleren, en vervolgens trainen we een onvoorwaardelijk diffusiemodel op samengevoegde paren van gerenderde texturen en reflectiecomponenten. Tijdens de testfits passen we een 3D-morfeerbaar model aan op de gegeven afbeelding en ontvouwen we het gezicht in een gedeeltelijke UV-textuur. Door te bemonsteren vanuit het diffusiemodel, terwijl het waargenomen textuurgedeelte intact blijft, vult het model niet alleen de zelf-occludeerde gebieden in, maar ook de onbekende reflectiecomponenten, in een enkele reeks van denoisestappen. In tegenstelling tot bestaande methoden, verkrijgen we de waargenomen textuur direct vanuit de invoerafbeelding, wat resulteert in een meer getrouwe en consistente reflectieschatting. Door een reeks kwalitatieve en kwantitatieve vergelijkingen tonen we superieure prestaties aan, zowel in textuurvoltooiing als in reflectiereconstructietaken.

English

Following the remarkable success of diffusion models on image generation, recent works have also demonstrated their impressive ability to address a number of inverse problems in an unsupervised way, by properly constraining the sampling process based on a conditioning input. Motivated by this, in this paper, we present the first approach to use diffusion models as a prior for highly accurate 3D facial BRDF reconstruction from a single image. We start by leveraging a high-quality UV dataset of facial reflectance (diffuse and specular albedo and normals), which we render under varying illumination settings to simulate natural RGB textures and, then, train an unconditional diffusion model on concatenated pairs of rendered textures and reflectance components. At test time, we fit a 3D morphable model to the given image and unwrap the face in a partial UV texture. By sampling from the diffusion model, while retaining the observed texture part intact, the model inpaints not only the self-occluded areas but also the unknown reflectance components, in a single sequence of denoising steps. In contrast to existing methods, we directly acquire the observed texture from the input image, thus, resulting in more faithful and consistent reflectance estimation. Through a series of qualitative and quantitative comparisons, we demonstrate superior performance in both texture completion as well as reflectance reconstruction tasks.