SynthLight : Éclairage de portrait avec modèle de diffusion en apprenant à Rerendre des visages synthétiques

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

January 16, 2025

Auteurs: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu

cs.AI

Résumé

Nous présentons SynthLight, un modèle de diffusion pour le relighting de portraits. Notre approche encadre le relighting d'images comme un problème de re-rendu, où les pixels sont transformés en réponse aux changements des conditions d'éclairage environnemental. En utilisant un moteur de rendu basé sur la physique, nous synthétisons un ensemble de données pour simuler cette transformation conditionnée par l'éclairage avec des actifs de tête en 3D sous différents éclairages. Nous proposons deux stratégies d'entraînement et d'inférence pour combler l'écart entre les domaines d'images synthétiques et réelles : (1) un entraînement multi-tâches qui tire parti de portraits humains réels sans étiquettes d'éclairage ; (2) une procédure d'échantillonnage de diffusion au moment de l'inférence basée sur un guidage sans classificateur qui exploite le portrait d'entrée pour mieux préserver les détails. Notre méthode se généralise à diverses photographies réelles et produit des effets d'illumination réalistes, y compris des reflets spéculaires et des ombres portées, tout en préservant l'identité du sujet. Nos expériences quantitatives sur les données de Light Stage démontrent des résultats comparables aux méthodes de relighting de pointe. Nos résultats qualitatifs sur des images en milieu naturel mettent en avant des effets d'illumination riches et sans précédent. Page du projet : https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/