SynthLight: Iluminación de retratos con modelo de difusión mediante el aprendizaje para volver a renderizar caras sintéticas

SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

January 16, 2025

Autores: Sumit Chaturvedi, Mengwei Ren, Yannick Hold-Geoffroy, Jingyuan Liu, Julie Dorsey, Zhixin Shu

cs.AI

Resumen

Presentamos SynthLight, un modelo de difusión para el reiluminado de retratos. Nuestro enfoque enmarca el reiluminado de imágenes como un problema de renderización, donde los píxeles se transforman en respuesta a cambios en las condiciones de iluminación ambiental. Utilizando un motor de renderizado basado en física, sintetizamos un conjunto de datos para simular esta transformación condicionada por la iluminación con activos de cabeza en 3D bajo iluminaciones variables. Proponemos dos estrategias de entrenamiento e inferencia para cerrar la brecha entre los dominios de imágenes sintéticas y reales: (1) entrenamiento multitarea que aprovecha retratos humanos reales sin etiquetas de iluminación; (2) un procedimiento de muestreo de difusión en tiempo de inferencia basado en orientación sin clasificador que aprovecha el retrato de entrada para preservar mejor los detalles. Nuestro método se generaliza a diversas fotografías reales y produce efectos de iluminación realistas, incluidos reflejos especulares y sombras proyectadas, mientras preserva la identidad del sujeto. Nuestros experimentos cuantitativos en datos de Light Stage demuestran resultados comparables a los métodos de reiluminado de última generación. Nuestros resultados cualitativos en imágenes en entornos naturales muestran efectos de iluminación ricos y sin precedentes. Página del proyecto: https://vrroom.github.io/synthlight/

English

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject's identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: https://vrroom.github.io/synthlight/