LightLab: Control de fuentes de luz en imágenes con modelos de difusión

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

Autores: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

Resumen

Presentamos un método simple pero efectivo basado en difusión para el control fino y paramétrico de las fuentes de luz en una imagen. Los métodos existentes de reiluminación dependen de múltiples vistas de entrada para realizar renderizado inverso en el momento de la inferencia, o no ofrecen un control explícito sobre los cambios de iluminación. Nuestro método ajusta un modelo de difusión en un pequeño conjunto de pares de fotografías reales en bruto, complementado con imágenes sintéticamente renderizadas a gran escala, para aprovechar su prior fotorealista en la reiluminación. Aprovechamos la linealidad de la luz para sintetizar pares de imágenes que muestran cambios controlados en una fuente de luz objetivo o en la iluminación ambiental. Utilizando estos datos y un esquema de ajuste fino adecuado, entrenamos un modelo para realizar cambios precisos en la iluminación con control explícito sobre la intensidad y el color de la luz. Por último, demostramos cómo nuestro método puede lograr resultados convincentes en la edición de luz y supera a los métodos existentes según la preferencia de los usuarios.

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.