LightLab: Controllo delle sorgenti luminose nelle immagini con modelli di diffusione

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

Autori: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

Abstract

Presentiamo un metodo semplice ma efficace basato sulla diffusione per il controllo fine e parametrico delle sorgenti luminose in un'immagine. I metodi esistenti di riluminazione si basano su più viste in input per eseguire il rendering inverso al momento dell'inferenza, oppure non riescono a fornire un controllo esplicito sulle variazioni luminose. Il nostro metodo perfeziona un modello di diffusione su un piccolo insieme di coppie di fotografie raw reali, integrate da immagini sinteticamente renderizzate su larga scala, per sfruttare il suo priore fotorealistico nella riluminazione. Sfruttiamo la linearità della luce per sintetizzare coppie di immagini che rappresentano variazioni luminose controllate, sia di una sorgente luminosa target che dell'illuminazione ambientale. Utilizzando questi dati e uno schema di fine-tuning appropriato, addestriamo un modello per ottenere cambiamenti precisi nell'illuminazione con controllo esplicito sull'intensità e sul colore della luce. Infine, dimostriamo come il nostro metodo possa ottenere risultati convincenti nella modifica della luce e superi i metodi esistenti in base alle preferenze degli utenti.

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.