LightLab : Contrôle des sources lumineuses dans les images grâce aux modèles de diffusion

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

Auteurs: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

Résumé

Nous présentons une méthode simple mais efficace basée sur la diffusion pour un contrôle paramétrique et granulaire des sources lumineuses dans une image. Les méthodes existantes de rééclairage s'appuient soit sur plusieurs vues d'entrée pour effectuer un rendu inverse au moment de l'inférence, soit échouent à fournir un contrôle explicite sur les modifications lumineuses. Notre méthode affine un modèle de diffusion sur un petit ensemble de paires de photographies brutes réelles, complétées par des images synthétiquement rendues à grande échelle, pour exploiter son a priori photoréaliste en matière de rééclairage. Nous tirons parti de la linéarité de la lumière pour synthétiser des paires d'images représentant des changements lumineux contrôlés, que ce soit pour une source lumineuse cible ou pour l'éclairage ambiant. En utilisant ces données et un schéma d'affinage approprié, nous entraînons un modèle pour des modifications précises de l'éclairage avec un contrôle explicite de l'intensité et de la couleur de la lumière. Enfin, nous montrons comment notre méthode peut produire des résultats convaincants en matière d'édition lumineuse, surpassant les méthodes existantes sur la base des préférences des utilisateurs.

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.