LightLab: Steuerung von Lichtquellen in Bildern mit Diffusionsmodellen

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

Autoren: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

Zusammenfassung

Wir präsentieren eine einfache, aber effektive diffusionsbasierte Methode zur fein abgestimmten, parametrischen Steuerung von Lichtquellen in einem Bild. Bestehende Beleuchtungsmethoden verlassen sich entweder auf mehrere Eingabeansichten, um zur Inferenzzeit inverses Rendering durchzuführen, oder bieten keine explizite Kontrolle über Lichtveränderungen. Unsere Methode feintuned ein Diffusionsmodell auf einer kleinen Menge realer Rohfotografie-Paare, ergänzt durch synthetisch gerenderte Bilder in großem Maßstab, um dessen fotorealistische Voraussetzungen für die Beleuchtungsanpassung zu nutzen. Wir nutzen die Linearität des Lichts, um Bildpaare zu synthetisieren, die kontrollierte Lichtveränderungen entweder einer Ziellichtquelle oder der Umgebungsbeleuchtung darstellen. Mit diesen Daten und einem geeigneten Feintuning-Schema trainieren wir ein Modell für präzise Beleuchtungsänderungen mit expliziter Kontrolle über Lichtintensität und -farbe. Schließlich zeigen wir, wie unsere Methode überzeugende Lichtbearbeitungsergebnisse erzielen kann und bestehende Methoden basierend auf Benutzerpräferenzen übertrifft.

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.