LightLab: Beheersing van lichtbronnen in afbeeldingen met diffusiemodellen

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

Auteurs: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

Samenvatting

We presenteren een eenvoudige, maar effectieve op diffusie gebaseerde methode voor fijnmazige, parametrische controle over lichtbronnen in een afbeelding. Bestaande herverlichtingsmethoden zijn ofwel afhankelijk van meerdere invoerweergaven om inverse rendering uit te voeren tijdens de inferentie, of bieden geen expliciete controle over lichtveranderingen. Onze methode fine-tunt een diffusiemodel op een kleine set echte raw fotopaar, aangevuld met synthetisch gerenderde afbeeldingen op schaal, om het fotorealistische prior voor herverlichting te activeren. We benutten de lineariteit van licht om afbeeldingsparen te synthetiseren die gecontroleerde lichtveranderingen weergeven van een doellichtbron of omgevingsverlichting. Met deze gegevens en een geschikt fine-tuning schema trainen we een model voor precieze verlichtingsveranderingen met expliciete controle over lichtintensiteit en kleur. Tot slot tonen we aan hoe onze methode overtuigende lichtbewerkingsresultaten kan bereiken en bestaande methoden overtreft op basis van gebruikersvoorkeur.

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.