LightLab: Controlando Fontes de Luz em Imagens com Modelos de Difusão
LightLab: Controlling Light Sources in Images with Diffusion Models
May 14, 2025
Autores: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen
cs.AI
Resumo
Apresentamos um método simples, porém eficaz, baseado em difusão para controle paramétrico e refinado de fontes de luz em uma imagem. Os métodos existentes de reiluminação dependem de múltiplas visualizações de entrada para realizar renderização inversa no momento da inferência ou falham em fornecer controle explícito sobre as mudanças de luz. Nosso método ajusta finamente um modelo de difusão em um pequeno conjunto de pares de fotografias brutas reais, complementado por imagens renderizadas sinteticamente em escala, para elicitar seu prévio fotorrealista para reiluminação. Aproveitamos a linearidade da luz para sintetizar pares de imagens que retratam mudanças controladas de luz, seja de uma fonte de luz específica ou da iluminação ambiente. Utilizando esses dados e um esquema de ajuste fino apropriado, treinamos um modelo para alterações precisas de iluminação com controle explícito sobre a intensidade e a cor da luz. Por fim, demonstramos como nosso método pode alcançar resultados convincentes na edição de luz e supera os métodos existentes com base na preferência do usuário.
English
We present a simple, yet effective diffusion-based method for fine-grained,
parametric control over light sources in an image. Existing relighting methods
either rely on multiple input views to perform inverse rendering at inference
time, or fail to provide explicit control over light changes. Our method
fine-tunes a diffusion model on a small set of real raw photograph pairs,
supplemented by synthetically rendered images at scale, to elicit its
photorealistic prior for relighting. We leverage the linearity of light to
synthesize image pairs depicting controlled light changes of either a target
light source or ambient illumination. Using this data and an appropriate
fine-tuning scheme, we train a model for precise illumination changes with
explicit control over light intensity and color. Lastly, we show how our method
can achieve compelling light editing results, and outperforms existing methods
based on user preference.