LightLab: 확산 모델을 활용한 이미지 내 광원 제어

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

저자: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

초록

우리는 이미지 내 광원에 대한 세밀하고 파라미터화된 제어를 가능하게 하는 간단하지만 효과적인 디퓨전 기반 방법을 제안합니다. 기존의 재조명 방법들은 추론 시점에서 역렌더링을 수행하기 위해 다중 입력 뷰에 의존하거나, 광 변화에 대한 명시적 제어를 제공하지 못하는 한계가 있었습니다. 우리의 방법은 소규모의 실제 원본 사진 쌍과 대규모로 합성된 렌더링 이미지를 보조 데이터로 사용하여 디퓨전 모델을 미세 조정함으로써, 재조명을 위한 사실적인 사전 지식을 유도합니다. 우리는 광의 선형성을 활용하여 특정 광원 또는 주변 조명의 제어된 변화를 묘사한 이미지 쌍을 합성합니다. 이러한 데이터와 적절한 미세 조정 방식을 사용하여, 광 강도와 색상에 대한 명시적 제어가 가능한 정밀한 조명 변화 모델을 학습합니다. 마지막으로, 우리의 방법이 어떻게 설득력 있는 광 편집 결과를 달성할 수 있는지 보여주며, 사용자 선호도 측면에서 기존 방법들을 능가함을 입증합니다.

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.