LightLab：拡散モデルを用いた画像内光源制御

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

著者: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

要旨

本論文では、画像内の光源に対して細かいパラメトリック制御を可能にする、シンプルかつ効果的な拡散モデルベースの手法を提案します。既存のリライティング手法は、推論時に逆レンダリングを行うために複数の入力ビューを必要とするか、光の変化に対する明示的な制御を提供できません。我々の手法では、少数の実写RAW写真ペアと大規模に合成されたレンダリング画像を用いて拡散モデルをファインチューニングし、その写実的な事前知識をリライティングに活用します。光の線形性を利用して、ターゲット光源または環境照明の制御された光の変化を描いた画像ペアを合成します。このデータと適切なファインチューニングスキームを用いて、光の強度と色を明示的に制御可能な、精密な照明変化のためのモデルを学習します。最後に、本手法が説得力のある光編集結果を実現し、ユーザー選好に基づいて既存手法を上回ることを示します。

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.