LightLab: Управление источниками света на изображениях с использованием диффузионных моделей

LightLab: Controlling Light Sources in Images with Diffusion Models

May 14, 2025

Авторы: Nadav Magar, Amir Hertz, Eric Tabellion, Yael Pritch, Alex Rav-Acha, Ariel Shamir, Yedid Hoshen

cs.AI

Аннотация

Мы представляем простой, но эффективный метод на основе диффузии для детализированного параметрического управления источниками света на изображении. Существующие методы переосвещения либо полагаются на несколько входных изображений для выполнения обратной визуализации на этапе вывода, либо не обеспечивают явного контроля над изменениями освещения. Наш метод дообучает модель диффузии на небольшом наборе пар реальных необработанных фотографий, дополненных синтетически отрендеренными изображениями в большом масштабе, чтобы активировать её фотореалистичный априор для переосвещения. Мы используем линейность света для синтеза пар изображений, демонстрирующих контролируемые изменения освещения либо целевого источника света, либо окружающей подсветки. Используя эти данные и подходящую схему дообучения, мы обучаем модель для точного изменения освещения с явным контролем над интенсивностью и цветом света. Наконец, мы показываем, как наш метод может достигать впечатляющих результатов редактирования освещения и превосходит существующие методы на основе предпочтений пользователей.

English

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.