LumiNet: Скрытые внутренние характеристики встречаются с моделями диффузии для переосвещения внутренних сцен.

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

Авторы: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

Аннотация

Мы представляем LumiNet, новую архитектуру, которая использует генеративные модели и скрытые внутренние представления для эффективного переноса освещения. Учитывая исходное изображение и изображение целевого освещения, LumiNet синтезирует переосвещенную версию исходной сцены, которая передает освещение цели. Наш подход вносит два ключевых вклада: стратегию курирования данных из модели переосвещения на основе StyleGAN для нашего обучения и модифицированный ControlNet на основе диффузии, который обрабатывает как скрытые внутренние свойства исходного изображения, так и скрытые внешние свойства целевого изображения. Мы дополнительно улучшаем перенос освещения через обученный адаптер (MLP), который внедряет скрытые внешние свойства цели через кросс-внимание и донастройку. В отличие от традиционного ControlNet, который генерирует изображения с условными картами из одной сцены, LumiNet обрабатывает скрытые представления из двух разных изображений, сохраняя геометрию и альбедо из исходного, в то время как передает характеристики освещения из цели. Эксперименты демонстрируют, что наш метод успешно передает сложные явления освещения, включая зеркальные блики и косвенное освещение между сценами с различными пространственными компоновками и материалами, превосходя существующие подходы на сложных внутренних сценах, используя только изображения в качестве входных данных.

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.