LumiNet: Intrínsecos Latentes Encontram Modelos de Difusão para Relighting de Cenas Internas

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

Autores: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

Resumo

Apresentamos o LumiNet, uma arquitetura inovadora que aproveita modelos generativos e representações intrínsecas latentes para transferência eficaz de iluminação. Dada uma imagem de origem e uma imagem de iluminação de destino, o LumiNet sintetiza uma versão reluzente da cena de origem que captura a iluminação do destino. Nossa abordagem apresenta duas contribuições principais: uma estratégia de curadoria de dados do modelo de reluzimento baseado em StyleGAN para nosso treinamento, e um ControlNet baseado em difusão modificado que processa tanto propriedades intrínsecas latentes da imagem de origem quanto propriedades extrínsecas latentes da imagem de destino. Melhoramos ainda mais a transferência de iluminação por meio de um adaptador aprendido (MLP) que injeta as propriedades extrínsecas latentes do destino via atenção cruzada e ajuste fino. Ao contrário do ControlNet tradicional, que gera imagens com mapas condicionais de uma única cena, o LumiNet processa representações latentes de duas imagens diferentes - preservando geometria e albedo da origem enquanto transfere características de iluminação do destino. Experimentos demonstram que nosso método transfere com sucesso fenômenos de iluminação complexos, incluindo destaques especulares e iluminação indireta entre cenas com layouts espaciais e materiais variados, superando abordagens existentes em cenas internas desafiadoras usando apenas imagens como entrada.

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.