LumiNet : Intrinsèques Latentes Rencontre Modèles de Diffusion pour l'Éclairage de Scènes Intérieures

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

Auteurs: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

Résumé

Nous présentons LumiNet, une architecture novatrice qui exploite des modèles génératifs et des représentations intrinsèques latentes pour un transfert d'éclairage efficace. Étant donné une image source et une image d'éclairage cible, LumiNet synthétise une version reéclairée de la scène source qui capture l'éclairage de la cible. Notre approche apporte deux contributions clés : une stratégie de curation des données à partir du modèle de reéclairage basé sur StyleGAN pour notre entraînement, et un ControlNet basé sur la diffusion modifié qui traite à la fois les propriétés intrinsèques latentes de l'image source et les propriétés extrinsèques latentes de l'image cible. Nous améliorons en outre le transfert d'éclairage grâce à un adaptateur appris (MLP) qui injecte les propriétés extrinsèques latentes de la cible via une attention croisée et un affinage. Contrairement au ControlNet traditionnel, qui génère des images avec des cartes conditionnelles à partir d'une seule scène, LumiNet traite des représentations latentes de deux images différentes - préservant la géométrie et l'albédo de la source tout en transférant les caractéristiques d'éclairage de la cible. Des expériences démontrent que notre méthode transfère avec succès des phénomènes d'éclairage complexes, y compris les reflets spéculaires et l'illumination indirecte, à travers des scènes avec des agencements spatiaux et des matériaux variés, surpassant les approches existantes sur des scènes intérieures complexes en n'utilisant que des images en entrée.

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.