LumiNet: 潜在的な固有値が拡散モデルと屋内シーンの照明再構成に遭遇する

LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

November 29, 2024

著者: Xiaoyan Xing, Konrad Groh, Sezer Karaoglu, Theo Gevers, Anand Bhattad

cs.AI

要旨

LumiNetは、生成モデルと潜在的な固有表現を活用した効果的な照明転送のための革新的なアーキテクチャを紹介します。ソース画像とターゲット照明画像が与えられると、LumiNetはソースシーンの再照明バージョンを合成し、ターゲットの照明を捉えます。当アプローチは、StyleGANベースの再照明モデルからのデータキュレーション戦略と、ソース画像からの潜在的な固有特性とターゲット画像からの潜在的な外部特性の両方を処理する改良された拡散ベースのControlNetに2つの主要な貢献をします。さらに、クロスアテンションとファインチューニングを介してターゲットの潜在的な外部特性を注入する学習されたアダプタ（MLP）を使用して、照明転送を改善します。 従来のControlNetが単一のシーンから条件付きマップを生成するのに対し、LumiNetはソースからジオメトリとアルベドを保持しつつ、ターゲットから照明特性を転送する2つの異なる画像からの潜在表現を処理します。実験では、当手法が、入力として画像のみを使用して、さまざまな空間レイアウトや素材を持つシーン間で複雑な照明現象（スペキュラハイライトや間接照明など）を転送し、従来の手法を上回る結果を示すことが示されました。

English

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target's lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target's latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images - preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.