LightSwitch: マテリアル誘導型拡散を用いたマルチビュー照明調整

要旨

最近の3Dリライティング手法では、2D画像リライティングの生成事前分布を統合することで、3D表現の外観を変更しつつ基礎となる構造を保持することに成功を見せています。しかし、入力画像から直接リライティングを行う2Dリライティング用の生成事前分布は、被写体の本質的特性を推論して活用することができず、大規模なマルチビューデータを考慮することもできないため、リライティングの品質が低下する傾向にあります。本論文では、Lightswitchという新しい微調整済みマテリアルリライティング拡散フレームワークを提案します。このフレームワークは、推論された本質的特性からの手がかりを組み込みつつ、任意の数の入力画像をターゲットの照明条件に効率的にリライティングします。マルチビュー情報とマテリアル情報の手がかりをスケーラブルなノイズ除去スキームと共に使用することで、多様なマテリアル構成を持つオブジェクトの密なマルチビューデータを一貫して効率的にリライティングします。我々の2Dリライティング予測の品質は、画像から直接リライティングを行う従来の最先端リライティング事前分布を上回ることを示します。さらに、LightSwitchは、合成および実物体のリライティングにおいて、わずか2分で最先端の拡散逆レンダリング手法に匹敵またはそれを上回る性能を発揮することを実証します。

English

Recent approaches for 3D relighting have shown promise in integrating 2D image relighting generative priors to alter the appearance of a 3D representation while preserving the underlying structure. Nevertheless, generative priors used for 2D relighting that directly relight from an input image do not take advantage of intrinsic properties of the subject that can be inferred or cannot consider multi-view data at scale, leading to subpar relighting. In this paper, we propose Lightswitch, a novel finetuned material-relighting diffusion framework that efficiently relights an arbitrary number of input images to a target lighting condition while incorporating cues from inferred intrinsic properties. By using multi-view and material information cues together with a scalable denoising scheme, our method consistently and efficiently relights dense multi-view data of objects with diverse material compositions. We show that our 2D relighting prediction quality exceeds previous state-of-the-art relighting priors that directly relight from images. We further demonstrate that LightSwitch matches or outperforms state-of-the-art diffusion inverse rendering methods in relighting synthetic and real objects in as little as 2 minutes.

LightSwitch: マテリアル誘導型拡散を用いたマルチビュー照明調整

LightSwitch: Multi-view Relighting with Material-guided Diffusion

要旨

Support