ZeroNVS: 単一の実画像からのゼロショット360度ビュー合成

要旨

本論文では、実世界のシーンにおける単一画像からの新視点合成のための3D-aware拡散モデル「ZeroNVS」を提案する。既存手法はマスクされた背景を持つ単一物体を対象としているが、我々は複雑な背景を伴う実世界の多物体シーンがもたらす課題に対処する新たな技術を考案した。具体的には、物体中心、屋内、屋外シーンを網羅する複数のデータソースを用いて生成事前分布を学習する。データ混合による深度スケールの曖昧さといった問題に対処するため、新たなカメラ条件付けパラメータ化と正規化スキームを提案する。さらに、360度シーンの蒸留においてScore Distillation Sampling（SDS）が複雑な背景の分布を切り詰める傾向にあることを観察し、合成される新視点の多様性を向上させる「SDSアンカリング」を導入する。本モデルは、DTUデータセットにおけるゼロショット設定でのLPIPSにおいて新たなstate-of-the-artを達成し、DTUで特別に訓練された手法をも上回る性能を示す。さらに、単一画像からの新視点合成の新たなベンチマークとして挑戦的なMip-NeRF 360データセットを適応し、この設定においても優れた性能を実証する。コードとデータはhttp://kylesargent.github.io/zeronvs/で公開されている。

English

We introduce a 3D-aware diffusion model, ZeroNVS, for single-image novel view synthesis for in-the-wild scenes. While existing methods are designed for single objects with masked backgrounds, we propose new techniques to address challenges introduced by in-the-wild multi-object scenes with complex backgrounds. Specifically, we train a generative prior on a mixture of data sources that capture object-centric, indoor, and outdoor scenes. To address issues from data mixture such as depth-scale ambiguity, we propose a novel camera conditioning parameterization and normalization scheme. Further, we observe that Score Distillation Sampling (SDS) tends to truncate the distribution of complex backgrounds during distillation of 360-degree scenes, and propose "SDS anchoring" to improve the diversity of synthesized novel views. Our model sets a new state-of-the-art result in LPIPS on the DTU dataset in the zero-shot setting, even outperforming methods specifically trained on DTU. We further adapt the challenging Mip-NeRF 360 dataset as a new benchmark for single-image novel view synthesis, and demonstrate strong performance in this setting. Our code and data are at http://kylesargent.github.io/zeronvs/

ZeroNVS: 単一の実画像からのゼロショット360度ビュー合成

ZeroNVS: Zero-Shot 360-Degree View Synthesis from a Single Real Image

要旨

Support