幾何学的基盤モデルのマルチビュー拡散への転用

要旨

生成的潜在空間の最近の進歩により単一画像生成は大きく発展したが、新規視点合成（NVS）における最適な潜在空間はほとんど未開拓のままである。特にNVSは視点間での幾何学的に一貫した生成を必要とするが、既存手法は典型的に視点非依存のVAE潜在空間で動作する。本論文では、幾何学基盤モデルの幾何学的に一貫した特徴空間を多視点拡散の潜在空間として再利用するフレームワーク、Geometric Latent Diffusion（GLD）を提案する。これらの特徴量が高忠実度RGB再構成を可能にするだけでなく、強力な視点間幾何学的対応を符号化しており、NVSに適した潜在空間を提供することを示す。実験により、GLDが2D画像品質および3D一貫性指標においてVAEおよびRAEを上回り、VAE潜在空間と比較してトレーニングを4.4倍以上高速化することを実証する。特にGLDは、大規模なテキストから画像への事前学習を活用する最新手法と互角の性能を発揮するが、そのような生成的事前学習なしで拡散モデルをゼロから学習している点が特筆される。

English

While recent advances in generative latent spaces have driven substantial progress in single-image generation, the optimal latent space for novel view synthesis (NVS) remains largely unexplored. In particular, NVS requires geometrically consistent generation across viewpoints, but existing approaches typically operate in a view-independent VAE latent space. In this paper, we propose Geometric Latent Diffusion (GLD), a framework that repurposes the geometrically consistent feature space of geometric foundation models as the latent space for multi-view diffusion. We show that these features not only support high-fidelity RGB reconstruction but also encode strong cross-view geometric correspondences, providing a well-suited latent space for NVS. Our experiments demonstrate that GLD outperforms both VAE and RAE on 2D image quality and 3D consistency metrics, while accelerating training by more than 4.4x compared to the VAE latent space. Notably, GLD remains competitive with state-of-the-art methods that leverage large-scale text-to-image pretraining, despite training its diffusion model from scratch without such generative pretraining.

幾何学的基盤モデルのマルチビュー拡散への転用

Repurposing Geometric Foundation Models for Multi-view Diffusion

要旨

Support