MetaView: スケール認識型暗黙的幾何学事前知識を用いた単眼新規視点合成

要旨

現在の視覚生成モデルは高品質なコンテンツを生成できるものの、空間構造に対する一貫した認識を欠いている。既存の生成的視点合成手法は通常、明示的な幾何学事前知識を導入することで空間的一貫性を強制するが、その結果として大きな視点変化における汎化性能が本質的に制限される。一方、最近のインタラクティブ生成手法は暗黙的なシーンモデリングを優先し、柔軟性を高める反面、精密なカメラ制御や幾何学的一貫性を犠牲にしている。本論文では、単一画像から大きな視点変化下でのレンダリングを可能にする、拡散型単眼視点合成フレームワーク「MetaView」を提案する。我々の核心的洞察は、暗黙的幾何学モデリングと最小限かつ本質的な明示的3D手がかりを組み合わせることである：フィードフォワード型幾何認識ネットワークからの暗黙的幾何学事前知識を取り入れて、制限的な再構成パイプラインを課さずに構造を正則化しつつ、メートル深度を活用して生成をメートルスケールに固定する。この設計により、MetaViewは幾何学的一貫性と精密な制御可能性の両立を実現する。広範な実験により、困難な単眼大視点変化条件下において、MetaViewが既存手法を大幅に上回る性能を示し、優れた汎化能力を発揮することが実証された。我々のコードはhttps://github.com/KlingAIResearch/MetaViewで公開されている。

English

Current visual generation models are capable of producing high-quality content, yet they lack a coherent perception of the spatial structure. Existing generative novel view synthesis methods typically introduce explicit geometry priors, which enforce spatial consistency but inherently restrict generalization in large view changes. In contrast, recent interactive generative methods favor implicit scene modeling, offering greater flexibility at the cost of precise camera control and geometry consistency. In this paper, we propose MetaView, a diffusion-based monocular novel view synthesis framework that enables rendering under large view changes from a single image. Our key insight is to combine implicit geometry modeling with minimal yet essential explicit 3D cues: we incorporate implicit geometry priors from a feed-forward geometry perception network to regularize structure without imposing restrictive reconstruction pipelines, while leveraging metric depth to anchor the generation to a metric scale. This design allows MetaView to achieve both geometry consistency and precise controllability. Extensive experiments demonstrate that, under challenging monocular large viewpoint changes, MetaView significantly outperforms existing methods and exhibits superior generalization. Our code is publicly available at https://github.com/KlingAIResearch/MetaView.