生成的事前分布蒸留によるペア教師なし3D編集の学習

要旨

指示誘導型3D編集はインタラクティブなコンテンツ作成に不可欠であるが、重大なボトルネックに直面している。それは、高品質なペア訓練データの深刻な不足である。既存手法は、低速なテスト時最適化に依存するか、複雑なパイプラインによって構築された疑似ペアで訓練することによってこれを回避しようとするが、しばしば構造ドリフトや幾何学的アーティファクトを引き起こす。本論文では、生成的プライア蒸留により、ペア付き3D教師なしでフィードフォワード3D編集を学習する新規フレームワークを提案する。正解3Dペアに依存する代わりに、我々の中心的なアイデアは、強力な基盤モデルから視覚・意味・幾何学的知識を3D編集モデルに直接蒸留することである。具体的には、微分可能レンダリングパイプラインを通じて、2つの相補的な信号を用いて3D表現を監督する。すなわち、主編集ビューにおける画像編集モデルからの2D視覚プライアと、新規ビューにおける視覚言語モデルからの意味プライアであり、これらは厳密な指示追従とソース同一性保持を保証する。重要なことに、2D投影監督に固有の幾何学的崩壊と多視点不整合に対処するため、我々は3D認識型分布マッチング正則化を導入する。この項は幾何学的プライアとして機能し、3D潜在空間で動作して、編集された出力が、事前学習済みの画像から3Dへの教師モデルによって定義されるリアルな3Dアセットの多様体に留まるよう制約する。広範な実験により、本手法が優れた指示忠実度とクロスビュー一貫性を達成し、最先端ベースラインを大幅に上回ることを示す。プロジェクトはこちらで公開している：https://github.com/thiamine128/PriorEdit3D。

English

Instruction-guided 3D editing is essential for interactive content creation, yet it faces a significant bottleneck: the severe scarcity of high-quality paired training data. Existing approaches attempt to bypass this by either relying on slow test-time optimization or training on pseudo-pairs constructed via complex pipelines, which often introduce structural drift and geometric artifacts. In this paper, we propose a novel framework that learns feed-forward 3D editing without paired 3D supervision via Generative Prior Distillation. Instead of relying on ground-truth 3D pairs, our core idea is to distill visual, semantic, and geometric knowledge from powerful foundation models directly into a 3D editing model. Specifically, through a differentiable rendering pipeline, we supervise the 3D representation using two complementary signals: a 2D visual prior from an image editing model at the main editing view, and a semantic prior from a Vision-Language Model at novel views to ensure strict instruction following and source identity preservation. Crucially, to address the geometric collapse and multi-view inconsistencies inherent in 2D projection supervision, we introduce a 3D-aware Distribution Matching regularization. Acting as a geometric prior, this term operates in the 3D latent space, constraining the edited output to remain within the manifold of realistic 3D assets defined by a pretrained image to 3D teacher model. Extensive experiments demonstrate that our method achieves superior instruction fidelity and cross-view consistency, significantly outperforming state-of-the-art baselines. Our project is available at: https://github.com/thiamine128/PriorEdit3D.