생성 사전 증류를 통한 쌍별 지도 없는 3D 편집 학습

초록

지시 기반 3D 편집은 인터랙티브 콘텐츠 제작에 필수적이지만, 고품질 쌍 학습 데이터의 심각한 희소성이라는 중대한 병목에 직면해 있다. 기존 접근법은 느린 테스트 시점 최적화에 의존하거나 복잡한 파이프라인을 통해 구성된 의사 쌍으로 학습함으로써 이를 우회하려 하지만, 이는 종종 구조적 드리프트와 기하학적 아티팩트를 초래한다. 본 논문에서 우리는 생성 사전 증류(Generative Prior Distillation)를 통해 쌍을 이룬 3D 지도 없이 피드포워드 3D 편집을 학습하는 새로운 프레임워크를 제안한다. 정답 3D 쌍에 의존하는 대신, 우리의 핵심 아이디어는 강력한 파운데이션 모델로부터 시각적, 의미적, 기하학적 지식을 3D 편집 모델에 직접 증류하는 것이다. 구체적으로, 미분 가능한 렌더링 파이프라인을 통해 우리는 두 가지 상보적 신호를 사용하여 3D 표현을 지도한다: 주 편집 시점에서 이미지 편집 모델로부터의 2D 시각적 사전과, 새로운 시점에서 비전-언어 모델로부터의 의미적 사전으로, 이는 엄격한 지시 수행과 원본 정체성 보존을 보장한다. 결정적으로, 2D 투영 지도에 내재된 기하학적 붕괴와 다중 시점 불일치를 해결하기 위해, 우리는 3D 인식 분포 매칭 정규화를 도입한다. 기하학적 사전으로 작용하는 이 항은 3D 잠재 공간에서 작동하며, 편집된 출력이 사전 학습된 이미지-투-3D 교사 모델에 의해 정의된 사실적인 3D 자산의 매니폴드 내에 머물도록 제약한다. 광범위한 실험은 우리 방법이 우수한 지시 충실도와 시점 간 일관성을 달성하며 최신 베이스라인을 크게 능가함을 입증한다. 우리 프로젝트는 다음에서 확인할 수 있다: https://github.com/thiamine128/PriorEdit3D.

English

Instruction-guided 3D editing is essential for interactive content creation, yet it faces a significant bottleneck: the severe scarcity of high-quality paired training data. Existing approaches attempt to bypass this by either relying on slow test-time optimization or training on pseudo-pairs constructed via complex pipelines, which often introduce structural drift and geometric artifacts. In this paper, we propose a novel framework that learns feed-forward 3D editing without paired 3D supervision via Generative Prior Distillation. Instead of relying on ground-truth 3D pairs, our core idea is to distill visual, semantic, and geometric knowledge from powerful foundation models directly into a 3D editing model. Specifically, through a differentiable rendering pipeline, we supervise the 3D representation using two complementary signals: a 2D visual prior from an image editing model at the main editing view, and a semantic prior from a Vision-Language Model at novel views to ensure strict instruction following and source identity preservation. Crucially, to address the geometric collapse and multi-view inconsistencies inherent in 2D projection supervision, we introduce a 3D-aware Distribution Matching regularization. Acting as a geometric prior, this term operates in the 3D latent space, constraining the edited output to remain within the manifold of realistic 3D assets defined by a pretrained image to 3D teacher model. Extensive experiments demonstrate that our method achieves superior instruction fidelity and cross-view consistency, significantly outperforming state-of-the-art baselines. Our project is available at: https://github.com/thiamine128/PriorEdit3D.