Pro3D-Editor: 일관적이고 정밀한 3D 편집을 위한 점진적 뷰 관점

Pro3D-Editor : A Progressive-Views Perspective for Consistent and Precise 3D Editing

May 31, 2025

저자: Yang Zheng, Mengqi Huang, Nan Chen, Zhendong Mao

cs.AI

초록

텍스트 기반 3D 편집은 의미적으로 관련된 로컬 3D 영역을 정밀하게 편집하는 것을 목표로 하며, 3D 게임부터 영화 제작에 이르기까지 다양한 실용적인 응용 분야에서 상당한 잠재력을 가지고 있습니다. 기존 방법들은 일반적으로 뷰-무차별적 패러다임을 따릅니다: 2D 뷰를 무차별적으로 편집한 후 이를 3D 공간으로 다시 투영합니다. 그러나 이러한 방법들은 서로 다른 뷰 간의 상호 의존성을 간과하여 일관되지 않은 다중 뷰 편집을 초래합니다. 본 연구에서는 이상적인 일관된 3D 편집이 점진적 뷰 패러다임을 통해 달성될 수 있다고 주장합니다. 이 패러다임은 편집-중요 뷰에서 편집-희소 뷰로 편집 의미를 전파합니다. 구체적으로, 우리는 Primary-view Sampler, Key-view Render, Full-view Refiner를 주요 구성 요소로 하는 새로운 프레임워크인 Pro3D-Editor를 제안합니다. Primary-view Sampler는 가장 편집-중요 뷰를 동적으로 샘플링하고 편집하여 기본 뷰로 설정합니다. Key-view Render는 Mixture-of-View-Experts Low-Rank Adaption (MoVE-LoRA)을 통해 기본 뷰에서 다른 키 뷰로 편집 의미를 정확하게 전파합니다. Full-view Refiner는 편집된 다중 뷰를 기반으로 3D 객체를 편집하고 정제합니다. 광범위한 실험을 통해 우리의 방법이 편집 정확도와 공간적 일관성에서 기존 방법들을 능가함을 입증했습니다.

English

Text-guided 3D editing aims to precisely edit semantically relevant local 3D regions, which has significant potential for various practical applications ranging from 3D games to film production. Existing methods typically follow a view-indiscriminate paradigm: editing 2D views indiscriminately and projecting them back into 3D space. However, they overlook the different cross-view interdependencies, resulting in inconsistent multi-view editing. In this study, we argue that ideal consistent 3D editing can be achieved through a progressive-views paradigm, which propagates editing semantics from the editing-salient view to other editing-sparse views. Specifically, we propose Pro3D-Editor, a novel framework, which mainly includes Primary-view Sampler, Key-view Render, and Full-view Refiner. Primary-view Sampler dynamically samples and edits the most editing-salient view as the primary view. Key-view Render accurately propagates editing semantics from the primary view to other key views through its Mixture-of-View-Experts Low-Rank Adaption (MoVE-LoRA). Full-view Refiner edits and refines the 3D object based on the edited multi-views. Extensive experiments demonstrate that our method outperforms existing methods in editing accuracy and spatial consistency.