Pro3D-Editor: Прогрессивный подход на основе перспектив для согласованного и точного редактирования 3D-моделей

Pro3D-Editor : A Progressive-Views Perspective for Consistent and Precise 3D Editing

May 31, 2025

Авторы: Yang Zheng, Mengqi Huang, Nan Chen, Zhendong Mao

cs.AI

Аннотация

Редактирование 3D-объектов с использованием текстовых инструкций направлено на точное изменение семантически значимых локальных областей 3D-моделей, что имеет большой потенциал для различных практических применений, от 3D-игр до кинопроизводства. Существующие методы обычно следуют парадигме, не учитывающей различия между видами: они редактируют 2D-проекции без разбора и проецируют их обратно в 3D-пространство. Однако такие подходы игнорируют различные межвидовые зависимости, что приводит к несогласованному редактированию в нескольких проекциях. В данном исследовании мы утверждаем, что идеальное согласованное 3D-редактирование может быть достигнуто с помощью прогрессивной парадигмы, которая распространяет семантику редактирования с наиболее значимого для редактирования вида на менее значимые. В частности, мы предлагаем Pro3D-Editor — новую структуру, которая включает в себя Primary-view Sampler, Key-view Render и Full-view Refiner. Primary-view Sampler динамически выбирает и редактирует наиболее значимый для редактирования вид в качестве основного. Key-view Render точно распространяет семантику редактирования с основного вида на другие ключевые виды с помощью адаптации Mixture-of-View-Experts Low-Rank (MoVE-LoRA). Full-view Refiner редактирует и уточняет 3D-объект на основе изменённых многовидовых проекций. Многочисленные эксперименты демонстрируют, что наш метод превосходит существующие подходы по точности редактирования и пространственной согласованности.

English

Text-guided 3D editing aims to precisely edit semantically relevant local 3D regions, which has significant potential for various practical applications ranging from 3D games to film production. Existing methods typically follow a view-indiscriminate paradigm: editing 2D views indiscriminately and projecting them back into 3D space. However, they overlook the different cross-view interdependencies, resulting in inconsistent multi-view editing. In this study, we argue that ideal consistent 3D editing can be achieved through a progressive-views paradigm, which propagates editing semantics from the editing-salient view to other editing-sparse views. Specifically, we propose Pro3D-Editor, a novel framework, which mainly includes Primary-view Sampler, Key-view Render, and Full-view Refiner. Primary-view Sampler dynamically samples and edits the most editing-salient view as the primary view. Key-view Render accurately propagates editing semantics from the primary view to other key views through its Mixture-of-View-Experts Low-Rank Adaption (MoVE-LoRA). Full-view Refiner edits and refines the 3D object based on the edited multi-views. Extensive experiments demonstrate that our method outperforms existing methods in editing accuracy and spatial consistency.