Pro3D-Editor: Una Perspectiva de Vistas Progresivas para la Edición 3D Consistente y Precisa

Pro3D-Editor : A Progressive-Views Perspective for Consistent and Precise 3D Editing

May 31, 2025

Autores: Yang Zheng, Mengqi Huang, Nan Chen, Zhendong Mao

cs.AI

Resumen

La edición 3D guiada por texto tiene como objetivo editar con precisión regiones locales 3D semánticamente relevantes, lo que tiene un potencial significativo para diversas aplicaciones prácticas, desde juegos 3D hasta producción cinematográfica. Los métodos existentes suelen seguir un paradigma indiferenciado por vista: editan indiscriminadamente vistas 2D y las proyectan de nuevo en el espacio 3D. Sin embargo, pasan por alto las diferentes interdependencias entre vistas, lo que resulta en una edición multivista inconsistente. En este estudio, argumentamos que una edición 3D consistente ideal puede lograrse mediante un paradigma de vistas progresivas, que propaga la semántica de la edición desde la vista más destacada para la edición hacia otras vistas menos relevantes. Específicamente, proponemos Pro3D-Editor, un marco novedoso que incluye principalmente el Muestreador de Vista Primaria, el Renderizador de Vistas Clave y el Refinador de Vistas Completas. El Muestreador de Vista Primaria selecciona y edita dinámicamente la vista más destacada para la edición como vista primaria. El Renderizador de Vistas Clave propaga con precisión la semántica de la edición desde la vista primaria hacia otras vistas clave mediante su Adaptación de Bajo Rango de Mezcla de Expertos de Vista (MoVE-LoRA). El Refinador de Vistas Completas edita y refina el objeto 3D basándose en las vistas editadas. Experimentos exhaustivos demuestran que nuestro método supera a los métodos existentes en precisión de edición y consistencia espacial.

English

Text-guided 3D editing aims to precisely edit semantically relevant local 3D regions, which has significant potential for various practical applications ranging from 3D games to film production. Existing methods typically follow a view-indiscriminate paradigm: editing 2D views indiscriminately and projecting them back into 3D space. However, they overlook the different cross-view interdependencies, resulting in inconsistent multi-view editing. In this study, we argue that ideal consistent 3D editing can be achieved through a progressive-views paradigm, which propagates editing semantics from the editing-salient view to other editing-sparse views. Specifically, we propose Pro3D-Editor, a novel framework, which mainly includes Primary-view Sampler, Key-view Render, and Full-view Refiner. Primary-view Sampler dynamically samples and edits the most editing-salient view as the primary view. Key-view Render accurately propagates editing semantics from the primary view to other key views through its Mixture-of-View-Experts Low-Rank Adaption (MoVE-LoRA). Full-view Refiner edits and refines the 3D object based on the edited multi-views. Extensive experiments demonstrate that our method outperforms existing methods in editing accuracy and spatial consistency.