DreamEditor: 신경 필드를 활용한 텍스트 기반 3D 장면 편집

초록

신경 필드(Neural Fields)는 뷰 합성 및 장면 재구성 분야에서 인상적인 발전을 이루어 왔습니다. 그러나 이러한 신경 필드를 편집하는 것은 기하학적 및 텍스처 정보가 암묵적으로 인코딩되어 있어 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 텍스트 프롬프트를 사용하여 신경 필드를 제어 가능하게 편집할 수 있는 새로운 프레임워크인 DreamEditor를 제안합니다. DreamEditor는 장면을 메시 기반 신경 필드로 표현함으로써 특정 영역 내에서의 지역적 편집을 가능하게 합니다. DreamEditor는 사전 학습된 텍스트-이미지 확산 모델의 텍스트 인코더를 활용하여 텍스트 프롬프트의 의미에 기반해 편집할 영역을 자동으로 식별합니다. 이후, DreamEditor는 스코어 증류 샘플링(Score Distillation Sampling) [29]을 통해 편집 영역을 최적화하고 해당 영역의 기하학적 구조와 텍스처를 텍스트 프롬프트와 정렬합니다. 광범위한 실험을 통해 DreamEditor가 주어진 텍스트 프롬프트에 따라 실제 장면의 신경 필드를 정확하게 편집하면서도 관련 없는 영역의 일관성을 유지할 수 있음을 입증했습니다. DreamEditor는 매우 현실적인 텍스처와 기하학적 구조를 생성하며, 양적 및 질적 평가 모두에서 기존 연구를 크게 능가하는 성능을 보여줍니다.

English

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.

DreamEditor: 신경 필드를 활용한 텍스트 기반 3D 장면 편집

DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

초록

Support