DATENeRF: NeRF의 깊이 인식 기반 텍스트 편집

DATENeRF: Depth-Aware Text-based Editing of NeRFs

April 6, 2024

저자: Sara Rojas, Julien Philip, Kai Zhang, Sai Bi, Fujun Luan, Bernard Ghanem, Kalyan Sunkavall

cs.AI

초록

최근 디퓨전 모델의 발전은 텍스트 프롬프트를 기반으로 2D 이미지를 편집하는 데 있어 뛰어난 능력을 보여주고 있습니다. 그러나 이러한 기술을 Neural Radiance Fields(NeRF)의 장면 편집으로 확장하는 것은 복잡한 문제입니다. 개별 2D 프레임을 편집할 경우 다중 뷰 간의 불일치가 발생할 수 있기 때문입니다. 우리의 핵심 통찰은 NeRF 장면의 기하학이 이러한 2D 편집을 통합하는 가교 역할을 할 수 있다는 것입니다. 이 기하학을 활용하여, 우리는 깊이 조건부 ControlNet을 사용하여 각 2D 이미지 수정의 일관성을 강화합니다. 더 나아가, 우리는 NeRF 장면의 깊이 정보를 활용한 인페인팅 접근법을 도입하여 2D 편집을 다양한 이미지에 분산시키고, 오류 및 리샘플링 문제에 대한 견고성을 보장합니다. 우리의 결과는 이 방법론이 텍스트 기반 NeRF 장면 편집을 위한 기존의 주요 방법들보다 더 일관적이고 생생하며 세부적인 편집을 달성한다는 것을 보여줍니다.

English

Recent advancements in diffusion models have shown remarkable proficiency in editing 2D images based on text prompts. However, extending these techniques to edit scenes in Neural Radiance Fields (NeRF) is complex, as editing individual 2D frames can result in inconsistencies across multiple views. Our crucial insight is that a NeRF scene's geometry can serve as a bridge to integrate these 2D edits. Utilizing this geometry, we employ a depth-conditioned ControlNet to enhance the coherence of each 2D image modification. Moreover, we introduce an inpainting approach that leverages the depth information of NeRF scenes to distribute 2D edits across different images, ensuring robustness against errors and resampling challenges. Our results reveal that this methodology achieves more consistent, lifelike, and detailed edits than existing leading methods for text-driven NeRF scene editing.