DATENeRF: Edição Baseada em Texto com Consciência de Profundidade em NeRFs

DATENeRF: Depth-Aware Text-based Editing of NeRFs

April 6, 2024

Autores: Sara Rojas, Julien Philip, Kai Zhang, Sai Bi, Fujun Luan, Bernard Ghanem, Kalyan Sunkavall

cs.AI

Resumo

Avanços recentes em modelos de difusão demonstraram uma notável proficiência na edição de imagens 2D com base em prompts de texto. No entanto, estender essas técnicas para editar cenas em Campos de Radiação Neural (NeRF) é complexo, pois a edição de quadros 2D individuais pode resultar em inconsistências entre múltiplas visualizações. Nossa percepção crucial é que a geometria de uma cena NeRF pode servir como uma ponte para integrar essas edições 2D. Utilizando essa geometria, empregamos um ControlNet condicionado por profundidade para aprimorar a coerência de cada modificação de imagem 2D. Além disso, introduzimos uma abordagem de inpainting que aproveita as informações de profundidade das cenas NeRF para distribuir edições 2D entre diferentes imagens, garantindo robustez contra erros e desafios de reamostragem. Nossos resultados revelam que essa metodologia alcança edições mais consistentes, realistas e detalhadas do que os principais métodos existentes para edição de cenas NeRF orientadas por texto.

English

Recent advancements in diffusion models have shown remarkable proficiency in editing 2D images based on text prompts. However, extending these techniques to edit scenes in Neural Radiance Fields (NeRF) is complex, as editing individual 2D frames can result in inconsistencies across multiple views. Our crucial insight is that a NeRF scene's geometry can serve as a bridge to integrate these 2D edits. Utilizing this geometry, we employ a depth-conditioned ControlNet to enhance the coherence of each 2D image modification. Moreover, we introduce an inpainting approach that leverages the depth information of NeRF scenes to distribute 2D edits across different images, ensuring robustness against errors and resampling challenges. Our results reveal that this methodology achieves more consistent, lifelike, and detailed edits than existing leading methods for text-driven NeRF scene editing.