DATENeRF: Edición Basada en Texto con Conciencia de Profundidad en NeRFs

DATENeRF: Depth-Aware Text-based Editing of NeRFs

April 6, 2024

Autores: Sara Rojas, Julien Philip, Kai Zhang, Sai Bi, Fujun Luan, Bernard Ghanem, Kalyan Sunkavall

cs.AI

Resumen

Los avances recientes en los modelos de difusión han demostrado una notable capacidad para editar imágenes 2D basadas en indicaciones de texto. Sin embargo, extender estas técnicas para editar escenas en Campos de Radiancia Neural (NeRF) es complejo, ya que editar fotogramas 2D individuales puede resultar en inconsistencias entre múltiples vistas. Nuestra idea clave es que la geometría de una escena NeRF puede servir como puente para integrar estas ediciones 2D. Utilizando esta geometría, empleamos un ControlNet condicionado por profundidad para mejorar la coherencia de cada modificación de imagen 2D. Además, introducimos un enfoque de inpaint que aprovecha la información de profundidad de las escenas NeRF para distribuir las ediciones 2D entre diferentes imágenes, asegurando robustez frente a errores y desafíos de remuestreo. Nuestros resultados revelan que esta metodología logra ediciones más consistentes, realistas y detalladas que los métodos líderes existentes para la edición de escenas NeRF impulsada por texto.

English

Recent advancements in diffusion models have shown remarkable proficiency in editing 2D images based on text prompts. However, extending these techniques to edit scenes in Neural Radiance Fields (NeRF) is complex, as editing individual 2D frames can result in inconsistencies across multiple views. Our crucial insight is that a NeRF scene's geometry can serve as a bridge to integrate these 2D edits. Utilizing this geometry, we employ a depth-conditioned ControlNet to enhance the coherence of each 2D image modification. Moreover, we introduce an inpainting approach that leverages the depth information of NeRF scenes to distribute 2D edits across different images, ensuring robustness against errors and resampling challenges. Our results reveal that this methodology achieves more consistent, lifelike, and detailed edits than existing leading methods for text-driven NeRF scene editing.