DATENeRF: Tiefenbewusste Textbasierte Bearbeitung von NeRFs

DATENeRF: Depth-Aware Text-based Editing of NeRFs

April 6, 2024

Autoren: Sara Rojas, Julien Philip, Kai Zhang, Sai Bi, Fujun Luan, Bernard Ghanem, Kalyan Sunkavall

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte in Diffusionsmodellen eine bemerkenswerte Leistungsfähigkeit bei der Bearbeitung von 2D-Bildern basierend auf Textvorgaben gezeigt. Die Erweiterung dieser Techniken zur Bearbeitung von Szenen in Neuronalen Strahlungsfeldern (NeRF) ist jedoch komplex, da die Bearbeitung einzelner 2D-Frames zu Inkonsistenzen über verschiedene Ansichten hinweg führen kann. Unser entscheidender Einblick besteht darin, dass die Geometrie einer NeRF-Szene als Brücke dienen kann, um diese 2D-Bearbeitungen zu integrieren. Unter Verwendung dieser Geometrie setzen wir ein tiefenbedingtes ControlNet ein, um die Kohärenz jeder 2D-Bildbearbeitung zu verbessern. Darüber hinaus führen wir einen Inpainting-Ansatz ein, der die Tiefeninformationen von NeRF-Szenen nutzt, um 2D-Bearbeitungen über verschiedene Bilder zu verteilen und so Robustheit gegen Fehler und Neuberechnungsherausforderungen sicherzustellen. Unsere Ergebnisse zeigen, dass diese Methodik konsistentere, lebensechtere und detailliertere Bearbeitungen erreicht als bestehende führende Methoden für textgesteuerte NeRF-Szenenbearbeitung.

English

Recent advancements in diffusion models have shown remarkable proficiency in editing 2D images based on text prompts. However, extending these techniques to edit scenes in Neural Radiance Fields (NeRF) is complex, as editing individual 2D frames can result in inconsistencies across multiple views. Our crucial insight is that a NeRF scene's geometry can serve as a bridge to integrate these 2D edits. Utilizing this geometry, we employ a depth-conditioned ControlNet to enhance the coherence of each 2D image modification. Moreover, we introduce an inpainting approach that leverages the depth information of NeRF scenes to distribute 2D edits across different images, ensuring robustness against errors and resampling challenges. Our results reveal that this methodology achieves more consistent, lifelike, and detailed edits than existing leading methods for text-driven NeRF scene editing.