DATENeRF: Глубинно-ориентированное текстовое редактирование NeRF-моделей

DATENeRF: Depth-Aware Text-based Editing of NeRFs

April 6, 2024

Авторы: Sara Rojas, Julien Philip, Kai Zhang, Sai Bi, Fujun Luan, Bernard Ghanem, Kalyan Sunkavall

cs.AI

Аннотация

Недавние достижения в моделях диффузии показали замечательную производительность в редактировании 2D изображений на основе текстовых подсказок. Однако расширение этих техник на редактирование сцен в Нейронных радиационных полях (NeRF) является сложным, поскольку редактирование отдельных 2D кадров может привести к несоответствиям между различными видами. Нашим ключевым открытием является то, что геометрия сцены NeRF может служить мостом для интеграции этих 2D редакций. Используя эту геометрию, мы применяем глубинно-условную ControlNet для улучшения согласованности каждой модификации 2D изображения. Более того, мы представляем подход к заполнению, который использует информацию о глубине сцен NeRF для распределения 2D редакций по различным изображениям, обеспечивая устойчивость к ошибкам и вызовам повторной выборки. Наши результаты показывают, что эта методология достигает более согласованных, реалистичных и детализированных редакций, чем существующие ведущие методы для редактирования сцен NeRF по текстовым подсказкам.

English

Recent advancements in diffusion models have shown remarkable proficiency in editing 2D images based on text prompts. However, extending these techniques to edit scenes in Neural Radiance Fields (NeRF) is complex, as editing individual 2D frames can result in inconsistencies across multiple views. Our crucial insight is that a NeRF scene's geometry can serve as a bridge to integrate these 2D edits. Utilizing this geometry, we employ a depth-conditioned ControlNet to enhance the coherence of each 2D image modification. Moreover, we introduce an inpainting approach that leverages the depth information of NeRF scenes to distribute 2D edits across different images, ensuring robustness against errors and resampling challenges. Our results reveal that this methodology achieves more consistent, lifelike, and detailed edits than existing leading methods for text-driven NeRF scene editing.