DATENeRF: NeRFの深さ情報を考慮したテキストベース編集

DATENeRF: Depth-Aware Text-based Editing of NeRFs

April 6, 2024

著者: Sara Rojas, Julien Philip, Kai Zhang, Sai Bi, Fujun Luan, Bernard Ghanem, Kalyan Sunkavall

cs.AI

要旨

最近の拡散モデルの進展は、テキストプロンプトに基づいた2D画像編集において顕著な能力を示しています。しかし、これらの技術をNeural Radiance Fields（NeRF）のシーン編集に拡張することは複雑であり、個々の2Dフレームを編集すると、複数の視点間で不整合が生じる可能性があります。私たちの重要な洞察は、NeRFシーンのジオメトリがこれらの2D編集を統合するための橋渡しとして機能し得るということです。このジオメトリを活用し、深度条件付きControlNetを使用して各2D画像修正の一貫性を向上させます。さらに、NeRFシーンの深度情報を活用したインペインティング手法を導入し、2D編集を異なる画像間で分散させることで、エラーやリサンプリングの課題に対する堅牢性を確保します。私たちの結果は、この手法がテキスト駆動型NeRFシーン編集において、既存の主要な手法よりも一貫性があり、リアルで詳細な編集を実現することを示しています。

English

Recent advancements in diffusion models have shown remarkable proficiency in editing 2D images based on text prompts. However, extending these techniques to edit scenes in Neural Radiance Fields (NeRF) is complex, as editing individual 2D frames can result in inconsistencies across multiple views. Our crucial insight is that a NeRF scene's geometry can serve as a bridge to integrate these 2D edits. Utilizing this geometry, we employ a depth-conditioned ControlNet to enhance the coherence of each 2D image modification. Moreover, we introduce an inpainting approach that leverages the depth information of NeRF scenes to distribute 2D edits across different images, ensuring robustness against errors and resampling challenges. Our results reveal that this methodology achieves more consistent, lifelike, and detailed edits than existing leading methods for text-driven NeRF scene editing.