DreamEditor: ニューラルフィールドを用いたテキスト駆動型3Dシーン編集

DreamEditor: Text-Driven 3D Scene Editing with Neural Fields

June 23, 2023

著者: Jingyu Zhuang, Chen Wang, Lingjie Liu, Liang Lin, Guanbin Li

cs.AI

要旨

ニューラルフィールドは、ビュー合成やシーン再構成において目覚ましい進展を遂げてきました。しかし、幾何学やテクスチャ情報が暗黙的にエンコードされているため、これらのニューラルフィールドを編集することは依然として困難です。本論文では、テキストプロンプトを用いてニューラルフィールドを制御的に編集可能にする新しいフレームワーク、DreamEditorを提案します。シーンをメッシュベースのニューラルフィールドとして表現することで、DreamEditorは特定の領域内での局所的な編集を可能にします。DreamEditorは、事前学習済みのテキストから画像への拡散モデルのテキストエンコーダを利用し、テキストプロンプトの意味に基づいて編集すべき領域を自動的に特定します。その後、DreamEditorは編集領域を最適化し、その幾何学とテクスチャをスコア蒸留サンプリング[29]を通じてテキストプロンプトと整合させます。大規模な実験により、DreamEditorが与えられたテキストプロンプトに従って実世界のシーンのニューラルフィールドを正確に編集しつつ、無関係な領域の一貫性を保証できることが実証されました。DreamEditorは非常にリアルなテクスチャと幾何学を生成し、定量的および定性的な評価の両面で従来の研究を大きく上回る結果を示しました。

English

Neural fields have achieved impressive advancements in view synthesis and scene reconstruction. However, editing these neural fields remains challenging due to the implicit encoding of geometry and texture information. In this paper, we propose DreamEditor, a novel framework that enables users to perform controlled editing of neural fields using text prompts. By representing scenes as mesh-based neural fields, DreamEditor allows localized editing within specific regions. DreamEditor utilizes the text encoder of a pretrained text-to-Image diffusion model to automatically identify the regions to be edited based on the semantics of the text prompts. Subsequently, DreamEditor optimizes the editing region and aligns its geometry and texture with the text prompts through score distillation sampling [29]. Extensive experiments have demonstrated that DreamEditor can accurately edit neural fields of real-world scenes according to the given text prompts while ensuring consistency in irrelevant areas. DreamEditor generates highly realistic textures and geometry, significantly surpassing previous works in both quantitative and qualitative evaluations.