ReplaceAnything3D: テキストガイドによる構成可能なニューラルラディアンスフィールドを用いた3Dシーン編集

ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields

January 31, 2024

著者: Edward Bartrum, Thu Nguyen-Phuoc, Chris Xie, Zhengqin Li, Numair Khan, Armen Avetisyan, Douglas Lanman, Lei Xiao

cs.AI

要旨

私たちは、ReplaceAnything3Dモデル（RAM3D）を紹介します。これは、シーン内の特定のオブジェクトを置き換えることを可能にする、新しいテキストガイド型の3Dシーン編集手法です。シーンの多視点画像、置き換えるオブジェクトを説明するテキストプロンプト、および新しいオブジェクトを説明するテキストプロンプトが与えられると、私たちのErase-and-Replaceアプローチは、シーン内のオブジェクトを新しく生成されたコンテンツと効果的に交換しつつ、複数の視点間で3D一貫性を維持します。ReplaceAnything3Dの汎用性を、さまざまな現実的な3Dシーンに適用することで実証し、変更された前景オブジェクトがシーンの他の部分とよく統合され、全体の整合性に影響を与えない結果を示します。

English

We introduce ReplaceAnything3D model (RAM3D), a novel text-guided 3D scene editing method that enables the replacement of specific objects within a scene. Given multi-view images of a scene, a text prompt describing the object to replace, and a text prompt describing the new object, our Erase-and-Replace approach can effectively swap objects in the scene with newly generated content while maintaining 3D consistency across multiple viewpoints. We demonstrate the versatility of ReplaceAnything3D by applying it to various realistic 3D scenes, showcasing results of modified foreground objects that are well-integrated with the rest of the scene without affecting its overall integrity.