TIP-Editor: テキストプロンプトと画像プロンプトの両方に従う高精度な3Dエディタ

TIP-Editor: An Accurate 3D Editor Following Both Text-Prompts And Image-Prompts

January 26, 2024

著者: Jingyu Zhuang, Di Kang, Yan-Pei Cao, Guanbin Li, Liang Lin, Ying Shan

cs.AI

要旨

テキスト駆動型の3Dシーン編集は、その利便性とユーザーフレンドリーさから大きな注目を集めています。しかし、既存の手法では、テキスト記述の本質的な制限により、編集結果の指定された外観や位置を正確に制御することがまだ困難です。この問題を解決するため、我々はテキストと画像プロンプト、および編集領域を指定する3Dバウンディングボックスを受け入れる3Dシーン編集フレームワーク、TIPEditorを提案します。画像プロンプトを使用することで、ユーザーはテキスト記述を補完してターゲットコンテンツの詳細な外観/スタイルを簡単に指定でき、外観の正確な制御を可能にします。具体的には、TIP-Editorは既存シーンと参照画像の表現をより良く学習するために段階的な2Dパーソナライゼーション戦略を採用し、バウンディングボックスで指定された正しいオブジェクト配置を促すためのローカライゼーション損失を提案します。さらに、TIPEditorは明示的で柔軟な3Dガウススプラッティングを3D表現として利用し、背景を変更せずにローカル編集を容易にします。広範な実験により、TIP-Editorが指定されたバウンディングボックス領域内でテキストと画像プロンプトに従った正確な編集を行い、編集品質とプロンプトへの整合性において定性的および定量的にベースラインを一貫して上回ることが実証されました。

English

Text-driven 3D scene editing has gained significant attention owing to its convenience and user-friendliness. However, existing methods still lack accurate control of the specified appearance and location of the editing result due to the inherent limitations of the text description. To this end, we propose a 3D scene editing framework, TIPEditor, that accepts both text and image prompts and a 3D bounding box to specify the editing region. With the image prompt, users can conveniently specify the detailed appearance/style of the target content in complement to the text description, enabling accurate control of the appearance. Specifically, TIP-Editor employs a stepwise 2D personalization strategy to better learn the representation of the existing scene and the reference image, in which a localization loss is proposed to encourage correct object placement as specified by the bounding box. Additionally, TIPEditor utilizes explicit and flexible 3D Gaussian splatting as the 3D representation to facilitate local editing while keeping the background unchanged. Extensive experiments have demonstrated that TIP-Editor conducts accurate editing following the text and image prompts in the specified bounding box region, consistently outperforming the baselines in editing quality, and the alignment to the prompts, qualitatively and quantitatively.