Chat-Edit-3D++: 大規模言語モデルによるインタラクティブな3D・4Dシーン編集

要旨

視覚言語事前学習モデルに基づく画像コンテンツ操作に関する近年の研究は、テキスト駆動型の3Dシーン編集へと効果的に拡張されてきた。しかしながら、既存の3Dシーン編集手法には依然としていくつかの欠点があり、インタラクティブな設計ツールとしてのさらなる発展を妨げている。そのような手法は通常、固定された入力パターンを前提とするため、テキスト入力の柔軟性が制限される。さらに、その編集能力は単一または少数の2D視覚モデルに制約され、これらのモデルを3D再構成プロセスに統合するための複雑なパイプライン設計を必要とする。上述の問題に対処するため、我々はHash-Atlasネットワークを提案する。これは3Dシーン編集を2Dアトラス画像に対する操作として再定式化し、2D編集と3D再構成プロセスのワークフロー分離を実現する。この基盤に基づき、我々はCE3D++と名付けた対話ベースの3Dシーン編集手法を導入する。CE3D++は大規模言語モデル（LLM）を中心とし、ユーザーからの任意のテキスト入力を受け付けてその意図を解釈し、対応する視覚モデルの自律的な呼び出しを可能にする。さらに、我々はCE3D++を単眼4Dシーンに拡張する。移動物体に動作制約を課すとともに、編集タスクに関連する軌跡データセットを構築してLLMを追加ファインチューニングすることで、より小型のLLMが最大30種類の異なる視覚ツールを正確にスケジュールできるようになる。実験結果は、CE3D++が複数の視覚モデルを効果的に統合し、多様な視覚編集効果を達成するとともに、強力なシーン理解能力とマルチターン対話能力を備えていることを示している。ソースコードと学習済みモデルは https://github.com/Fangkang515/CE3D で公開されている。

English

Recent work on image content manipulation based on vision-language pre-training models has been effectively extended to text-driven 3D scene editing. However, existing schemes for 3D scene editing still have certain shortcomings, hindering their further development as interactive design tools. Such schemes typically adhere to fixed input patterns, limiting flexibility in text input. Furthermore, their editing capabilities are constrained by a single or a few 2D visual models and require intricate pipeline design to integrate these models into 3D reconstruction processes. To address the aforementioned issues, we propose the Hash-Atlas network, which reformulates 3D scene editing as operations on 2D atlas images, thereby achieving a workflow decoupling of the 2D editing and 3D reconstruction processes. Building on this foundation, we introduce a dialogue-based 3D scene editing approach, termed CE3D++, which is centered on a large language model (LLM) that allows arbitrary textual input from users and interprets their intentions, subsequently facilitating the autonomous invocation of the corresponding visual models. Additionally, we extend CE3D++ to monocular 4D scenes by imposing motion constraints on moving objects and further fine-tuning the LLM by creating a trajectory dataset related to editing tasks, which enables the smaller LLM to schedule up to 30 different visual tools accurately. Experimental results demonstrate that CE3D++ effectively integrates multiple visual models to achieve diverse visual editing effects, possessing strong scene comprehension and multi-round dialog capabilities. The source codes and trained models are available at https://github.com/Fangkang515/CE3D.