DreamScene: 3Dガウシアンに基づくエンドツーエンドのテキストから3Dシーン生成

DreamScene: 3D Gaussian-based End-to-end Text-to-3D Scene Generation

July 18, 2025

著者: Haoran Li, Yuli Tian, Kun Lan, Yong Liao, Lin Wang, Pan Hui, Peng Yuan Zhou

cs.AI

要旨

自然言語から3Dシーンを生成することは、ゲーム、映画、デザインなどの分野での応用において大きな可能性を秘めている。しかし、既存の手法は自動化、3D整合性、および細粒度の制御において課題を抱えている。本論文では、テキストや対話から高品質で編集可能な3Dシーンを生成するためのエンドツーエンドフレームワークであるDreamSceneを提案する。DreamSceneは、シーンプランニングモジュールから始まり、GPT-4エージェントがオブジェクトの意味論と空間的制約を推論してハイブリッドグラフを構築する。その後、グラフベースの配置アルゴリズムが構造化され衝突のないレイアウトを生成する。このレイアウトに基づき、Formation Pattern Sampling (FPS) がマルチタイムステップサンプリングと再構成最適化を用いてオブジェクトのジオメトリを生成し、高速かつリアルな合成を実現する。グローバルな整合性を確保するために、DreamSceneは屋内および屋外の設定に適したプログレッシブカメラサンプリング戦略を採用する。最後に、システムはオブジェクトの移動、外観の変更、4D動的モーションを含む細粒度のシーン編集をサポートする。実験結果は、DreamSceneが品質、整合性、柔軟性において従来の手法を凌駕し、オープンドメインの3Dコンテンツ作成における実用的なソリューションを提供することを示している。コードとデモはhttps://jahnsonblack.github.io/DreamScene-Full/で公開されている。

English

Generating 3D scenes from natural language holds great promise for applications in gaming, film, and design. However, existing methods struggle with automation, 3D consistency, and fine-grained control. We present DreamScene, an end-to-end framework for high-quality and editable 3D scene generation from text or dialogue. DreamScene begins with a scene planning module, where a GPT-4 agent infers object semantics and spatial constraints to construct a hybrid graph. A graph-based placement algorithm then produces a structured, collision-free layout. Based on this layout, Formation Pattern Sampling (FPS) generates object geometry using multi-timestep sampling and reconstructive optimization, enabling fast and realistic synthesis. To ensure global consistent, DreamScene employs a progressive camera sampling strategy tailored to both indoor and outdoor settings. Finally, the system supports fine-grained scene editing, including object movement, appearance changes, and 4D dynamic motion. Experiments demonstrate that DreamScene surpasses prior methods in quality, consistency, and flexibility, offering a practical solution for open-domain 3D content creation. Code and demos are available at https://jahnsonblack.github.io/DreamScene-Full/.