ワールドジェネ: テキストから生成する歩行可能でインタラクティブな3D世界

要旨

本論文では、テキストプロンプトから大規模なインタラクティブ3Dワールドを自動生成するシステム「WorldGen」を提案する。本手法は自然言語による記述を、標準的なゲームエンジン内で即座に探索または編集可能な、走査可能な完全テクスチャ環境へ変換する。LLM駆動のシーン配置推論、プロシージャル生成、拡散ベースの3D生成、オブジェクト認識型シーン分解を組み合わせることで、WorldGenは創造的意図と機能的な仮想空間の間の隔たりを埋め、クリエイターが手動モデリングや専門的な3D知識なしに一貫性のある航行可能なワールドを設計できるようにする。本システムは完全にモジュール化されており、レイアウト・スケール・スタイルに対するきめ細かい制御をサポートし、幾何学的に一貫性があり視覚的に豊か、かつリアルタイムレンダリングに効率的なワールドを生成する。本研究は、ゲーム・シミュレーション・没入型ソーシャル環境への応用に向け、大規模な生成型ワールド構築のアクセシビリティを高める3D生成AIのフロンティアを推進する一歩となる。

English

We introduce WorldGen, a system that enables the automatic creation of large-scale, interactive 3D worlds directly from text prompts. Our approach transforms natural language descriptions into traversable, fully textured environments that can be immediately explored or edited within standard game engines. By combining LLM-driven scene layout reasoning, procedural generation, diffusion-based 3D generation, and object-aware scene decomposition, WorldGen bridges the gap between creative intent and functional virtual spaces, allowing creators to design coherent, navigable worlds without manual modeling or specialized 3D expertise. The system is fully modular and supports fine-grained control over layout, scale, and style, producing worlds that are geometrically consistent, visually rich, and efficient to render in real time. This work represents a step towards accessible, generative world-building at scale, advancing the frontier of 3D generative AI for applications in gaming, simulation, and immersive social environments.

ワールドジェネ: テキストから生成する歩行可能でインタラクティブな3D世界

WorldGen: From Text to Traversable and Interactive 3D Worlds

要旨

Support