Map2World: セグメンテーションマップ条件付きテキストから3Dワールド生成

Map2World: Segment Map Conditioned Text to 3D World Generation

May 1, 2026

著者: Jaeyoung Chung, Suyoung Lee, Jianfeng Xiang, Jiaolong Yang, Kyoung Mu Lee

cs.AI

要旨

3Dワールド生成は、没入型コンテンツ制作や自律走行シミュレーションなどのアプリケーションにおいて不可欠である。近年の3Dワールド生成技術は有望な成果を示しているが、これらの手法はグリッドレイアウトに制約され、ワールド全体を通じたオブジェクトスケールの不整合に悩まされている。本研究では、Map2Worldという新規フレームワークを提案する。本手法は、ユーザー定義の任意形状・スケールのセグメントマップに条件付けられた3Dワールド生成を初めて実現し、広大な環境全体でのグローバルスケール一貫性と柔軟性を保証する。さらに品質向上のために、ワールドの微細な詳細を生成するディテールエンハンサーネットワークを提案する。このディテールエンハンサーは、グローバル構造情報を組み込むことで、シーン全体の一貫性を損なうことなく微細なディテールを付加することを可能にする。アセットジェネレータからの強力な事前知識を活用するようにパイプライン全体を設計し、シーン生成における限られた学習データ下でも多様な領域にわたる頑健な一般化を達成する。大規模な実験により、本手法が既存手法をユーザ制御性、スケール一貫性、コンテンツの一貫性において大幅に上回り、より複雑な条件下での3Dワールド生成をユーザに可能にすることを実証する。

English

3D world generation is essential for applications such as immersive content creation or autonomous driving simulation. Recent advances in 3D world generation have shown promising results; however, these methods are constrained by grid layouts and suffer from inconsistencies in object scale throughout the entire world. In this work, we introduce a novel framework, Map2World, that first enables 3D world generation conditioned on user-defined segment maps of arbitrary shapes and scales, ensuring global-scale consistency and flexibility across expansive environments. To further enhance the quality, we propose a detail enhancer network that generates fine details of the world. The detail enhancer enables the addition of fine-grained details without compromising overall scene coherence by incorporating global structure information. We design the entire pipeline to leverage strong priors from asset generators, achieving robust generalization across diverse domains, even under limited training data for scene generation. Extensive experiments demonstrate that our method significantly outperforms existing approaches in user-controllability, scale consistency, and content coherence, enabling users to generate 3D worlds under more complex conditions.