MajutsuCity: 言語駆動による美的適応型都市生成 - 制御可能な3Dアセットとレイアウトを用いて

要旨

現実的な3D都市の生成は、ワールドモデル、仮想現実、ゲーム開発において基礎的な技術であり、理想的な都市シーンは様式的多様性、細粒度性、制御可能性を両立する必要がある。しかし、既存手法は、テキストベース生成が提供する創造的柔軟性と、明示的構造表現が可能とするオブジェクトレベルでの編集性のバランスを取ることに課題を抱えている。本論文では、構造的一貫性と様式的多様性を備えた3D都市シーンを合成するための、自然言語駆動かつ美的適応型のフレームワーク「MajutsuCity」を提案する。MajutsuCityは都市を制御可能なレイアウト、アセット、マテリアルの構成として表現し、4段階のパイプラインで動作する。初期生成を超えた制御性を拡張するため、5つのオブジェクトレベル操作をサポートする対話型言語基盤編集エージェント「MajutsuAgent」を統合した。写真的でカスタマイズ可能なシーン合成を支援するため、2Dセマンティックレイアウトと高さマップ、多様な3D建築アセット、厳選されたPBRマテリアル及びスカイボックスから構成され、それぞれに詳細な注釈が付随する高品質マルチモーダルデータセット「MajutsuDataset」も構築した。同時に、構造的一貫性、シーン複雑性、マテリアル忠実度、照明雰囲気といった主要次元を網羅する実用的な評価指標群を開発した。大規模実験により、MajutsuCityはレイアウトFIDにおいてCityDreamer比83.7%、CityCraft比20.1%の改善を達成した。本手法は全AQS及びRDRスコアで首位を占め、既存手法を明確に上回る性能を示した。これらの結果は、MajutsuCityが3D都市生成における幾何学的忠実度、様式的適応性、意味的制御性の新たなstate-of-the-artであることを確認する。本フレームワークが3D都市生成研究の新たな道筋を開くことを期待する。データセットとコードはhttps://github.com/LongHZ140516/MajutsuCity で公開予定である。

English

Generating realistic 3D cities is fundamental to world models, virtual reality, and game development, where an ideal urban scene must satisfy both stylistic diversity, fine-grained, and controllability. However, existing methods struggle to balance the creative flexibility offered by text-based generation with the object-level editability enabled by explicit structural representations. We introduce MajutsuCity, a natural language-driven and aesthetically adaptive framework for synthesizing structurally consistent and stylistically diverse 3D urban scenes. MajutsuCity represents a city as a composition of controllable layouts, assets, and materials, and operates through a four-stage pipeline. To extend controllability beyond initial generation, we further integrate MajutsuAgent, an interactive language-grounded editing agent} that supports five object-level operations. To support photorealistic and customizable scene synthesis, we also construct MajutsuDataset, a high-quality multimodal dataset} containing 2D semantic layouts and height maps, diverse 3D building assets, and curated PBR materials and skyboxes, each accompanied by detailed annotations. Meanwhile, we develop a practical set of evaluation metrics, covering key dimensions such as structural consistency, scene complexity, material fidelity, and lighting atmosphere. Extensive experiments demonstrate MajutsuCity reduces layout FID by 83.7% compared with CityDreamer and by 20.1% over CityCraft. Our method ranks first across all AQS and RDR scores, outperforming existing methods by a clear margin. These results confirm MajutsuCity as a new state-of-the-art in geometric fidelity, stylistic adaptability, and semantic controllability for 3D city generation. We expect our framework can inspire new avenues of research in 3D city generation. Our dataset and code will be released at https://github.com/LongHZ140516/MajutsuCity.

MajutsuCity: 言語駆動による美的適応型都市生成 - 制御可能な3Dアセットとレイアウトを用いて

MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

要旨

Support