MajutsuCity: Sprachgesteuerte ästhetisch-adaptive Stadterzeugung mit steuerbaren 3D-Assets und Layouts
MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts
November 25, 2025
papers.authors: Zilong Huang, Jun He, Xiaobin Huang, Ziyi Xiong, Yang Luo, Junyan Ye, Weijia Li, Yiping Chen, Ting Han
cs.AI
papers.abstract
Die Erzeugung realistischer 3D-Städte ist grundlegend für Weltmodelle, virtuelle Realität und Spieleentwicklung, wobei eine ideale urbane Szene sowohl stilistische Vielfalt, Feingranularität als auch Steuerbarkeit erfüllen muss. Bisherige Methoden können die kreative Flexibilität textbasierter Generierung jedoch nur unzureichend mit der durch explizite Strukturrepräsentationen ermöglichten Objektbearbeitbarkeit in Einklang bringen. Wir stellen MajutsuCity vor, ein natürlichsprachgesteuertes und ästhetisch adaptives Framework zur Synthese strukturell konsistenter und stilistisch vielfältiger 3D-Stadtszenen. MajutsuCity repräsentiert eine Stadt als Komposition steuerbarer Layouts, Assets und Materialien und arbeitet in einem vierstufigen Prozess. Um die Steuerbarkeit über die initiale Generierung hinaus zu erweitern, integrieren wir zudem MajutsuAgent, einen interaktiven, sprachbasierten Bearbeitungsagenten, der fünf objektbezogene Operationen unterstützt. Zur Unterstützung fotorealistischer und anpassbarer Szenensynthese erstellen wir außerdem MajutsuDataset, einen hochwertigen multimodalen Datensatz mit 2D-Semantiklayouts und Höhenkarten, diversen 3D-Gebäude-Assets sowie kuratierten PBR-Materialien und Himmelspanoramen, jeweils ergänzt durch detaillierte Annotationen. Parallel entwickeln wir einen praxistauglichen Satz von Bewertungsmetriken, der Schlüsseldimensionen wie strukturelle Konsistenz, Szenenkomplexität, Materialtreue und Lichtatmosphäre abdeckt. Umfangreiche Experimente zeigen, dass MajutsuCity den Layout-FID im Vergleich zu CityDreamer um 83,7 % und gegenüber CityCraft um 20,1 % reduziert. Unsere Methode belegt durchgängig die ersten Plätze in allen AQS- und RDR-Werten und übertrifft existierende Methoden mit deutlichem Abstand. Diese Ergebnisse bestätigen MajutsuCity als neuen State-of-the-Art in geometrischer Treue, stilistischer Anpassungsfähigkeit und semantischer Steuerbarkeit für die 3D-Stadtgenerierung. Wir erwarten, dass unser Framework neue Forschungsrichtungen in der 3D-Stadtgenerierung inspirieren kann. Unser Datensatz und Code werden unter https://github.com/LongHZ140516/MajutsuCity veröffentlicht.
English
Generating realistic 3D cities is fundamental to world models, virtual reality, and game development, where an ideal urban scene must satisfy both stylistic diversity, fine-grained, and controllability. However, existing methods struggle to balance the creative flexibility offered by text-based generation with the object-level editability enabled by explicit structural representations. We introduce MajutsuCity, a natural language-driven and aesthetically adaptive framework for synthesizing structurally consistent and stylistically diverse 3D urban scenes. MajutsuCity represents a city as a composition of controllable layouts, assets, and materials, and operates through a four-stage pipeline. To extend controllability beyond initial generation, we further integrate MajutsuAgent, an interactive language-grounded editing agent} that supports five object-level operations. To support photorealistic and customizable scene synthesis, we also construct MajutsuDataset, a high-quality multimodal dataset} containing 2D semantic layouts and height maps, diverse 3D building assets, and curated PBR materials and skyboxes, each accompanied by detailed annotations. Meanwhile, we develop a practical set of evaluation metrics, covering key dimensions such as structural consistency, scene complexity, material fidelity, and lighting atmosphere. Extensive experiments demonstrate MajutsuCity reduces layout FID by 83.7% compared with CityDreamer and by 20.1% over CityCraft. Our method ranks first across all AQS and RDR scores, outperforming existing methods by a clear margin. These results confirm MajutsuCity as a new state-of-the-art in geometric fidelity, stylistic adaptability, and semantic controllability for 3D city generation. We expect our framework can inspire new avenues of research in 3D city generation. Our dataset and code will be released at https://github.com/LongHZ140516/MajutsuCity.