MajutsuCity: Esthetisch-adaptieve stadsgeneratie met taalgestuurde aansturing van beheerbare 3D-assets en lay-outs

MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

November 25, 2025

Auteurs: Zilong Huang, Jun He, Xiaobin Huang, Ziyi Xiong, Yang Luo, Junyan Ye, Weijia Li, Yiping Chen, Ting Han

cs.AI

Samenvatting

Het genereren van realistische 3D-steden is fundamenteel voor wereldmodellen, virtual reality en spelontwikkeling, waarbij een ideale stedelijke scene zowel stilistische diversiteit, fijne detaillering als bestuurbaarheid moet combineren. Bestaande methoden slagen er echter niet in om de creatieve flexibiliteit van op tekst gebaseerde generatie in evenwicht te brengen met de objectniveau-bewerkbaarheid die wordt geboden door expliciete structurele representaties. Wij introduceren MajutsuCity, een op natuurlijke taal gestuurd en esthetisch adaptief raamwerk voor het synthetiseren van structureel consistente en stilistisch diverse 3D-stedelijke scenes. MajutsuCity representeert een stad als een compositie van bestuurbare lay-outs, assets en materialen, en werkt via een vierfasen pijplijn. Om de bestuurbaarheid voorbij de initiële generatie uit te breiden, integreren we verder MajutsuAgent, een interactieve, op taal gebaseerde bewerkingsagent die vijf operaties op objectniveau ondersteunt. Om fotorealistische en aanpasbare scenesynthese mogelijk te maken, construeren we ook MajutsuDataset, een hoogwaardige multimodale dataset met 2D semantische lay-outs en hoogtekaarten, diverse 3D-gebouwassets, en gecureerde PBR-materialen en skyboxes, elk vergezeld van gedetailleerde annotaties. Tegelijkertijd ontwikkelen we een praktische set evaluatiemetrics, die belangrijke dimensies dekt zoals structurele consistentie, scenecomplexiteit, materiaalgetrouwheid en belichtingssfeer. Uitgebreide experimenten tonen aan dat MajutsuCity de lay-out FID met 83,7% reduceert in vergelijking met CityDreamer en met 20,1% ten opzichte van CityCraft. Onze methode scoort het hoogste op alle AQS- en RDR-scores en overtreft bestaande methoden met een duidelijke marge. Deze resultaten bevestigen MajutsuCity als een nieuwe state-of-the-art op het gebied van geometrische getrouwheid, stilistische aanpasbaarheid en semantische bestuurbaarheid voor 3D-stadsgeneratie. Wij verwachten dat ons raamwerk nieuwe onderzoeksrichtingen in 3D-stadsgeneratie kan inspireren. Onze dataset en code zullen worden vrijgegeven op https://github.com/LongHZ140516/MajutsuCity.

English

Generating realistic 3D cities is fundamental to world models, virtual reality, and game development, where an ideal urban scene must satisfy both stylistic diversity, fine-grained, and controllability. However, existing methods struggle to balance the creative flexibility offered by text-based generation with the object-level editability enabled by explicit structural representations. We introduce MajutsuCity, a natural language-driven and aesthetically adaptive framework for synthesizing structurally consistent and stylistically diverse 3D urban scenes. MajutsuCity represents a city as a composition of controllable layouts, assets, and materials, and operates through a four-stage pipeline. To extend controllability beyond initial generation, we further integrate MajutsuAgent, an interactive language-grounded editing agent} that supports five object-level operations. To support photorealistic and customizable scene synthesis, we also construct MajutsuDataset, a high-quality multimodal dataset} containing 2D semantic layouts and height maps, diverse 3D building assets, and curated PBR materials and skyboxes, each accompanied by detailed annotations. Meanwhile, we develop a practical set of evaluation metrics, covering key dimensions such as structural consistency, scene complexity, material fidelity, and lighting atmosphere. Extensive experiments demonstrate MajutsuCity reduces layout FID by 83.7% compared with CityDreamer and by 20.1% over CityCraft. Our method ranks first across all AQS and RDR scores, outperforming existing methods by a clear margin. These results confirm MajutsuCity as a new state-of-the-art in geometric fidelity, stylistic adaptability, and semantic controllability for 3D city generation. We expect our framework can inspire new avenues of research in 3D city generation. Our dataset and code will be released at https://github.com/LongHZ140516/MajutsuCity.