MajutsuCity: Generazione di Città Esteticamente Adattabili tramite Linguaggio con Asset 3D e Layout Controllabili

MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

November 25, 2025

Autori: Zilong Huang, Jun He, Xiaobin Huang, Ziyi Xiong, Yang Luo, Junyan Ye, Weijia Li, Yiping Chen, Ting Han

cs.AI

Abstract

La generazione di città 3D realistiche è fondamentale per i modelli di mondo, la realtà virtuale e lo sviluppo di videogiochi, dove una scena urbana ideale deve soddisfare contemporaneamente diversità stilistica, granularità fine e controllabilità. Tuttavia, i metodi esistenti faticano a bilanciare la flessibilità creativa offerta dalla generazione basata su testo con l'editabilità a livello di oggetto abilitata dalle rappresentazioni strutturali esplicite. Introduciamo MajutsuCity, un framework guidato dal linguaggio naturale e adattivo esteticamente per sintetizzare scene urbane 3D strutturalmente coerenti e stilisticamente diversificate. MajutsuCity rappresenta una città come una composizione di layout, asset e materiali controllabili e opera attraverso una pipeline a quattro stadi. Per estendere la controllabilità oltre la generazione iniziale, integriamo ulteriormente MajutsuAgent, un agente di editing interattivo basato sul linguaggio che supporta cinque operazioni a livello di oggetto. Per supportare la sintesi di scene fotorealistiche e personalizzabili, costruiamo anche MajutsuDataset, un dataset multimodale di alta qualità contenente layout semantici 2D e mappe di altezza, asset edilizi 3D diversificati, e materiali PBR e skybox curati, ciascuno corredato da annotazioni dettagliate. Nel contempo, sviluppiamo un insieme pratico di metriche di valutazione, che coprono dimensioni chiave come la coerenza strutturale, la complessità della scena, la fedeltà dei materiali e l'atmosfera illuminotecnica. Esperimenti estensivi dimostrano che MajutsuCity riduce l'FID del layout dell'83,7% rispetto a CityDreamer e del 20,1% rispetto a CityCraft. Il nostro metodo si classifica al primo posto in tutti i punteggi AQS e RDR, superando i metodi esistenti con un margine netto. Questi risultati confermano MajutsuCity come un nuovo stato dell'arte nella fedeltà geometrica, nell'adattabilità stilistica e nella controllabilità semantica per la generazione di città 3D. Ci aspettiamo che il nostro framework possa ispirare nuove strade di ricerca nella generazione di città 3D. Il nostro dataset e codice saranno rilasciati su https://github.com/LongHZ140516/MajutsuCity.

English

Generating realistic 3D cities is fundamental to world models, virtual reality, and game development, where an ideal urban scene must satisfy both stylistic diversity, fine-grained, and controllability. However, existing methods struggle to balance the creative flexibility offered by text-based generation with the object-level editability enabled by explicit structural representations. We introduce MajutsuCity, a natural language-driven and aesthetically adaptive framework for synthesizing structurally consistent and stylistically diverse 3D urban scenes. MajutsuCity represents a city as a composition of controllable layouts, assets, and materials, and operates through a four-stage pipeline. To extend controllability beyond initial generation, we further integrate MajutsuAgent, an interactive language-grounded editing agent} that supports five object-level operations. To support photorealistic and customizable scene synthesis, we also construct MajutsuDataset, a high-quality multimodal dataset} containing 2D semantic layouts and height maps, diverse 3D building assets, and curated PBR materials and skyboxes, each accompanied by detailed annotations. Meanwhile, we develop a practical set of evaluation metrics, covering key dimensions such as structural consistency, scene complexity, material fidelity, and lighting atmosphere. Extensive experiments demonstrate MajutsuCity reduces layout FID by 83.7% compared with CityDreamer and by 20.1% over CityCraft. Our method ranks first across all AQS and RDR scores, outperforming existing methods by a clear margin. These results confirm MajutsuCity as a new state-of-the-art in geometric fidelity, stylistic adaptability, and semantic controllability for 3D city generation. We expect our framework can inspire new avenues of research in 3D city generation. Our dataset and code will be released at https://github.com/LongHZ140516/MajutsuCity.