MajutsuCity: Geração de Cidades com Adaptação Estética Orientada por Linguagem, Utilizando Ativos 3D e Layouts Controláveis

MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

November 25, 2025

Autores: Zilong Huang, Jun He, Xiaobin Huang, Ziyi Xiong, Yang Luo, Junyan Ye, Weijia Li, Yiping Chen, Ting Han

cs.AI

Resumo

A geração de cidades 3D realistas é fundamental para modelos de mundo, realidade virtual e desenvolvimento de jogos, onde uma cena urbana ideal deve satisfazer simultaneamente diversidade estilística, granularidade fina e controlabilidade. No entanto, os métodos existentes lutam para equilibrar a flexibilidade criativa oferecida pela geração baseada em texto com a editabilidade a nível de objeto possibilitada por representações estruturais explícitas. Apresentamos a MajutsuCity, uma estrutura orientada por linguagem natural e esteticamente adaptativa para sintetizar cenas urbanas 3D estruturalmente consistentes e estilisticamente diversas. A MajutsuCity representa uma cidade como uma composição de layouts, *assets* e materiais controláveis, e opera através de um *pipeline* de quatro estágios. Para estender a controlabilidade para além da geração inicial, integramos ainda o MajutsuAgent, um agente de edição interativo baseado em linguagem que suporta cinco operações a nível de objeto. Para suportar a síntese de cenas foto-realistas e personalizáveis, também construímos o MajutsuDataset, um conjunto de dados multimodais de alta qualidade contendo layouts semânticos 2D e mapas de altura, diversos *assets* de edifícios 3D, e materiais PBR e *skyboxes* curados, cada um acompanhado por anotações detalhadas. Paralelamente, desenvolvemos um conjunto prático de métricas de avaliação, cobrindo dimensões-chave como consistência estrutural, complexidade da cena, fidelidade do material e atmosfera de iluminação. Experimentos extensivos demonstram que a MajutsuCity reduz o FID do layout em 83,7% em comparação com o CityDreamer e em 20,1% em relação ao CityCraft. O nosso método classifica-se em primeiro lugar em todos os scores AQS e RDR, superando os métodos existentes por uma margem clara. Estes resultados confirmam a MajutsuCity como um novo estado da arte em fidelidade geométrica, adaptabilidade estilística e controlabilidade semântica para a geração de cidades 3D. Esperamos que a nossa estrutura possa inspirar novas vias de investigação na geração de cidades 3D. O nosso conjunto de dados e código serão disponibilizados em https://github.com/LongHZ140516/MajutsuCity.

English

Generating realistic 3D cities is fundamental to world models, virtual reality, and game development, where an ideal urban scene must satisfy both stylistic diversity, fine-grained, and controllability. However, existing methods struggle to balance the creative flexibility offered by text-based generation with the object-level editability enabled by explicit structural representations. We introduce MajutsuCity, a natural language-driven and aesthetically adaptive framework for synthesizing structurally consistent and stylistically diverse 3D urban scenes. MajutsuCity represents a city as a composition of controllable layouts, assets, and materials, and operates through a four-stage pipeline. To extend controllability beyond initial generation, we further integrate MajutsuAgent, an interactive language-grounded editing agent} that supports five object-level operations. To support photorealistic and customizable scene synthesis, we also construct MajutsuDataset, a high-quality multimodal dataset} containing 2D semantic layouts and height maps, diverse 3D building assets, and curated PBR materials and skyboxes, each accompanied by detailed annotations. Meanwhile, we develop a practical set of evaluation metrics, covering key dimensions such as structural consistency, scene complexity, material fidelity, and lighting atmosphere. Extensive experiments demonstrate MajutsuCity reduces layout FID by 83.7% compared with CityDreamer and by 20.1% over CityCraft. Our method ranks first across all AQS and RDR scores, outperforming existing methods by a clear margin. These results confirm MajutsuCity as a new state-of-the-art in geometric fidelity, stylistic adaptability, and semantic controllability for 3D city generation. We expect our framework can inspire new avenues of research in 3D city generation. Our dataset and code will be released at https://github.com/LongHZ140516/MajutsuCity.