Маджуцу-Сити: Генерация эстетически адаптивных городов на основе языка с контролируемыми 3D-активами и планировками

MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

November 25, 2025

Авторы: Zilong Huang, Jun He, Xiaobin Huang, Ziyi Xiong, Yang Luo, Junyan Ye, Weijia Li, Yiping Chen, Ting Han

cs.AI

Аннотация

Создание реалистичных 3D-городов является фундаментальной задачей для мировых моделей, виртуальной реальности и разработки игр, где идеальная городская сцена должна удовлетворять требованиям стилевого разнообразия, детализации и управляемости. Однако существующие методы не позволяют достичь баланса между творческой гибкостью, обеспечиваемой текстовой генерацией, и возможностью редактирования на уровне объектов, которую предоставляют явные структурные представления. Мы представляем MajutsuCity — адаптивную эстетически и управляемую естественным языком платформу для синтеза структурно согласованных и стилистически разнообразных 3D-городских сцен. MajutsuCity представляет город как композицию управляемых layouts, ассетов и материалов и функционирует через четырехстадийный пайплайн. Для расширения управляемости за пределы начальной генерации мы дополнительно интегрируем MajutsuAgent — интерактивного агента редактирования, основанного на языке, который поддерживает пять операций на уровне объектов. Для обеспечения фотореалистичного и настраиваемого синтеза сцен мы также создали MajutsuDataset — многомодальный датасет высокого качества, содержащий 2D-семантические разметки и карты высот, разнообразные 3D-строительные ассеты, а также отобранные PBR-материалы и скайбоксы, каждый из которых снабжен детальными аннотациями. Параллельно мы разработали практичный набор метрик оценки, охватывающих ключевые аспекты, такие как структурная согласованность, сложность сцены, достоверность материалов и световая атмосфера. Многочисленные эксперименты демонстрируют, что MajutsuCity снижает FID для разметки на 83,7% по сравнению с CityDreamer и на 20,1% по сравнению с CityCraft. Наш метод занимает первое место по всем показателям AQS и RDR, значительно опережая существующие подходы. Эти результаты подтверждают, что MajutsuCity устанавливает новый state-of-the-art в области геометрической точности, стилистической адаптивности и семантической управляемости для генерации 3D-городов. Мы ожидаем, что наша платформа сможет вдохновить новые направления исследований в области генерации 3D-городов. Наш датасет и код будут опубликованы по адресу https://github.com/LongHZ140516/MajutsuCity.

English

Generating realistic 3D cities is fundamental to world models, virtual reality, and game development, where an ideal urban scene must satisfy both stylistic diversity, fine-grained, and controllability. However, existing methods struggle to balance the creative flexibility offered by text-based generation with the object-level editability enabled by explicit structural representations. We introduce MajutsuCity, a natural language-driven and aesthetically adaptive framework for synthesizing structurally consistent and stylistically diverse 3D urban scenes. MajutsuCity represents a city as a composition of controllable layouts, assets, and materials, and operates through a four-stage pipeline. To extend controllability beyond initial generation, we further integrate MajutsuAgent, an interactive language-grounded editing agent} that supports five object-level operations. To support photorealistic and customizable scene synthesis, we also construct MajutsuDataset, a high-quality multimodal dataset} containing 2D semantic layouts and height maps, diverse 3D building assets, and curated PBR materials and skyboxes, each accompanied by detailed annotations. Meanwhile, we develop a practical set of evaluation metrics, covering key dimensions such as structural consistency, scene complexity, material fidelity, and lighting atmosphere. Extensive experiments demonstrate MajutsuCity reduces layout FID by 83.7% compared with CityDreamer and by 20.1% over CityCraft. Our method ranks first across all AQS and RDR scores, outperforming existing methods by a clear margin. These results confirm MajutsuCity as a new state-of-the-art in geometric fidelity, stylistic adaptability, and semantic controllability for 3D city generation. We expect our framework can inspire new avenues of research in 3D city generation. Our dataset and code will be released at https://github.com/LongHZ140516/MajutsuCity.