Городской архитектор: Генерация управляемой трехмерной городской сцены с учетом предварительного макета.

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

Авторы: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

Аннотация

Генерация 3D из текста достигла выдающихся успехов благодаря моделям диффузии текста в изображение крупного масштаба. Тем не менее, не существует парадигмы для масштабирования методологии до уровня городского масштаба. Городские сцены, характеризующиеся многочисленными элементами, сложными отношениями расположения и огромным масштабом, представляют собой серьезное препятствие для интерпретации неоднозначных текстовых описаний для эффективной оптимизации модели. В данной работе мы преодолеваем ограничения, вводя композиционное представление 3D-макета в парадигму текста в 3D, служащее дополнительным априорным условием. Оно включает набор семантических примитивов с простыми геометрическими структурами и явными отношениями расположения, дополняя текстовые описания и обеспечивая управляемую генерацию. На этом фоне мы предлагаем две модификации - (1) Мы вводим Дистилляцию Оценочной Переменной Поддержки для решения недостатков оптимизации модели. Она условиями процесса выборки дистилляции оценки с геометрическими и семантическими ограничениями 3D-макетов. (2) Для работы с неограниченной природой городских сцен мы представляем 3D-сцену с использованием структуры Масштабируемой Хэш-сетки, постепенно адаптирующейся к растущему масштабу городских сцен. Обширные эксперименты подтверждают способность нашей структуры масштабировать генерацию 3D из текста до городских сцен крупного масштаба, охватывающих расстояние более 1000 метров впервые. Мы также представляем различные демонстрации редактирования сцен, демонстрируя возможности управляемой генерации городских сцен. Веб-сайт: https://urbanarchitect.github.io.

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.