Urban Architect : Génération pilotable de scènes urbaines 3D avec priorité de disposition

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

Auteurs: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

Résumé

La génération de texte-à-3D a connu un succès remarquable grâce aux modèles de diffusion à grande échelle de texte-à-image. Néanmoins, il n'existe pas de paradigme pour étendre cette méthodologie à l'échelle urbaine. Les scènes urbaines, caractérisées par de nombreux éléments, des relations d'arrangement complexes et une échelle vaste, représentent un obstacle redoutable à l'interprétabilité des descriptions textuelles ambiguës pour une optimisation efficace des modèles. Dans ce travail, nous surmontons ces limitations en introduisant une représentation compositionnelle de mise en page 3D dans le paradigme texte-à-3D, servant de prior supplémentaire. Elle comprend un ensemble de primitives sémantiques avec des structures géométriques simples et des relations d'arrangement explicites, complétant les descriptions textuelles et permettant une génération pilotable. Sur cette base, nous proposons deux modifications : (1) Nous introduisons la Distillation de Score Variationnelle Guidée par la Mise en Page pour remédier aux insuffisances d'optimisation des modèles. Elle conditionne le processus d'échantillonnage de distillation de score avec des contraintes géométriques et sémantiques des mises en page 3D. (2) Pour gérer la nature illimitée des scènes urbaines, nous représentons la scène 3D avec une structure de Grille de Hachage Évolutive, s'adaptant progressivement à l'échelle croissante des scènes urbaines. Des expériences approfondies confirment la capacité de notre cadre à étendre la génération texte-à-3D à des scènes urbaines à grande échelle couvrant une distance de conduite de plus de 1000 mètres pour la première fois. Nous présentons également diverses démonstrations d'édition de scènes, montrant les capacités de la génération pilotable de scènes urbaines. Site web : https://urbanarchitect.github.io.

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.