Urban Architect: Generazione Guidata di Scene Urbane 3D con Priorità di Layout

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

Autori: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

Abstract

La generazione da testo a 3D ha ottenuto un successo notevole grazie ai modelli di diffusione su larga scala da testo a immagine. Tuttavia, non esiste un paradigma per scalare questa metodologia a livello urbano. Le scene urbane, caratterizzate da numerosi elementi, relazioni di disposizione intricate e una vasta scala, rappresentano una barriera formidabile per l'interpretabilità delle descrizioni testuali ambigue necessarie per un'ottimizzazione efficace del modello. In questo lavoro, superiamo queste limitazioni introducendo una rappresentazione compositiva del layout 3D nel paradigma da testo a 3D, che funge da prior aggiuntivo. Essa comprende un insieme di primitive semantiche con strutture geometriche semplici e relazioni di disposizione esplicite, integrando le descrizioni testuali e consentendo una generazione guidata. Su questa base, proponiamo due modifiche: (1) Introduciamo la Distillazione del Punteggio Variazionale Guidata dal Layout per affrontare le inadeguatezze nell'ottimizzazione del modello. Essa condiziona il processo di campionamento della distillazione del punteggio con vincoli geometrici e semantici dei layout 3D. (2) Per gestire la natura illimitata delle scene urbane, rappresentiamo la scena 3D con una struttura Scalable Hash Grid, adattandosi gradualmente alla scala crescente delle scene urbane. Esperimenti estensivi confermano la capacità del nostro framework di scalare la generazione da testo a 3D a scene urbane su larga scala che coprono per la prima volta una distanza di guida superiore a 1000m. Presentiamo anche varie dimostrazioni di editing delle scene, mostrando le potenzialità della generazione guidata di scene urbane. Sito web: https://urbanarchitect.github.io.

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.