Urban Architect: Geração de Cenas Urbanas 3D Direcionáveis com Prioridade de Layout

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

Autores: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

Resumo

A geração de texto-para-3D alcançou sucesso notável por meio de modelos de difusão em larga escala de texto-para-imagem. No entanto, não existe um paradigma para escalar a metodologia para o nível urbano. Cenas urbanas, caracterizadas por numerosos elementos, relações de arranjo intrincadas e escala vasta, apresentam uma barreira formidável à interpretabilidade de descrições textuais ambíguas para uma otimização eficaz do modelo. Neste trabalho, superamos essas limitações ao introduzir uma representação composicional de layout 3D no paradigma texto-para-3D, servindo como um prior adicional. Ela compreende um conjunto de primitivos semânticos com estruturas geométricas simples e relações de arranjo explícitas, complementando descrições textuais e permitindo geração direcionável. Com base nisso, propomos duas modificações — (1) Introduzimos a Distilação de Pontuação Variacional Guiada por Layout para abordar inadequações na otimização do modelo. Ela condiciona o processo de amostragem de distilação de pontuação com restrições geométricas e semânticas de layouts 3D. (2) Para lidar com a natureza ilimitada das cenas urbanas, representamos a cena 3D com uma estrutura de Grade de Hash Escalável, adaptando-se incrementalmente à escala crescente das cenas urbanas. Experimentos extensivos comprovam a capacidade de nossa estrutura de escalar a geração texto-para-3D para cenas urbanas em larga escala que cobrem mais de 1000m de distância de condução pela primeira vez. Também apresentamos várias demonstrações de edição de cena, mostrando os poderes da geração direcionável de cenas urbanas. Website: https://urbanarchitect.github.io.

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.