Arquitecto Urbano: Generación Dirigible de Escenas Urbanas 3D con Prioridad de Diseño

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

Autores: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

Resumen

La generación de texto a 3D ha logrado un éxito notable gracias a los modelos de difusión a gran escala de texto a imagen. Sin embargo, no existe un paradigma para escalar esta metodología a nivel urbano. Las escenas urbanas, caracterizadas por numerosos elementos, relaciones de disposición intrincadas y una escala vasta, presentan una barrera formidable para la interpretabilidad de descripciones textuales ambiguas en la optimización efectiva de modelos. En este trabajo, superamos estas limitaciones al introducir una representación composicional de disposición 3D en el paradigma de texto a 3D, sirviendo como un prior adicional. Esta consta de un conjunto de primitivas semánticas con estructuras geométricas simples y relaciones de disposición explícitas, complementando las descripciones textuales y permitiendo una generación direccionable. Sobre esto, proponemos dos modificaciones: (1) Introducimos la Distilación de Puntuación Variacional Guiada por Disposición para abordar las insuficiencias en la optimización del modelo. Esta condiciona el proceso de muestreo de distilación de puntuación con restricciones geométricas y semánticas de las disposiciones 3D. (2) Para manejar la naturaleza ilimitada de las escenas urbanas, representamos la escena 3D con una estructura de Malla de Hash Escalable, adaptándose incrementalmente a la creciente escala de las escenas urbanas. Experimentos extensos respaldan la capacidad de nuestro marco para escalar la generación de texto a 3D a escenas urbanas a gran escala que cubren más de 1000m de distancia de conducción por primera vez. También presentamos varias demostraciones de edición de escenas, mostrando las capacidades de la generación direccionable de escenas urbanas. Sitio web: https://urbanarchitect.github.io.

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.