Stadtarchitekt: Lenkbare 3D-Stadtlandschaftsgenerierung mit Layout-Priorisierung

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

Autoren: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

Zusammenfassung

Die Text-zu-3D-Generierung hat durch groß angelegte Text-zu-Bild-Diffusionsmodelle bemerkenswerte Erfolge erzielt. Dennoch gibt es kein Paradigma zur Skalierung der Methodik auf städtische Maßstäbe. Städtische Szenen, die durch zahlreiche Elemente, komplexe Anordnungsbeziehungen und große Maßstäbe gekennzeichnet sind, stellen eine enorme Hürde für die Interpretierbarkeit mehrdeutiger textueller Beschreibungen zur effektiven Modelloptimierung dar. In dieser Arbeit überwinden wir die Einschränkungen, indem wir eine kompositorische 3D-Layout-Repräsentation in das Text-zu-3D-Paradigma einführen, die als zusätzliche Priorität dient. Sie besteht aus einer Reihe semantischer Primitive mit einfachen geometrischen Strukturen und expliziten Anordnungsbeziehungen, die textuelle Beschreibungen ergänzen und eine lenkbare Generierung ermöglichen. Darauf aufbauend schlagen wir zwei Modifikationen vor: (1) Wir führen das Layout-geführte Variationelle Score-Distillation ein, um Modelloptimierungsinkonsistenzen anzugehen. Es konditioniert den Score-Distillation-Abtastprozess mit geometrischen und semantischen Einschränkungen von 3D-Layouts. (2) Um mit der unbeschränkten Natur städtischer Szenen umzugehen, repräsentieren wir 3D-Szenen mit einer skalierbaren Hash-Gitterstruktur, die sich inkrementell an die wachsenden Maßstäbe städtischer Szenen anpasst. Umfangreiche Experimente belegen die Fähigkeit unseres Frameworks, die Text-zu-3D-Generierung auf groß angelegte städtische Szenen auszudehnen, die erstmals eine Fahrstrecke von über 1000 m abdecken. Wir präsentieren auch verschiedene Szenenbearbeitungsdemonstrationen, die die Möglichkeiten der lenkbaren städtischen Szenengenerierung zeigen. Webseite: https://urbanarchitect.github.io.

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.