Urban Architect: Bestuurbare 3D Stedelijke Scène Generatie met Lay-out Prior

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

Auteurs: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

Samenvatting

Text-naar-3D-generatie heeft opmerkelijke successen geboekt dankzij grootschalige text-naar-beeld diffusiemodellen. Desalniettemin ontbreekt een paradigma om deze methodologie op te schalen naar stedelijke schaal. Stedelijke scènes, gekenmerkt door talrijke elementen, complexe rangschikkingsrelaties en enorme schaal, vormen een aanzienlijke barrière voor de interpreteerbaarheid van dubbelzinnige tekstuele beschrijvingen voor effectieve modeloptimalisatie. In dit werk overwinnen we deze beperkingen door een compositorische 3D-layoutrepresentatie te introduceren in het text-naar-3D-paradigma, die dient als een aanvullende prior. Deze bestaat uit een set van semantische primitieven met eenvoudige geometrische structuren en expliciete rangschikkingsrelaties, die tekstuele beschrijvingen aanvullen en stuurbare generatie mogelijk maken. Hierop voortbouwend stellen we twee aanpassingen voor -- (1) We introduceren Layout-Gegeleide Variational Score Distillation om tekortkomingen in modeloptimalisatie aan te pakken. Dit conditioneert het score-distillatiebemonsteringsproces met geometrische en semantische beperkingen van 3D-layouts. (2) Om de onbegrensde aard van stedelijke scènes te hanteren, representeren we de 3D-scène met een schaalbare hash-gridstructuur, die zich geleidelijk aanpast aan de groeiende schaal van stedelijke scènes. Uitgebreide experimenten ondersteunen de capaciteit van ons framework om text-naar-3D-generatie op te schalen naar grootschalige stedelijke scènes die voor het eerst een rijafstand van meer dan 1000 meter beslaan. We presenteren ook diverse scènebewerkingsdemonstraties, die de kracht van stuurbare stedelijke scènegeneratie tonen. Website: https://urbanarchitect.github.io.

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.