Urban Architect: レイアウト事前情報を用いた制御可能な3D都市シーン生成

Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior

April 10, 2024

著者: Fan Lu, Kwan-Yee Lin, Yan Xu, Hongsheng Li, Guang Chen, Changjun Jiang

cs.AI

要旨

テキストから3D生成は、大規模なテキストから画像への拡散モデルを通じて顕著な成功を収めてきました。しかしながら、この手法を都市規模にスケールアップするためのパラダイムは存在しません。都市シーンは、多数の要素、複雑な配置関係、そして広大なスケールを特徴としており、曖昧なテキスト記述の解釈可能性が効果的なモデル最適化の障壁となっています。本研究では、これらの制約を克服するために、テキストから3D生成のパラダイムに構成的な3Dレイアウト表現を導入し、追加の事前情報として活用します。これは、単純な幾何学的構造と明示的な配置関係を持つ一連の意味的プリミティブから構成され、テキスト記述を補完し、操縦可能な生成を可能にします。これに基づいて、2つの改良を提案します。(1) モデル最適化の不備に対処するために、レイアウトガイド付き変分スコア蒸留を導入します。これは、3Dレイアウトの幾何学的および意味的制約をスコア蒸留サンプリングプロセスに条件付けします。(2) 都市シーンの無制限な性質に対処するために、3Dシーンをスケーラブルハッシュグリッド構造で表現し、都市シーンの拡大するスケールに適応します。大規模な実験により、本フレームワークが1000m以上の走行距離をカバーする大規模都市シーンへのテキストから3D生成を初めてスケールアップできる能力を実証しました。また、様々なシーン編集デモンストレーションを提示し、操縦可能な都市シーン生成の力を示します。ウェブサイト: https://urbanarchitect.github.io。

English

Text-to-3D generation has achieved remarkable success via large-scale text-to-image diffusion models. Nevertheless, there is no paradigm for scaling up the methodology to urban scale. Urban scenes, characterized by numerous elements, intricate arrangement relationships, and vast scale, present a formidable barrier to the interpretability of ambiguous textual descriptions for effective model optimization. In this work, we surmount the limitations by introducing a compositional 3D layout representation into text-to-3D paradigm, serving as an additional prior. It comprises a set of semantic primitives with simple geometric structures and explicit arrangement relationships, complementing textual descriptions and enabling steerable generation. Upon this, we propose two modifications -- (1) We introduce Layout-Guided Variational Score Distillation to address model optimization inadequacies. It conditions the score distillation sampling process with geometric and semantic constraints of 3D layouts. (2) To handle the unbounded nature of urban scenes, we represent 3D scene with a Scalable Hash Grid structure, incrementally adapting to the growing scale of urban scenes. Extensive experiments substantiate the capability of our framework to scale text-to-3D generation to large-scale urban scenes that cover over 1000m driving distance for the first time. We also present various scene editing demonstrations, showing the powers of steerable urban scene generation. Website: https://urbanarchitect.github.io.