生きた文脈の中で世界を見る：屋内・屋外を統合した都市ワールド生成要旨大規模な仮想体験への需要の高まりにより、効率的な都市ワールド生成の必要性がますます高まっている。しかし、既存の手法は往々にして屋内シーンまたは屋外シーンのいずれかを個別に扱うに留まっている。一方、現代の都市環境は建築的な境界を越えて多様な活動がシームレスに展開するため、室内空間と外部空間は本質的に統合されたものである。本論文では、屋内・屋外を統合した都市ワールド生成という問題を定式化し、対応するシーン表現を包括的に整理するとともに、この新たなタスクに取り組む既存手法について詳細なレビューを行う。

要旨

テキスト駆動の3D生成は、大規模な屋外環境と詳細な屋内シーンの生成において急速に進歩してきたが、これらの領域は通常、独立して合成されており、一貫性のある都市世界に必要な対応関係が欠如している。我々は、継続的に更新されるクロススケールの世界コンテキストに基づいて構築された、屋内と屋外を統合した都市世界生成フレームワーク「HoloWorld」を提案する。ユーザーの記述から初期化し、HoloWorldは都市規模の計画から個々の建物に至るまで、多様な世界情報を段階的に表現・更新し、生成された屋内が対応する外部の建物との明示的な対応関係を維持することを可能にする。進化するコンテキストと以前に生成された隣接ブロックに条件付けられて、HoloWorldはブロック間で一貫した空間構成と視覚的アイデンティティを持つ都市の外部を自己回帰的に生成する。生成された外部表現はさらに3Dの建物インスタンスとフットプリントに基づいており、幾何学的に制約されたレイアウトと継承された外観特性を備えた建物固有の屋内生成を可能にする。我々の知る限り、HoloWorldは一貫した3D都市世界内で屋内と屋外の生成を統合する最初のフレームワークである。広範な実験により、HoloWorldが優れた都市外部生成性能を達成し、平均AQSスコアをSOTA比で7.68\%向上させ、最高の平均RDRスコアを獲得するとともに、統合された3D都市世界内で建物レベルの屋内・屋外対応とブロック間連続性を強力に維持することを実証する。プロジェクトページ: https://huangxb326.github.io/HoloWorld/

English

Text-driven 3D generation has advanced rapidly in creating large-scale outdoor environments and detailed indoor scenes, but these domains are usually synthesized independently, lacking the correspondence required for a coherent urban world. We present HoloWorld, a unified indoor-outdoor urban world generation framework built on a continuously updated cross-scale world context. Initializing from a user description, HoloWorld progressively represents and updates the diverse world information, from city-scale planning to individual buildings, allowing generated interiors to maintain explicit correspondence with their associated exterior buildings. Conditioned on the evolving context and previously generated neighboring blocks, HoloWorld autoregressively generates urban exteriors with consistent spatial organization and visual identity across blocks. The generated exterior representations are further grounded in 3D building instances and footprints, enabling building-specific indoor generation with geometry-constrained layouts and inherited appearance characteristics. To our knowledge, HoloWorld is the first framework to unify indoor and outdoor generation within a coherent 3D urban world. Extensive experiments demonstrate that HoloWorld achieves superior urban exterior generation performance, improving the average AQS score over the SOTA by 7.68\% and obtaining the highest average RDR score, while maintaining strong building-level indoor-outdoor correspondence and cross-block continuity within a unified 3D urban world. Our project page: https://huangxb326.github.io/HoloWorld/.