PanoWorld: 一貫した家全体のパノラマ合成のための生成型空間世界モデル

要旨

間取り図とスタイルリファレンスから一貫性のある住宅全体のVRツアーを生成するには、フォトリアリスティックなパノラマと視点間の空間的一貫性の両方が必要となる。純粋な2D生成器は魅力的な単一パノラマを生成できるが、視点が変わるとジオメトリやマテリアルを再想像する。一方、モノリシックな3D生成は計算コストが高く、複数部屋スケールでは細かいテクスチャを失う。本稿では、実際のVRツアー製品で使用される離散的ナビゲーションに合わせ、住宅全体の合成をノードベースの360度パノラマの自己回帰生成として扱う生成型空間ワールドモデルPanoWorldを提案する。PanoWorldは、間取り図から導出した3Dシェルを大域的な幾何学的プロキシとして、動的な3Dガウシアンスプラッティングキャッシュをレンダリング可能な空間記憶として用いる。メートルスケールの複数部屋360度入力向けに設計されたフィードフォワード型パノラマLRMは、生成されたパノラマを局所的な3DGS更新に変換し、ルーム認識グループアテンションが部屋間の特徴干渉を抑制する。トポロジ認識型プログレッシブキャッシング戦略は、履歴全体を繰り返し再構築することなくこれらの局所更新を融合する。シェルベースの幾何学的ガイダンスとキャッシュレンダリングによる視覚的記憶を分離することで、PanoWorldは高周波の2D合成品質を維持しつつ、ノード間のレイアウトとマテリアルの一貫性を向上させる。プロジェクトリンク: https://jjrcn.github.io/PanoWorld-project-home/

English

Generating a consistent whole-house VR tour from a floorplan and style reference requires both photorealistic panoramas and cross-view spatial coherence. Pure 2D generators produce appealing single panoramas but re-imagine geometry and materials when the viewpoint changes, whereas monolithic 3D generation becomes expensive and loses fine texture at multi-room scale. We introduce PanoWorld, a generative spatial world model that treats whole-house synthesis as autoregressive generation of node-based 360-degree panoramas, matching the discrete navigation used by real VR tour products. PanoWorld uses a floorplan-derived 3D shell as a global geometric proxy and a dynamic 3D Gaussian Splatting cache as renderable spatial memory. A feed-forward panoramic LRM designed for metric-scale multi-room 360-degree inputs lifts generated panoramas into local 3DGS updates, while Room-aware Group Attention suppresses cross-room feature interference. A topology-aware progressive caching strategy fuses these local updates without repeatedly reconstructing the full history. By decoupling shell-based geometry guidance from cache-rendered visual memory, PanoWorld preserves high-frequency 2D synthesis quality while improving cross-node layout and material consistency. The project link is https://jjrcn.github.io/PanoWorld-project-home/