PanoWorld: 일관된 전체 주택 파노라마 합성을 위한 생성형 공간 세계 모델

초록

일관된 전체 주택 VR 투어를 평면도와 스타일 참조로부터 생성하려면 사실적인 파노라마와 시점 간 공간적 일관성이 모두 필요하다. 순수 2D 생성기는 개별적으로 매력적인 단일 파노라마를 생성하지만 시점이 변경될 때 지오메트리와 재질을 재상상하는 반면, 모놀리식 3D 생성은 비용이 많이 들고 다중 방 규모에서 미세 텍스처가 손실된다. 우리는 PanoWorld를 소개한다. 이는 실제 VR 투어 제품에서 사용되는 이산적 네비게이션에 부합하도록, 노드 기반의 360도 파노라마를 자기회귀적으로 생성하는 방식으로 전체 주택 합성을 처리하는 생성적 공간 세계 모델이다. PanoWorld는 평면도에서 파생된 3D 쉘을 전역적 지오메트리 프록시로 사용하고, 렌더링 가능한 공간 메모리로서 동적 3D 가우시안 스플래팅 캐시를 사용한다. 미터 단위의 다중 방 360도 입력을 위해 설계된 피드포워드 파노라마 LRM은 생성된 파노라마를 로컬 3DGS 업데이트로 변환하며, 방 인식 그룹 어텐션(Room-aware Group Attention)은 방 간 특징 간섭을 억제한다. 토폴로지 인식 점진적 캐싱 전략은 전체 이력을 반복적으로 재구성하지 않고 이러한 로컬 업데이트를 융합한다. 쉘 기반 지오메트리 안내를 캐시 렌더링 시각 메모리로부터 분리함으로써, PanoWorld는 고주파수 2D 합성 품질을 유지하면서 교차 노드의 레이아웃 및 재질 일관성을 향상시킨다. 프로젝트 링크는 https://jjrcn.github.io/PanoWorld-project-home/ 이다.

English

Generating a consistent whole-house VR tour from a floorplan and style reference requires both photorealistic panoramas and cross-view spatial coherence. Pure 2D generators produce appealing single panoramas but re-imagine geometry and materials when the viewpoint changes, whereas monolithic 3D generation becomes expensive and loses fine texture at multi-room scale. We introduce PanoWorld, a generative spatial world model that treats whole-house synthesis as autoregressive generation of node-based 360-degree panoramas, matching the discrete navigation used by real VR tour products. PanoWorld uses a floorplan-derived 3D shell as a global geometric proxy and a dynamic 3D Gaussian Splatting cache as renderable spatial memory. A feed-forward panoramic LRM designed for metric-scale multi-room 360-degree inputs lifts generated panoramas into local 3DGS updates, while Room-aware Group Attention suppresses cross-room feature interference. A topology-aware progressive caching strategy fuses these local updates without repeatedly reconstructing the full history. By decoupling shell-based geometry guidance from cache-rendered visual memory, PanoWorld preserves high-frequency 2D synthesis quality while improving cross-node layout and material consistency. The project link is https://jjrcn.github.io/PanoWorld-project-home/