PanoWorld: Een generatief ruimtelijk wereldmodel voor consistente synthese van panorama's van een volledig huis

Samenvatting

Het genereren van een consistente VR-rondleiding door een volledig huis op basis van een plattegrond en een stijlreferentie vereist zowel fotorealistische panorama's als ruimtelijke samenhang over aanzichten heen. Zuivere 2D-generatoren produceren aantrekkelijke afzonderlijke panorama's, maar bedenken geometrie en materialen opnieuw wanneer het gezichtspunt verandert, terwijl monolithische 3D-generatie duur wordt en fijne textuur verliest op de schaal van meerdere kamers. Wij introduceren PanoWorld, een generatief ruimtelijk wereldmodel dat de synthese van een volledig huis behandelt als autoregressieve generatie van op knooppunten gebaseerde 360-graden panorama's, wat overeenkomt met de discrete navigatie die wordt gebruikt door echte VR-rondleidingsproducten. PanoWorld gebruikt een van de plattegrond afgeleide 3D-schil als globale geometrische proxy en een dynamische 3D Gaussian Splatting-cache als renderbaar ruimtelijk geheugen. Een feed-forward panoramisch LRM, ontworpen voor metrische schaal, meerkamer 360-graden invoer, brengt gegenereerde panorama's over naar lokale 3DGS-updates, terwijl kamerbewuste groepsaandacht interferentie van kenmerken tussen kamers onderdrukt. Een topologiebewuste progressieve cachingstrategie voegt deze lokale updates samen zonder de volledige geschiedenis herhaaldelijk te reconstrueren. Door de op schil gebaseerde geometriegeleiding te ontkoppelen van het cache-gerenderde visuele geheugen, behoudt PanoWorld hoogfrequente 2D-synthesekwaliteit terwijl de lay-out- en materiaalconsistentie over knooppunten heen wordt verbeterd. De projectlink is https://jjrcn.github.io/PanoWorld-project-home/

English

Generating a consistent whole-house VR tour from a floorplan and style reference requires both photorealistic panoramas and cross-view spatial coherence. Pure 2D generators produce appealing single panoramas but re-imagine geometry and materials when the viewpoint changes, whereas monolithic 3D generation becomes expensive and loses fine texture at multi-room scale. We introduce PanoWorld, a generative spatial world model that treats whole-house synthesis as autoregressive generation of node-based 360-degree panoramas, matching the discrete navigation used by real VR tour products. PanoWorld uses a floorplan-derived 3D shell as a global geometric proxy and a dynamic 3D Gaussian Splatting cache as renderable spatial memory. A feed-forward panoramic LRM designed for metric-scale multi-room 360-degree inputs lifts generated panoramas into local 3DGS updates, while Room-aware Group Attention suppresses cross-room feature interference. A topology-aware progressive caching strategy fuses these local updates without repeatedly reconstructing the full history. By decoupling shell-based geometry guidance from cache-rendered visual memory, PanoWorld preserves high-frequency 2D synthesis quality while improving cross-node layout and material consistency. The project link is https://jjrcn.github.io/PanoWorld-project-home/