PanoWorld: Realistische Panoramageneratie

Samenvatting

In dit werk beogen we de uitdaging van geheugen over lange afstand in panoramische wereldmodellen aan te pakken door gebruik te maken van de rotatie-equivariante eigenschap van omnidirectionele representaties, waarin rotatie kan worden behandeld als een impliciete geometrische transformatie. Voortbouwend op dit inzicht stellen we PanoWorld voor, dat cameratrajecten vereenvoudigt tot translaties via vaste richtingen voor zowel het modelleren van huidige acties als geheugen over lange afstand door middel van Dense Panoramic Ray-Conditioning (DPRC) en Geometry-aware Memory Augmentation (GMA). Vervolgens wordt een drie-traps trainingspijplijn geïntroduceerd om elk onderdeel stapsgewijs te optimaliseren. Om fysieke consistentie beter te evalueren onder grootschalige ruimtelijke variaties en uiteenlopende verlichtingsomstandigheden, waar bestaande datasets relatief stabiel zijn, construeren we World360, een grootschalige dataset bestaande uit zowel echte videoclips verzameld via panoramische onbemande luchtvaartuigen als hoogwaardige gesimuleerde clips gegenereerd door AirSim360. Uitgebreide experimenten op World360 tonen de effectiviteit van PanoWorld aan, dat alternatieve methoden met een ruime marge overtreft. Onze modellen, trainingscode en dataset zullen openbaar beschikbaar worden gesteld. Meer informatie is te vinden op onze projectpagina: https://lihaoy-ux.github.io/panoworld-page/.

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.