PanoWorld: Generación Panorámica del Mundo Real

Resumen

En este trabajo, abordamos el desafío de la memoria de largo alcance en modelos de mundo panorámicos explotando la propiedad de equivarianza rotacional de las representaciones omnidireccionales, donde la rotación puede tratarse como una transformación geométrica implícita. Partiendo de esta idea, proponemos PanoWorld, que simplifica las trayectorias de cámara en traslaciones mediante direcciones fijas tanto para el modelado de acciones actuales como para la memoria de largo alcance a través del Condicionamiento de Rayos Panorámicos Densos (DPRC) y el Aumento de Memoria Sensible a la Geometría (GMA). A continuación, se introduce un proceso de entrenamiento en tres etapas para optimizar progresivamente cada componente. Para evaluar mejor la consistencia física bajo variaciones espaciales a gran escala y condiciones de iluminación diversas, donde los conjuntos de datos existentes son relativamente estables, construimos World360, un conjunto de datos a gran escala que incluye tanto videoclips del mundo real recopilados mediante vehículos aéreos no tripulados panorámicos como clips simulados de alta calidad generados por AirSim360. Experimentos exhaustivos en World360 demuestran la efectividad de PanoWorld, superando con creces a los métodos alternativos. Nuestros modelos, código de entrenamiento y conjunto de datos estarán disponibles públicamente. Más información se puede encontrar en nuestra página del proyecto: https://lihaoy-ux.github.io/panoworld-page/.

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.