PanoWorld : Génération de panoramas du monde réel

Résumé

Dans ce travail, nous visons à relever le défi de la mémoire à long terme dans les modèles de monde panoramiques en exploitant la propriété d'équivariance par rotation des représentations omnidirectionnelles, où la rotation peut être traitée comme une transformation géométrique implicite. À partir de cette idée, nous proposons PanoWorld, qui simplifie les trajectoires de la caméra en translations via des caps fixes, tant pour la modélisation de l'action courante que pour la mémoire à long terme, grâce au Conditionnement Dense par Rayons Panoramiques (Dense Panoramic Ray-Conditioning, DPRC) et à l'Augmentation de Mémoire Géométrique (Geometry-aware Memory Augmentation, GMA). Ensuite, un pipeline d'entraînement en trois étapes est introduit pour optimiser progressivement chaque composant. Afin de mieux évaluer la cohérence physique face à des variations spatiales à grande échelle et à des conditions d'éclairage diverses – là où les jeux de données existants sont relativement stables – nous construisons World360, un jeu de données à grande échelle composé à la fois de clips vidéo réels collectés par des véhicules aériens sans pilote panoramiques et de clips simulés de haute qualité générés par AirSim360. Des expériences approfondies sur World360 démontrent l'efficacité de PanoWorld, surpassant largement les méthodes alternatives. Nos modèles, code d'entraînement et jeu de données seront disponibles publiquement. Plus d'informations peuvent être trouvées sur notre page de projet : https://lihaoy-ux.github.io/panoworld-page/.

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.