PanoWorld: 実世界パノラマ生成

要旨

本研究では、全方位表現が持つ回転等変性の特性—ここでは回転を暗黙的な幾何変換として扱うことができる—を活用することで、パノラマ世界モデルにおける長距離記憶の課題に取り組むことを目的とする。この知見に基づき、我々はPanoWorldを提案する。本手法は、カメラ軌跡を固定された方位に基づく平行移動へと単純化し、密なパノラマ光線条件付け（Dense Panoramic Ray-Conditioning: DPRC）と幾何認識型記憶拡張（Geometry-aware Memory Augmentation: GMA）を通じて、現在の行動モデリングと長距離記憶の両方を実現する。さらに、各コンポーネントを段階的に最適化するための3段階トレーニングパイプラインを導入する。既存のデータセットが比較的安定しているのに対し、大規模な空間変動や多様な照明条件下での物理的一貫性をより適切に評価するため、我々はWorld360を構築した。これは、パノラマ型無人航空機で収集した実世界のビデオクリップと、AirSim360で生成した高品質なシミュレーションクリップの両方から構成される大規模データセットである。World360における広範な実験により、PanoWorldの有効性が示され、他の手法を大幅に上回る性能を達成した。我々のモデル、トレーニングコード、およびデータセットは公開される予定である。詳細についてはプロジェクトページ（https://lihaoy-ux.github.io/panoworld-page/）を参照されたい。

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.