PanoWorld: Realweltliche Panoramagenerierung

Zusammenfassung

In dieser Arbeit zielen wir darauf ab, die Herausforderung des Langzeitgedächtnisses in panoramischen Weltmodellen zu bewältigen, indem wir die rotationsäquivariante Eigenschaft omnidirektionaler Darstellungen ausnutzen, bei der Rotation als implizite geometrische Transformation behandelt werden kann. Aufbauend auf dieser Erkenntnis schlagen wir PanoWorld vor, das Kameratrajektorien durch feste Blickrichtungen in Translationen vereinfacht – sowohl für die aktuelle Aktionsmodellierung als auch für das Langzeitgedächtnis mittels dichtem Panoramastrahlen-Conditioning (DPRC) und geometriebewusster Gedächtniserweiterung (GMA). Anschließend wird eine dreistufige Trainingspipeline eingeführt, um jede Komponente schrittweise zu optimieren. Um die physikalische Konsistenz unter großräumigen räumlichen Variationen und unterschiedlichen Beleuchtungsbedingungen besser bewerten zu können – während bestehende Datensätze relativ stabil sind – konstruieren wir World360, einen groß angelegten Datensatz, der sowohl reale Videoclips von panoramischen unbemannten Luftfahrzeugen als auch hochwertige simulierte Clips aus AirSim360 umfasst. Umfangreiche Experimente auf World360 belegen die Effektivität von PanoWorld, das alternative Methoden deutlich übertrifft. Unsere Modelle, der Trainingscode und der Datensatz werden öffentlich zugänglich gemacht. Weitere Informationen finden Sie auf unserer Projektseite: https://lihaoy-ux.github.io/panoworld-page/.

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.