PanoWorld: Geração Panorâmica do Mundo Real

Resumo

Neste trabalho, visamos enfrentar o desafio da memória de longo alcance em modelos de mundo panorâmicos, explorando a propriedade de equivariância rotacional das representações omnidirecionais, onde a rotação pode ser tratada como uma transformação geométrica implícita. Com base nessa percepção, propomos o PanoWorld, que simplifica as trajetórias da câmera em translações por meio de direções fixas tanto para a modelagem da ação atual quanto para a memória de longo alcance, através do Condicionamento Densos de Raios Panorâmicos (DPRC) e do Aumento de Memória com Consciência Geométrica (GMA). Em seguida, é introduzido um pipeline de treinamento em três estágios para otimizar progressivamente cada componente. Para avaliar melhor a consistência física sob variações espaciais em grande escala e diversas condições de iluminação, onde os conjuntos de dados existentes são relativamente estáveis, construímos o World360, um conjunto de dados em larga escala composto por clipes de vídeo do mundo real coletados por veículos aéreos não tripulados panorâmicos e clipes simulados de alta qualidade gerados pelo AirSim360. Extensos experimentos no World360 demonstram a eficácia do PanoWorld, superando os métodos alternativos por uma ampla margem. Nossos modelos, código de treinamento e conjunto de dados estarão disponíveis publicamente. Mais informações podem ser encontradas em nossa página do projeto: https://lihaoy-ux.github.io/panoworld-page/.

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.