PanoWorld: Генерация панорам реального мира

Аннотация

В данной работе мы решаем задачу долговременной памяти в панорамных мировых моделях, используя свойство ротационной эквивариантности омнидирекциональных представлений, где поворот можно рассматривать как неявное геометрическое преобразование. Исходя из этого подхода, мы предлагаем PanoWorld — метод, который сводит траектории камеры к трансляциям с фиксированными курсовыми углами как для моделирования текущих действий, так и для долговременной памяти посредством Плотного панорамного лучевого кондиционирования (DPRC) и Геометрически-осведомленной аугментации памяти (GMA). Затем вводится трехэтапный конвейер обучения для последовательной оптимизации каждого компонента. Для более качественной оценки физической согласованности в условиях крупномасштабных пространственных вариаций и разнообразного освещения, где существующие наборы данных отличаются относительной стабильностью, мы создаем World360 — крупномасштабный датасет, включающий как видеоклипы реального мира, собранные с помощью панорамных беспилотных летательных аппаратов, так и высококачественные симулированные клипы, сгенерированные в AirSim360. Обширные эксперименты на World360 демонстрируют эффективность PanoWorld, который значительно превосходит альтернативные методы. Наши модели, обучающий код и набор данных будут опубликованы в открытом доступе. Дополнительная информация доступна на странице проекта: https://lihaoy-ux.github.io/panoworld-page/.

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.