PanoWorld: 실제 세계 파노라마 생성

초록

본 연구에서는 전방향 표현의 회전 등변성 특성(rotation-equivariant property)을 활용하여 파노라마 세계 모델의 장기 기억(long-range memory) 문제를 해결하고자 한다. 여기서 회전은 암시적 기하 변환으로 처리될 수 있다. 이러한 통찰을 바탕으로, 현재 행동 모델링과 장기 기억을 위해 고정 방향(fixed headings)을 통한 병진 운동(translations)으로 카메라 궤적을 단순화하는 PanoWorld를 제안한다. 이를 위해 조밀 전방향 광선 조건화(Dense Panoramic Ray-Conditioning, DPRC)와 기하 인식 메모리 증강(Geometry-aware Memory Augmentation, GMA)을 도입한다. 이후 각 구성 요소를 점진적으로 최적화하기 위한 3단계 학습 파이프라인을 소개한다. 또한, 기존 데이터셋이 비교적 안정적인 상황에서 대규모 공간 변동과 다양한 조명 조건 하의 물리적 일관성을 더 잘 평가하기 위해, 전방향 무인 항공기로 수집한 실제 세계 비디오 클립과 AirSim360으로 생성한 고품질 시뮬레이션 클립으로 구성된 대규모 데이터셋 World360을 구축하였다. World360에 대한 광범위한 실험을 통해 PanoWorld의 효과성을 입증하였으며, 이는 다른 방법들에 비해 큰 폭의 성능 우위를 보였다. 우리의 모델, 학습 코드, 데이터셋은 공개될 예정이며, 자세한 정보는 프로젝트 페이지(https://lihaoy-ux.github.io/panoworld-page/)에서 확인할 수 있다.

English

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.