360Anything: Преобразование изображений и видео в 360° без использования геометрии

360Anything: Geometry-Free Lifting of Images and Videos to 360°

January 22, 2026

Авторы: Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena

cs.AI

Аннотация

Преобразование перспективных изображений и видео в 360° панорамы позволяет создавать иммерсивные 3D-миры. Существующие подходы часто полагаются на явное геометрическое выравнивание между перспективной проекцией и пространством равнопромежуточной проекции (ERP). Однако это требует известных метаданных камеры, что ограничивает применение к данным из реального мира, где такая калибровка обычно отсутствует или зашумлена. Мы предлагаем 360Anything, геометрически-независимый фреймворк, построенный на предварительно обученных диффузионных трансформерах. Рассматривая перспективный вход и панорамную цель просто как последовательности токенов, 360Anything изучает отображение "перспектива-в-равнопромежуточную" чисто на основе данных, устраняя необходимость в информации о камере. Наш подход достигает передовой производительности как в генерации изображений, так и видео из перспективы в 360°, превосходя предыдущие работы, использующие точную информацию о камере. Мы также выявляем коренную причину артефактов швов на границах ERP — дополнение нулями в энкодере VAE — и представляем Круговое латентное кодирование для обеспечения бесшовной генерации. Наконец, мы демонстрируем конкурентоспособные результаты в бенчмарках zero-shot оценки угла обзора и ориентации камеры, показывая глубокое геометрическое понимание 360Anything и его более широкую полезность в задачах компьютерного зрения. Дополнительные результаты доступны по адресу https://360anything.github.io/.

English

Lifting perspective images and videos to 360° panoramas enables immersive 3D world generation. Existing approaches often rely on explicit geometric alignment between the perspective and the equirectangular projection (ERP) space. Yet, this requires known camera metadata, obscuring the application to in-the-wild data where such calibration is typically absent or noisy. We propose 360Anything, a geometry-free framework built upon pre-trained diffusion transformers. By treating the perspective input and the panorama target simply as token sequences, 360Anything learns the perspective-to-equirectangular mapping in a purely data-driven way, eliminating the need for camera information. Our approach achieves state-of-the-art performance on both image and video perspective-to-360° generation, outperforming prior works that use ground-truth camera information. We also trace the root cause of the seam artifacts at ERP boundaries to zero-padding in the VAE encoder, and introduce Circular Latent Encoding to facilitate seamless generation. Finally, we show competitive results in zero-shot camera FoV and orientation estimation benchmarks, demonstrating 360Anything's deep geometric understanding and broader utility in computer vision tasks. Additional results are available at https://360anything.github.io/.