360Anything : Projection géométrique libre d'images et de vidéos en 360°
360Anything: Geometry-Free Lifting of Images and Videos to 360°
January 22, 2026
papers.authors: Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena
cs.AI
papers.abstract
La conversion d'images et de vidéos en perspective vers des panoramas 360° permet la génération immersive de mondes 3D. Les approches existantes reposent souvent sur un alignement géométrique explicite entre l'espace de projection perspective et l'espace de projection équirectangulaire (ERP). Cependant, cette méthode nécessite des métadonnées caméra connues, limitant son application aux données en conditions réelles où cette calibration est généralement absente ou bruitée. Nous proposons 360Anything, un framework exempt de géométrie basé sur des transformers de diffusion pré-entraînés. En traitant simplement l'entrée perspective et la cible panoramique comme des séquences de tokens, 360Anything apprend le mapping perspective-à-équirectangulaire de manière purement data-driven, éliminant le besoin d'informations caméra. Notre approche atteint des performances state-of-the-art pour la génération d'images et de vidéos perspective-à-360°, surpassant les travaux antérieurs utilisant l'information caméra ground-truth. Nous identifions également la cause fondamentale des artefacts de jointure aux limites ERP comme étant le zero-padding dans l'encodeur VAE, et introduisons l'Encodage Latent Circulaire pour faciliter une génération sans couture. Enfin, nous montrons des résultats compétitifs sur des benchmarks d'estimation zero-shot du champ de vision et de l'orientation caméra, démontrant la compréhension géométrique profonde de 360Anything et son utilité élargie pour les tâches de vision par ordinateur. Des résultats supplémentaires sont disponibles sur https://360anything.github.io/.
English
Lifting perspective images and videos to 360° panoramas enables immersive 3D world generation. Existing approaches often rely on explicit geometric alignment between the perspective and the equirectangular projection (ERP) space. Yet, this requires known camera metadata, obscuring the application to in-the-wild data where such calibration is typically absent or noisy. We propose 360Anything, a geometry-free framework built upon pre-trained diffusion transformers. By treating the perspective input and the panorama target simply as token sequences, 360Anything learns the perspective-to-equirectangular mapping in a purely data-driven way, eliminating the need for camera information. Our approach achieves state-of-the-art performance on both image and video perspective-to-360° generation, outperforming prior works that use ground-truth camera information. We also trace the root cause of the seam artifacts at ERP boundaries to zero-padding in the VAE encoder, and introduce Circular Latent Encoding to facilitate seamless generation. Finally, we show competitive results in zero-shot camera FoV and orientation estimation benchmarks, demonstrating 360Anything's deep geometric understanding and broader utility in computer vision tasks. Additional results are available at https://360anything.github.io/.