360Anything: Geometrievrije Omzetting van Afbeeldingen en Video's naar 360°
360Anything: Geometry-Free Lifting of Images and Videos to 360°
January 22, 2026
Auteurs: Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena
cs.AI
Samenvatting
Het optillen van perspectiefbeelden en video's naar 360°-panorama's maakt de generatie van een immersieve 3D-wereld mogelijk. Bestaande benaderingen steunen vaak op expliciete geometrische uitlijning tussen de perspectief- en de equirectangulaire projectie (ERP)-ruimte. Dit vereist echter bekende camerametadata, wat de toepassing op in-the-wild data belemmert, waar dergelijke kalibratie typisch afwezig of ruisachtig is. Wij stellen 360Anything voor, een geometrie-vrij raamwerk gebouwd op vooraf getrainde diffusion transformers. Door de perspectiefinput en het panoramadoel eenvoudigweg als tokenreeksen te behandelen, leert 360Anything de perspectief-naar-equirectangulaire mapping op een puur data-gedreven manier, waardoor camerainformatie overbodig wordt. Onze aanzet behaalt state-of-the-art prestaties voor zowel beeld- als videogeneratie van perspectief naar 360°, en overtreft eerdere werken die gebruikmaken van grond-waarheid camerainformatie. Wij traceren ook de hoofdoorzaak van naadartefacten aan de ERP-grenzen naar nul-opvulling in de VAE-encoder, en introduceren Circulaire Latente Codering om naadloze generatie mogelijk te maken. Ten slotte tonen we competitieve resultaten in zero-shot camera beeldhoek- en oriëntatieschatting benchmarks, wat het diepe geometrische begrip en de bredere bruikbaarheid van 360Anything in computertaken aantoont. Aanvullende resultaten zijn beschikbaar op https://360anything.github.io/.
English
Lifting perspective images and videos to 360° panoramas enables immersive 3D world generation. Existing approaches often rely on explicit geometric alignment between the perspective and the equirectangular projection (ERP) space. Yet, this requires known camera metadata, obscuring the application to in-the-wild data where such calibration is typically absent or noisy. We propose 360Anything, a geometry-free framework built upon pre-trained diffusion transformers. By treating the perspective input and the panorama target simply as token sequences, 360Anything learns the perspective-to-equirectangular mapping in a purely data-driven way, eliminating the need for camera information. Our approach achieves state-of-the-art performance on both image and video perspective-to-360° generation, outperforming prior works that use ground-truth camera information. We also trace the root cause of the seam artifacts at ERP boundaries to zero-padding in the VAE encoder, and introduce Circular Latent Encoding to facilitate seamless generation. Finally, we show competitive results in zero-shot camera FoV and orientation estimation benchmarks, demonstrating 360Anything's deep geometric understanding and broader utility in computer vision tasks. Additional results are available at https://360anything.github.io/.