360Anything: Geometriefreie Hebung von Bildern und Videos auf 360°
360Anything: Geometry-Free Lifting of Images and Videos to 360°
January 22, 2026
papers.authors: Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena
cs.AI
papers.abstract
Die Erhebung von perspektivischen Bildern und Videos zu 360°-Panoramen ermöglicht die Erzeugung immersiver 3D-Welten. Bestehende Ansätze stützen sich oft auf explizite geometrische Ausrichtung zwischen dem perspektivischen und dem äquidistanten rektangulären Projektionsraum (ERP). Dies erfordert jedoch bekannte Kamerametadaten, was die Anwendung auf reale Daten erschwert, bei denen solche Kalibrierungen typischerweise fehlen oder verrauscht sind. Wir schlagen 360Anything vor, ein geometriefreies Framework, das auf vortrainierten Diffusion-Transformern basiert. Indem es die perspektivische Eingabe und das Panoramaziel einfach als Token-Sequenzen behandelt, erlernt 360Anything die perspektivisch-zu-äquidistant-rektanguläre Abbildung auf rein datengesteuerte Weise und macht Kamerainformationen überflüssig. Unser Ansatz erzielt state-of-the-art Leistung sowohl bei der Bild- als auch bei der Video-Perspektive-zu-360°-Generierung und übertrifft frühere Arbeiten, die Ground-Truth-Kamerainformationen verwenden. Wir führen auch die Ursache von Nahtartefakten an den ERP-Grenzen auf Zero-Padding im VAE-Encoder zurück und führen Circular Latent Encoding ein, um nahtlose Generierung zu ermöglichen. Abschließend zeigen wir wettbewerbsfähige Ergebnisse in Zero-Shot-Benchmarks zur Schätzung des Kamerabildfelds und der Ausrichtung, was das tiefgehende geometrische Verständnis von 360Anything und seinen breiteren Nutzen in Computer-Vision-Aufgaben demonstriert. Weitere Ergebnisse sind unter https://360anything.github.io/ verfügbar.
English
Lifting perspective images and videos to 360° panoramas enables immersive 3D world generation. Existing approaches often rely on explicit geometric alignment between the perspective and the equirectangular projection (ERP) space. Yet, this requires known camera metadata, obscuring the application to in-the-wild data where such calibration is typically absent or noisy. We propose 360Anything, a geometry-free framework built upon pre-trained diffusion transformers. By treating the perspective input and the panorama target simply as token sequences, 360Anything learns the perspective-to-equirectangular mapping in a purely data-driven way, eliminating the need for camera information. Our approach achieves state-of-the-art performance on both image and video perspective-to-360° generation, outperforming prior works that use ground-truth camera information. We also trace the root cause of the seam artifacts at ERP boundaries to zero-padding in the VAE encoder, and introduce Circular Latent Encoding to facilitate seamless generation. Finally, we show competitive results in zero-shot camera FoV and orientation estimation benchmarks, demonstrating 360Anything's deep geometric understanding and broader utility in computer vision tasks. Additional results are available at https://360anything.github.io/.