360Anything: Elevação Livre de Geometria de Imagens e Vídeos para 360°
360Anything: Geometry-Free Lifting of Images and Videos to 360°
January 22, 2026
Autores: Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena
cs.AI
Resumo
A elevação de imagens e vídeos em perspectiva para panoramas 360° permite a geração de mundos 3D imersivos. As abordagens existentes frequentemente dependem do alinhamento geométrico explícito entre o espaço de projeção perspectiva e o equirretangular (ERP). No entanto, isso requer metadados da câmara conhecidos, obscurecendo a aplicação a dados do mundo real, onde essa calibração tipicamente está ausente ou é ruidosa. Propomos o 360Anything, uma estrutura livre de geometria construída sobre transformers de difusão pré-treinados. Ao tratar a entrada em perspectiva e o panorama alvo simplesmente como sequências de *tokens*, o 360Anything aprende o mapeamento perspectiva-para-equirretangular de uma forma puramente orientada por dados, eliminando a necessidade de informações da câmara. A nossa abordagem atinge um desempenho de última geração na geração de perspectiva-para-360° tanto para imagem como para vídeo, superando trabalhos anteriores que utilizam informações de câmara de verdade terrestre. Também identificamos a causa principal dos artefactos de costura nos limites do ERP como sendo o preenchimento com zeros no codificador VAE e introduzimos a Codificação Latente Circular para facilitar uma geração sem costuras. Por fim, mostramos resultados competitivos em benchmarks de estimativa de campo de visão e orientação da câmara por *zero-shot*, demonstrando a compreensão geométrica profunda do 360Anything e a sua utilidade mais ampla em tarefas de visão computacional. Resultados adicionais estão disponíveis em https://360anything.github.io/.
English
Lifting perspective images and videos to 360° panoramas enables immersive 3D world generation. Existing approaches often rely on explicit geometric alignment between the perspective and the equirectangular projection (ERP) space. Yet, this requires known camera metadata, obscuring the application to in-the-wild data where such calibration is typically absent or noisy. We propose 360Anything, a geometry-free framework built upon pre-trained diffusion transformers. By treating the perspective input and the panorama target simply as token sequences, 360Anything learns the perspective-to-equirectangular mapping in a purely data-driven way, eliminating the need for camera information. Our approach achieves state-of-the-art performance on both image and video perspective-to-360° generation, outperforming prior works that use ground-truth camera information. We also trace the root cause of the seam artifacts at ERP boundaries to zero-padding in the VAE encoder, and introduce Circular Latent Encoding to facilitate seamless generation. Finally, we show competitive results in zero-shot camera FoV and orientation estimation benchmarks, demonstrating 360Anything's deep geometric understanding and broader utility in computer vision tasks. Additional results are available at https://360anything.github.io/.