SphereDiff: Geração de Imagens e Vídeos Panorâmicos Omnidirecionais sem Ajustes via Representação Latente Esférica

SphereDiff: Tuning-free Omnidirectional Panoramic Image and Video Generation via Spherical Latent Representation

April 19, 2025

Autores: Minho Park, Taewoong Kang, Jooyeol Yun, Sungwon Hwang, Jaegul Choo

cs.AI

Resumo

A crescente demanda por aplicações de AR/VR destacou a necessidade de conteúdo panorâmico de 360 graus de alta qualidade. No entanto, a geração de imagens e vídeos panorâmicos de 360 graus de alta qualidade permanece uma tarefa desafiadora devido às severas distorções introduzidas pela projeção equirretangular (ERP). As abordagens existentes ou ajustam modelos de difusão pré-treinados em conjuntos de dados ERP limitados ou tentam métodos sem ajuste que ainda dependem de representações latentes ERP, resultando em descontinuidades próximas aos polos. Neste artigo, apresentamos o SphereDiff, uma abordagem inovadora para a geração contínua de imagens e vídeos panorâmicos de 360 graus utilizando modelos de difusão state-of-the-art sem ajustes adicionais. Definimos uma representação latente esférica que garante uma distribuição uniforme em todas as perspectivas, mitigando as distorções inerentes ao ERP. Estendemos o MultiDiffusion para o espaço latente esférico e propomos um método de amostragem latente esférica para permitir o uso direto de modelos de difusão pré-treinados. Além disso, introduzimos uma média ponderada consciente das distorções para melhorar ainda mais a qualidade da geração no processo de projeção. Nosso método supera as abordagens existentes na geração de conteúdo panorâmico de 360 graus, mantendo alta fidelidade, tornando-o uma solução robusta para aplicações imersivas de AR/VR. O código está disponível aqui: https://github.com/pmh9960/SphereDiff.

English

The increasing demand for AR/VR applications has highlighted the need for high-quality 360-degree panoramic content. However, generating high-quality 360-degree panoramic images and videos remains a challenging task due to the severe distortions introduced by equirectangular projection (ERP). Existing approaches either fine-tune pretrained diffusion models on limited ERP datasets or attempt tuning-free methods that still rely on ERP latent representations, leading to discontinuities near the poles. In this paper, we introduce SphereDiff, a novel approach for seamless 360-degree panoramic image and video generation using state-of-the-art diffusion models without additional tuning. We define a spherical latent representation that ensures uniform distribution across all perspectives, mitigating the distortions inherent in ERP. We extend MultiDiffusion to spherical latent space and propose a spherical latent sampling method to enable direct use of pretrained diffusion models. Moreover, we introduce distortion-aware weighted averaging to further improve the generation quality in the projection process. Our method outperforms existing approaches in generating 360-degree panoramic content while maintaining high fidelity, making it a robust solution for immersive AR/VR applications. The code is available here. https://github.com/pmh9960/SphereDiff