Imagine360: Geração de Vídeo Imersivo em 360 Graus a partir de Âncora de Perspectiva

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

Autores: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

Resumo

Vídeos de 360^circ oferecem uma experiência hiperimersiva que permite aos espectadores explorar uma cena dinâmica em 360 graus completos. Para alcançar uma criação de conteúdo mais amigável ao usuário e personalizada no formato de vídeo de 360^circ, buscamos transformar vídeos de perspectiva padrão em vídeos de 360^circ equiretangulares. Para isso, apresentamos o Imagine360, o primeiro framework de geração de vídeos de perspectiva para 360^circ que cria vídeos de alta qualidade com padrões de movimento ricos e diversos a partir de âncoras de vídeo. O Imagine360 aprende padrões visuais e de movimento esféricos detalhados a partir de dados limitados de vídeos de 360^circ com várias estratégias-chave. 1) Primeiramente, adotamos o design de duplo ramo, incluindo um ramo de denoising de vídeo de perspectiva e um de panorama para fornecer restrições locais e globais para a geração de vídeos de 360^circ, com módulo de movimento e camadas espaciais LoRA ajustadas em vídeos de 360^circ da web estendida. 2) Adicionalmente, uma máscara antipodal é desenvolvida para capturar dependências de movimento de longo alcance, aprimorando o movimento da câmera invertida entre pixels antipodais em hemisférios opostos. 3) Para lidar com diversas entradas de vídeo de perspectiva, propomos designs sensíveis à elevação que se adaptam a máscaras de vídeo variáveis devido a mudanças de elevação entre quadros. Experimentos extensivos mostram que o Imagine360 alcança qualidade gráfica superior e coerência de movimento entre os métodos de geração de vídeo de 360^circ de última geração. Acreditamos que o Imagine360 tem potencial para avançar na criação de vídeos de 360^circ imersivos e personalizados.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.