Imagine360: Generación de Video Inmersivo 360 desde un Anclaje de Perspectiva

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

Autores: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

Resumen

Los videos de 360 grados ofrecen una experiencia hiperinmersiva que permite a los espectadores explorar una escena dinámica desde todos los ángulos. Para lograr una creación de contenido más amigable y personalizada en formato de video de 360 grados, buscamos transformar videos estándar de perspectiva en videos equirectangulares de 360 grados. Con este fin, presentamos Imagine360, el primer marco de generación de videos de perspectiva a 360 grados que crea videos de alta calidad con patrones de movimiento ricos y diversos a partir de anclajes de video. Imagine360 aprende patrones visuales y de movimiento esféricos detallados a partir de datos limitados de videos de 360 grados con varios diseños clave. 1) En primer lugar, adoptamos el diseño de doble rama, que incluye una rama de eliminación de ruido de video de perspectiva y una de panorámica para proporcionar restricciones locales y globales para la generación de videos de 360 grados, con un módulo de movimiento y capas espaciales LoRA ajustadas finamente en videos web de 360 grados extendidos. 2) Además, se ha ideado una máscara antipodal para capturar dependencias de movimiento a larga distancia, mejorando el movimiento de la cámara invertida entre píxeles antipodales a través de hemisferios. 3) Para manejar diversas entradas de video de perspectiva, proponemos diseños conscientes de la elevación que se adaptan a enmascaramientos de video variables debido a cambios de elevación en los fotogramas. Experimentos extensos muestran que Imagine360 logra una calidad gráfica superior y coherencia de movimiento entre los métodos de generación de videos de 360 grados más avanzados. Creemos que Imagine360 promete avanzar en la creación de videos de 360 grados personalizados e inmersivos.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.