Imagine360 : Génération de vidéos immersives à 360 degrés à partir d'ancres de perspective

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

Auteurs: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

Résumé

Les vidéos à 360 degrés offrent une expérience hyper-immersive qui permet aux spectateurs d'explorer une scène dynamique sur 360 degrés complets. Pour parvenir à une création de contenu en format vidéo à 360 degrés plus conviviale et personnalisée, nous cherchons à transformer les vidéos standard en vidéos à 360 degrés équirectangulaires. À cette fin, nous présentons Imagine360, le premier cadre de génération de vidéos de perspective à 360 degrés qui crée des vidéos de haute qualité à 360 degrés avec des motifs de mouvement riches et variés à partir d'ancrages vidéo. Imagine360 apprend des motifs visuels sphériques et de mouvement fins à partir de données vidéo à 360 degrés limitées grâce à plusieurs conceptions clés. 1) Tout d'abord, nous adoptons la conception à double branche, comprenant une branche de débruitage vidéo de perspective et de panorama pour fournir des contraintes locales et globales pour la génération de vidéos à 360 degrés, avec un module de mouvement et des couches spatiales LoRA ajustées finement sur des vidéos web 360 degrés étendues. 2) De plus, un masque antipodal est conçu pour capturer les dépendances de mouvement à longue portée, améliorant le mouvement de caméra inversé entre les pixels antipodaux à travers les hémisphères. 3) Pour gérer les diverses entrées vidéo de perspective, nous proposons des conceptions sensibles à l'élévation qui s'adaptent aux masques vidéo variables en raison des changements d'élévation entre les images. Des expériences approfondies montrent qu'Imagine360 offre une qualité graphique supérieure et une cohérence de mouvement parmi les méthodes de génération de vidéos à 360 degrés de pointe. Nous pensons qu'Imagine360 présente un potentiel pour faire progresser la création de vidéos à 360 degrés personnalisées et immersives.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.