Imagine360: Immersive 360 Video Generierung aus Perspektive Anker

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

Autoren: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

Zusammenfassung

360°-Videos bieten ein hyperimmersive Erfahrung, die es den Zuschauern ermöglicht, eine dynamische Szene aus vollen 360 Grad zu erkunden. Um eine benutzerfreundlichere und personalisierte Inhalteerstellung im Format von 360°-Videos zu erreichen, streben wir danach, Standard-Perspektivvideos in 360°-equirectangular Videos zu transformieren. Zu diesem Zweck stellen wir Imagine360 vor, das erste Framework zur Generierung von Perspektive-zu-360°-Videos, das hochwertige 360°-Videos mit reichen und vielfältigen Bewegungsmustern aus Video-Ankern erstellt. Imagine360 lernt feingranulare sphärische visuelle und Bewegungsmuster aus begrenzten 360°-Videodaten mit mehreren Schlüsselkonzepten. 1) Zunächst übernehmen wir das Dual-Branch-Design, das einen Perspektiv- und einen Panorama-Video-Denoising-Zweig umfasst, um lokale und globale Einschränkungen für die Generierung von 360°-Videos bereitzustellen, mit einem Bewegungsmodul und räumlichen LoRA-Schichten, die auf erweiterten Web-360°-Videos feinabgestimmt sind. 2) Darüber hinaus wird eine antipodale Maske entwickelt, um weitreichende Bewegungsabhängigkeiten zu erfassen, die die umgekehrte Kamerabewegung zwischen antipodalen Pixeln über Hemisphären hinweg verbessern. 3) Um verschiedene Perspektiv-Videoeingaben zu handhaben, schlagen wir höhenbewusste Designs vor, die sich an sich ändernde Höhen in den Frames anpassen. Umfangreiche Experimente zeigen, dass Imagine360 eine überlegene Grafikqualität und Bewegungskohärenz im Vergleich zu modernsten Methoden zur Generierung von 360°-Videos erreicht. Wir sind der Ansicht, dass Imagine360 vielversprechend ist, um die personalisierte, immersive Erstellung von 360°-Videos voranzutreiben.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.