Imagine360: Immersieve 360 Video Generatie vanuit Perspectief Anker

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

Auteurs: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

Samenvatting

360^circ video's bieden een hyper-immersieve ervaring waarmee kijkers een dynamische scène vanuit alle 360 graden kunnen verkennen. Om een meer gebruikersvriendelijke en gepersonaliseerde contentcreatie in 360^circ videoformaat te bereiken, streven we ernaar om standaard perspectiefvideo's om te zetten in 360^circ equirectangular video's. Met dit doel introduceren we Imagine360, het eerste kader voor het genereren van perspectief-naar-360^circ video's dat hoogwaardige 360^circ video's met rijke en diverse bewegingspatronen creëert vanuit videobronnen. Imagine360 leert gedetailleerde sferische visuele en bewegingspatronen van beperkte 360^circ videogegevens met verschillende belangrijke ontwerpen. 1) Allereerst nemen we het dual-branch ontwerp aan, met een perspectief- en een panorama videodenoising-tak om lokale en globale beperkingen te bieden voor 360^circ video-generatie, met een bewegingsmodule en ruimtelijke LoRA-lagen fijnafgestemd op uitgebreide web 360^circ video's. 2) Daarnaast is een antipodale masker ontwikkeld om langeafstandsbewegingsafhankelijkheden vast te leggen, waardoor de omgekeerde camerabeweging tussen antipodale pixels over hemisferen wordt verbeterd. 3) Om diverse perspectiefvideo-ingangen aan te pakken, stellen we ontwerpen voor die rekening houden met elevatie, die zich aanpassen aan variërende videomaskering als gevolg van veranderende elevaties over frames. Uitgebreide experimenten tonen aan dat Imagine360 superieure grafische kwaliteit en bewegingscoherentie bereikt ten opzichte van state-of-the-art 360^circ video-generatiemethoden. Wij geloven dat Imagine360 veelbelovend is voor het bevorderen van gepersonaliseerde, meeslepende 360^circ video-creatie.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.