Imagine360: Создание иммерсивного 360-видео с помощью якоря перспективы

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

Авторы: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

Аннотация

Видеоролики 360^градусов предлагают гипер-иммерсивный опыт, который позволяет зрителям исследовать динамичную сцену со всех сторон на 360 градусов. Для достижения более удобного и персонализированного создания контента в формате видеороликов 360^градусов, мы стремимся преобразовать стандартные видеоролики в 360^градусов экирективные видеоролики. В этом контексте мы представляем Imagine360, первую перспективную платформу для генерации видеороликов 360^градусов, которая создает высококачественные видеоролики 360^градусов с разнообразными и насыщенными движениями на основе видео-якорей. Imagine360 изучает детализированные сферические визуальные и движущиеся образцы из ограниченных данных видеороликов 360^градусов с помощью нескольких ключевых конструкций. 1) Во-первых, мы используем двухветвевой дизайн, включая перспективную и панорамную ветви для шумоподавления видеороликов, чтобы обеспечить локальные и глобальные ограничения для генерации видеороликов 360^градусов, с модулем движения и слоями пространственной LoRA, настроенными на расширенных веб-видеороликах 360^градусов. 2) Кроме того, разработана антиподальная маска для захвата долгосрочных зависимостей движения, улучшая обратное движение камеры между антиподальными пикселями через полусферы. 3) Для работы с разнообразными входными перспективными видеороликами мы предлагаем дизайны, учитывающие высоту, которые адаптируются к изменяющемуся маскированию видео из-за изменения высоты на протяжении кадров. Обширные эксперименты показывают, что Imagine360 достигает превосходного качества графики и согласованности движения среди передовых методов генерации видеороликов 360^градусов. Мы считаем, что Imagine360 обладает потенциалом для продвижения персонализированного и иммерсивного создания видеороликов 360^градусов.

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.