Imagine360: 視点アンカーからの没入型360度ビデオ生成

Imagine360: Immersive 360 Video Generation from Perspective Anchor

December 4, 2024

著者: Jing Tan, Shuai Yang, Tong Wu, Jingwen He, Yuwei Guo, Ziwei Liu, Dahua Lin

cs.AI

要旨

360度ビデオは、視聴者が動的なシーンを360度全方位から探索できる、超没入型の体験を提供します。360度ビデオ形式でよりユーザーフレンドリーでパーソナライズされたコンテンツ作成を実現するために、標準の視点ビデオを360度equirectangularビデオに昇華させることを目指しています。このために、Imagine360を導入します。これは、ビデオアンカーから高品質で多様な動きパターンを持つ360度ビデオを生成する、初の視点から360度ビデオへの変換フレームワークです。Imagine360は、限られた360度ビデオデータから微細な球面視覚と動きのパターンを学習するためにいくつかの主要な設計を備えています。1) まず、360度ビデオ生成のために局所的およびグローバルな制約を提供する視点とパノラマビデオのノイズ除去ブランチを含むデュアルブランチ設計を採用し、モーションモジュールと拡張Web 360度ビデオで微調整された空間LoRAレイヤーを備えています。2) さらに、長距離の動き依存関係を捉えるために反対側のピクセル間での逆向きのカメラ動きを向上させるための反対側のマスクが考案されています。3) 多様な視点ビデオ入力を処理するために、フレーム間で変化する高度による異なるビデオマスキングに適応する高度認識設計を提案しています。幅広い実験結果は、Imagine360が最先端の360度ビデオ生成手法の中で優れたグラフィック品質と動きの一貫性を達成していることを示しています。Imagine360は、パーソナライズされた没入型360度ビデオ作成の推進に向けた可能性を秘めていると考えています。

English

360^circ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in 360^circ video format, we seek to lift standard perspective videos into 360^circ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-360^circ video generation framework that creates high-quality 360^circ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited 360^circ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for 360^circ video generation, with motion module and spatial LoRA layers fine-tuned on extended web 360^circ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art 360^circ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive 360^circ video creation.