DynamicScaler：パノラマシーンのためのシームレスかつスケーラブルなビデオ生成

DynamicScaler: Seamless and Scalable Video Generation for Panoramic Scenes

December 15, 2024

著者: Jinxiu Liu, Shaoheng Lin, Yinxiao Li, Ming-Hsuan Yang

cs.AI

要旨

没入型AR/VRアプリケーションと空間知能への需要の増加により、高品質のシーンレベルおよび360度パノラマビデオの生成が求められています。しかし、ほとんどのビデオ拡散モデルは解像度とアスペクト比が制限されており、シーンレベルの動的コンテンツ合成への適用範囲が制限されています。本研究では、DynamicScalerを提案し、これらの課題に対処します。これにより、空間的にスケーラブルでパノラマ動的シーン合成が可能となり、任意のサイズのパノラマシーン間で整合性を保持します。具体的には、オフセットシフティングデノイザーを導入し、シームレスな回転ウィンドウを介して固定解像度の拡散モデルによるパノラマ動的シーンの効率的で同期し、整合性のあるノイズ除去を実現します。これにより、シームレスな境界遷移と全体のパノラマ空間全体での一貫性が確保され、さまざまな解像度とアスペクト比に対応します。さらに、グローバルモーションガイダンスメカニズムを使用して、ローカルな詳細の忠実度とグローバルなモーションの連続性を確保します。広範な実験により、当社の手法がパノラマシーンレベルのビデオ生成において優れたコンテンツとモーション品質を達成し、出力ビデオの解像度に関係なく、VRAM消費量を一定に保ちながら没入型動的シーンの効率的かつスケーラブルなソリューションを提供していることが示されます。プロジェクトページはhttps://dynamic-scaler.pages.dev/でご覧いただけます。

English

The increasing demand for immersive AR/VR applications and spatial intelligence has heightened the need to generate high-quality scene-level and 360{\deg} panoramic video. However, most video diffusion models are constrained by limited resolution and aspect ratio, which restricts their applicability to scene-level dynamic content synthesis. In this work, we propose the DynamicScaler, addressing these challenges by enabling spatially scalable and panoramic dynamic scene synthesis that preserves coherence across panoramic scenes of arbitrary size. Specifically, we introduce a Offset Shifting Denoiser, facilitating efficient, synchronous, and coherent denoising panoramic dynamic scenes via a diffusion model with fixed resolution through a seamless rotating Window, which ensures seamless boundary transitions and consistency across the entire panoramic space, accommodating varying resolutions and aspect ratios. Additionally, we employ a Global Motion Guidance mechanism to ensure both local detail fidelity and global motion continuity. Extensive experiments demonstrate our method achieves superior content and motion quality in panoramic scene-level video generation, offering a training-free, efficient, and scalable solution for immersive dynamic scene creation with constant VRAM consumption regardless of the output video resolution. Our project page is available at https://dynamic-scaler.pages.dev/.