CineMobile: オンデバイス画像-動画拡散によるシネマティックカメラモーション生成

要旨

モバイルデバイス上での画像から動画への生成に対する需要の高まりに伴い、バレットタイム、ドリーズーム、スローモーションといった映画的な動きの効果への関心がますます高まっている。拡散トランスフォーマー（DiTs）は動画生成において優れた性能を示す一方で、その大規模なパラメータサイズと多段階の反復的ノイズ除去プロセスが大きな計算オーバーヘッドを生じさせ、モバイルデバイス上での効率的な生成を困難にしている。我々はこのギャップを埋めるためにCineMobileを提案する。具体的には、CineMobileは以下の3つの最適化戦略を採用する。（1）蒸留誘導型プルーニング手法を活用し、映画的効果に必要な本質的な動画生成能力を保持しつつ、コンパクトで効率的なモデルを導出する。（2）拡散蒸留と強化学習の組み合わせにより、圧縮されたモデルを4ステップ生成器へと最適化する。（3）ハイブリッドな学習後量子化戦略を採用し、モデルのフットプリントを1 GB未満に圧縮する。実験結果によれば、Wan 2.1アーキテクチャを備えた教師モデルと比較して、CineMobileは同等の視覚品質を維持しながら、生成において40倍の高速化を達成する。具体的には、CineMobileは49フレームの480p動画を生成する際、NVIDIA H200 GPU上で1ステップあたり0.6秒、MediaTek Dimensity 8400 Ultimate 5Gプラットフォーム上で20秒のノイズ除去レイテンシを実現し、ピークメモリ使用量は1.8 GBであり、モバイルベースの画像から動画への生成における実用的な適用可能性を示している。

English

The growing demand for image-to-video creation on mobile devices has increasingly focused on cinematic motion effects like bullet time, dolly zoom, slow motion, etc. While Diffusion Transformers (DiTs) exhibit strong performance in video generation, their large parameter sizes and multi-step iterative denoising processes lead to substantial computational overhead, making efficient generation on mobile devices challenging. We propose CineMobile to bridge the gap. In particular, CineMobile adopts a three-fold optimization strategy: (1) leveraging a distillation-guided pruning approach to derive a compact yet efficient model that retains the essential video generation capabilities required for cinematic effects; (2) optimizing the compressed model into a 4-step generator via a combination of diffusion distillation and reinforcement learning; (3) employing a hybrid post-training quantization strategy to compress the model footprint to under 1 GB. Experimental results show that compared to the teacher model with the Wan 2.1 architecture, CineMobile achieves a 40x speedup in generation while maintaining comparable visual quality. Specifically, CineMobile generates 49-frame 480p videos with a per-step denoising latency of 0.6s on an NVIDIA H200 GPU and 20s on the MediaTek Dimensity 8400 Ultimate 5G platform, with a peak memory usage of 1.8 GB, demonstrating its practical applicability for mobile-based image-to-video creation.