TPDiff：時間ピラミッド型ビデオ拡散モデル

TPDiff: Temporal Pyramid Video Diffusion Model

March 12, 2025

著者: Lingmin Ran, Mike Zheng Shou

cs.AI

要旨

ビデオ拡散モデルの開発において、重要な課題が明らかになりました： それは膨大な計算リソースの必要性です。この課題を緩和するため、我々は拡散の逆過程が本質的にエントロピーを減少させる性質を持つことに着目しました。ビデオモダリティにおけるフレーム間の冗長性を考慮すると、高エントロピー段階で完全なフレームレートを維持する必要はありません。この洞察に基づき、我々はTPDiffという統一フレームワークを提案します。これはトレーニングと推論の効率を向上させるものです。拡散プロセスを複数の段階に分割し、最終段階のみで完全なフレームレートを扱うことで、計算効率を最適化します。多段階拡散モデルをトレーニングするため、我々は専用のトレーニングフレームワークを導入しました：段階的拡散です。整列されたデータとノイズの下で分割された確率流常微分方程式（ODE）を解くことで、このトレーニング戦略は様々な拡散形式に適用可能であり、さらにトレーニング効率を向上させます。包括的な実験的評価により、本手法の汎用性が検証され、トレーニングコストの50%削減と推論効率の1.5倍向上が実証されました。

English

The development of video diffusion models unveils a significant challenge: the substantial computational demands. To mitigate this challenge, we note that the reverse process of diffusion exhibits an inherent entropy-reducing nature. Given the inter-frame redundancy in video modality, maintaining full frame rates in high-entropy stages is unnecessary. Based on this insight, we propose TPDiff, a unified framework to enhance training and inference efficiency. By dividing diffusion into several stages, our framework progressively increases frame rate along the diffusion process with only the last stage operating on full frame rate, thereby optimizing computational efficiency. To train the multi-stage diffusion model, we introduce a dedicated training framework: stage-wise diffusion. By solving the partitioned probability flow ordinary differential equations (ODE) of diffusion under aligned data and noise, our training strategy is applicable to various diffusion forms and further enhances training efficiency. Comprehensive experimental evaluations validate the generality of our method, demonstrating 50% reduction in training cost and 1.5x improvement in inference efficiency.