並列復号化蒸留による高速画像・動画生成

要旨

ビデオ拡散モデルやフローモデルにおける生成処理は、反復的なサンプリングプロセスが低速で計算コストが高い。現在の最先端（SOTA）高速化手法は、変分スコア蒸留（VSD）と敵対的損失に大きく依存し、拡散モデルをわずかなステップの生成器へと蒸留している。高品質なビデオ生成を実現する一方で、これらの訓練損失は最適化が極めて困難であり、モード崩壊を起こしやすく、ビデオの多様性の喪失や動きの欠如を招く。本論文では、拡散モデルおよびフローマッチングモデルの高速推論のための、簡略化かつスケーラブルな軌跡ベース蒸留法である並列復号蒸留（PDD）を導入する。本手法のアーキテクチャと訓練手順は任意の事前学習モデルと互換性があり、可変の関数評価回数（NFE）でのサンプリングをサポートする。PDDは、ネットワーク評価あたり複数のノイズ除去ステップを予測することで生成を高速化する。概念的には、JVPsや有限差分近似を用いてその導関数を回帰することなく、平均速度の表現を学習する。本手法は、LTX-2.3 Text-to-Video/Audio、Wan 14B Text-to-Video、Qwen-Image Text-to-Imageにおいて、4～8 NFEでSOTA性能を達成する。さらにPDDは、生成ビデオの多様性において顕著な改善を示す。

English

Generation in video diffusion or flow models is computationally expensive due to the slow and iterative sampling process. Current state-of-the-art (SOTA) acceleration methods heavily rely on variational score distillation (VSD) and adversarial losses to distill diffusion models into few-step generators. Albeit achieving high-quality video generation, these training losses are notoriously hard to optimize and suffer from mode collapse, leading to loss of video diversity and lack of motion. In this paper, we introduce Parallel Decoding Distillation (PDD), a simplified and scalable trajectory-based distillation method for fast inference of diffusion and flow matching models. Our architecture and training procedure are compatible with any pre-trained model and support sampling with a varying number of function evaluations (NFE). PDD accelerates generation by predicting multiple denoising steps per network evaluation. Conceptually, it learns a representation of the mean velocity without regressing its derivative using JVPs or finite-difference approximations. Our method achieves SOTA performance with 4-8 NFE on LTX-2.3 Text-to-Video/Audio, Wan 14B Text-to-Video, and Qwen-Image Text-to-Image. Moreover, PDD presents a significant improvement in generated video diversity.