段階的一貫性モデル

要旨

一貫性モデル（CM）は最近、拡散モデルの生成速度を大幅に加速させることに成功しました。しかし、潜在空間における高解像度のテキスト条件付き画像生成（通称LCM）への応用は、まだ満足のいくものではありません。本論文では、現在のLCM設計における3つの主要な欠陥を特定します。これらの制限の背後にある理由を調査し、設計空間を一般化し、特定されたすべての制限に対処する段階的一貫性モデル（PCM）を提案します。評価の結果、PCMは1〜16ステップの生成設定においてLCMを大幅に上回ることが示されました。PCMは多段階の精緻化を特に念頭に置いて設計されていますが、1ステップ生成においても、従来の最先端の1ステップ専用手法と同等かそれ以上の結果を達成します。さらに、PCMの方法論は汎用性が高く、ビデオ生成にも適用可能であり、これにより最先端の少ステップテキスト・トゥ・ビデオ生成器を訓練することができました。詳細はhttps://g-u-n.github.io/projects/pcm/をご覧ください。

English

The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.