訓練不要、問題なし：拡散モデルにおけるClassifier-Free Guidanceの再考

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

著者: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

要旨

Classifier-free guidance (CFG)は、条件付き拡散モデルの品質を向上させるための標準的な手法となっています。しかし、CFGを適用するためには、メインの拡散モデルと並行して無条件モデルを訓練するか、あるいはnull条件を定期的に挿入するように訓練手順を変更する必要があります。また、CFGを無条件モデルに拡張する明確な方法も存在しません。本論文では、CFGの基本原理を再検討し、特別な訓練手順を必要とせずにCFGの利点を提供する新しい手法、independent condition guidance (ICG)を提案します。我々のアプローチは、条件付き拡散モデルの訓練プロセスを簡素化し、任意の事前訓練済み条件付きモデルに対して推論中にも適用可能です。さらに、すべての拡散ネットワークにエンコードされたタイムステップ情報を活用することで、CFGの拡張版であるtime-step guidance (TSG)を提案します。TSGは無条件モデルを含む任意の拡散モデルに適用可能です。我々のガイダンス手法は実装が容易で、CFGと同様のサンプリングコストを有します。広範な実験を通じて、ICGが様々な条件付き拡散モデルにおいて標準的なCFGと同等の性能を発揮することを示します。さらに、TSGが条件情報に依存することなく、CFGと同様の方法で生成品質を向上させることを実証します。

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.