Pas de formation, pas de problème : Repenser le guidage sans classifieur pour les modèles de diffusion

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

Auteurs: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

Résumé

Le guidage sans classifieur (Classifier-Free Guidance, CFG) est devenu la méthode standard pour améliorer la qualité des modèles de diffusion conditionnels. Cependant, l'utilisation du CFG nécessite soit l'entraînement d'un modèle non conditionnel parallèlement au modèle de diffusion principal, soit la modification de la procédure d'entraînement en insérant périodiquement une condition nulle. De plus, il n'existe pas d'extension claire du CFG aux modèles non conditionnels. Dans cet article, nous revisitons les principes fondamentaux du CFG et introduisons une nouvelle méthode, le guidage par condition indépendante (Independent Condition Guidance, ICG), qui offre les avantages du CFG sans nécessiter de procédures d'entraînement spécifiques. Notre approche simplifie le processus d'entraînement des modèles de diffusion conditionnels et peut également être appliquée lors de l'inférence sur tout modèle conditionnel pré-entraîné. Par ailleurs, en exploitant l'information temporelle encodée dans tous les réseaux de diffusion, nous proposons une extension du CFG, appelée guidage par pas de temps (Time-Step Guidance, TSG), qui peut être appliquée à tout modèle de diffusion, y compris les modèles non conditionnels. Nos techniques de guidage sont faciles à implémenter et ont le même coût d'échantillonnage que le CFG. À travers des expériences approfondies, nous démontrons que l'ICG atteint les performances du CFG standard sur divers modèles de diffusion conditionnels. De plus, nous montrons que le TSG améliore la qualité de génération de manière similaire au CFG, sans s'appuyer sur aucune information conditionnelle.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.