Les priors inconditionnels comptent ! Amélioration de la génération conditionnelle dans les modèles de diffusion affinés

Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

March 26, 2025

Auteurs: Prin Phunyaphibarn, Phillip Y. Lee, Jaihoon Kim, Minhyuk Sung

cs.AI

Résumé

Le Classifier-Free Guidance (CFG) est une technique fondamentale dans l'entraînement des modèles de diffusion conditionnels. La pratique courante pour l'entraînement basé sur CFG consiste à utiliser un seul réseau pour apprendre à la fois la prédiction du bruit conditionnel et inconditionnel, avec un faible taux de dropout pour le conditionnement. Cependant, nous observons que l'apprentissage conjoint du bruit inconditionnel avec une bande passante limitée lors de l'entraînement entraîne de mauvais a priori pour le cas inconditionnel. Plus important encore, ces mauvaises prédictions de bruit inconditionnel deviennent une raison sérieuse de la dégradation de la qualité de la génération conditionnelle. Inspirés par le fait que la plupart des modèles conditionnels basés sur CFG sont entraînés par affinage d'un modèle de base avec une meilleure génération inconditionnelle, nous montrons d'abord que le simple remplacement du bruit inconditionnel dans CFG par celui prédit par le modèle de base peut considérablement améliorer la génération conditionnelle. De plus, nous montrons qu'un modèle de diffusion autre que celui sur lequel le modèle affiné a été entraîné peut être utilisé pour le remplacement du bruit inconditionnel. Nous vérifions expérimentalement notre affirmation avec une gamme de modèles conditionnels basés sur CFG pour la génération d'images et de vidéos, y compris Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter et InstructPix2Pix.

English

Classifier-Free Guidance (CFG) is a fundamental technique in training conditional diffusion models. The common practice for CFG-based training is to use a single network to learn both conditional and unconditional noise prediction, with a small dropout rate for conditioning. However, we observe that the joint learning of unconditional noise with limited bandwidth in training results in poor priors for the unconditional case. More importantly, these poor unconditional noise predictions become a serious reason for degrading the quality of conditional generation. Inspired by the fact that most CFG-based conditional models are trained by fine-tuning a base model with better unconditional generation, we first show that simply replacing the unconditional noise in CFG with that predicted by the base model can significantly improve conditional generation. Furthermore, we show that a diffusion model other than the one the fine-tuned model was trained on can be used for unconditional noise replacement. We experimentally verify our claim with a range of CFG-based conditional models for both image and video generation, including Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter, and InstructPix2Pix.