Onvoorwaardelijke priors doen ertoe! Verbetering van conditionele generatie bij fijn afgestelde diffusiemodellen

Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

March 26, 2025

Auteurs: Prin Phunyaphibarn, Phillip Y. Lee, Jaihoon Kim, Minhyuk Sung

cs.AI

Samenvatting

Classifier-Free Guidance (CFG) is een fundamentele techniek bij het trainen van conditionele diffusiemodellen. De gangbare praktijk voor CFG-gebaseerde training is om een enkel netwerk te gebruiken om zowel de conditionele als de onvoorwaardelijke ruisvoorspelling te leren, met een kleine dropout-rate voor de conditionering. Wij observeren echter dat het gezamenlijk leren van onvoorwaardelijke ruis met beperkte bandbreedte tijdens de training resulteert in slechte prioris voor het onvoorwaardelijke geval. Belangrijker nog, deze slechte onvoorwaardelijke ruisvoorspellingen vormen een serieuze reden voor de achteruitgang van de kwaliteit van conditionele generatie. Geïnspireerd door het feit dat de meeste CFG-gebaseerde conditionele modellen worden getraind door een basismodel met betere onvoorwaardelijke generatie te fine-tunen, laten we eerst zien dat het simpelweg vervangen van de onvoorwaardelijke ruis in CFG door die voorspeld door het basismodel de conditionele generatie aanzienlijk kan verbeteren. Verder tonen we aan dat een diffusiemodel anders dan waarop het fine-tunemodel is getraind, kan worden gebruikt voor onvoorwaardelijke ruisvervanging. We verifiëren onze bewering experimenteel met een reeks CFG-gebaseerde conditionele modellen voor zowel beeld- als videogeneratie, waaronder Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter en InstructPix2Pix.

English

Classifier-Free Guidance (CFG) is a fundamental technique in training conditional diffusion models. The common practice for CFG-based training is to use a single network to learn both conditional and unconditional noise prediction, with a small dropout rate for conditioning. However, we observe that the joint learning of unconditional noise with limited bandwidth in training results in poor priors for the unconditional case. More importantly, these poor unconditional noise predictions become a serious reason for degrading the quality of conditional generation. Inspired by the fact that most CFG-based conditional models are trained by fine-tuning a base model with better unconditional generation, we first show that simply replacing the unconditional noise in CFG with that predicted by the base model can significantly improve conditional generation. Furthermore, we show that a diffusion model other than the one the fine-tuned model was trained on can be used for unconditional noise replacement. We experimentally verify our claim with a range of CFG-based conditional models for both image and video generation, including Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter, and InstructPix2Pix.