Prioris Incondicionais Importam! Melhorando a Geração Condicional de Modelos de Difusão Ajustados

Unconditional Priors Matter! Improving Conditional Generation of Fine-Tuned Diffusion Models

March 26, 2025

Autores: Prin Phunyaphibarn, Phillip Y. Lee, Jaihoon Kim, Minhyuk Sung

cs.AI

Resumo

O Classifier-Free Guidance (CFG) é uma técnica fundamental no treinamento de modelos de difusão condicionais. A prática comum para o treinamento baseado em CFG é usar uma única rede para aprender tanto a previsão de ruído condicional quanto a incondicional, com uma pequena taxa de dropout para a condicionamento. No entanto, observamos que o aprendizado conjunto do ruído incondicional com largura de banda limitada durante o treinamento resulta em priores ruins para o caso incondicional. Mais importante ainda, essas previsões ruins de ruído incondicional tornam-se uma razão séria para a degradação da qualidade da geração condicional. Inspirados pelo fato de que a maioria dos modelos condicionais baseados em CFG são treinados por meio de ajuste fino de um modelo base com melhor geração incondicional, primeiro mostramos que simplesmente substituir o ruído incondicional no CFG por aquele previsto pelo modelo base pode melhorar significativamente a geração condicional. Além disso, mostramos que um modelo de difusão diferente daquele em que o modelo ajustado foi treinado pode ser usado para a substituição do ruído incondicional. Verificamos experimentalmente nossa afirmação com uma variedade de modelos condicionais baseados em CFG para geração de imagens e vídeos, incluindo Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter e InstructPix2Pix.

English

Classifier-Free Guidance (CFG) is a fundamental technique in training conditional diffusion models. The common practice for CFG-based training is to use a single network to learn both conditional and unconditional noise prediction, with a small dropout rate for conditioning. However, we observe that the joint learning of unconditional noise with limited bandwidth in training results in poor priors for the unconditional case. More importantly, these poor unconditional noise predictions become a serious reason for degrading the quality of conditional generation. Inspired by the fact that most CFG-based conditional models are trained by fine-tuning a base model with better unconditional generation, we first show that simply replacing the unconditional noise in CFG with that predicted by the base model can significantly improve conditional generation. Furthermore, we show that a diffusion model other than the one the fine-tuned model was trained on can be used for unconditional noise replacement. We experimentally verify our claim with a range of CFG-based conditional models for both image and video generation, including Zero-1-to-3, Versatile Diffusion, DiT, DynamiCrafter, and InstructPix2Pix.