Modelos de Difusão sem Orientação Livre de Classificador

Diffusion Models without Classifier-free Guidance

February 17, 2025

Autores: Zhicong Tang, Jianmin Bao, Dong Chen, Baining Guo

cs.AI

Resumo

Este artigo apresenta a Model-guidance (MG), um novo objetivo para o treinamento de modelos de difusão que aborda e elimina o uso comum da Classifier-free guidance (CFG). Nossa abordagem inovadora transcende a modelagem padrão da distribuição de dados para incorporar a probabilidade posterior das condições. A técnica proposta surge da ideia da CFG e é simples, porém eficaz, tornando-se um módulo plug-and-play para modelos existentes. Nosso método acelera significativamente o processo de treinamento, dobra a velocidade de inferência e alcança uma qualidade excepcional que rivaliza e até supera modelos de difusão concorrentes que utilizam CFG. Experimentos extensivos demonstram a eficácia, eficiência e escalabilidade em diferentes modelos e conjuntos de dados. Por fim, estabelecemos um desempenho de ponta nos benchmarks do ImageNet 256 com um FID de 1,34. Nosso código está disponível em https://github.com/tzco/Diffusion-wo-CFG.

English

This paper presents Model-guidance (MG), a novel objective for training diffusion model that addresses and removes of the commonly used Classifier-free guidance (CFG). Our innovative approach transcends the standard modeling of solely data distribution to incorporating the posterior probability of conditions. The proposed technique originates from the idea of CFG and is easy yet effective, making it a plug-and-play module for existing models. Our method significantly accelerates the training process, doubles the inference speed, and achieve exceptional quality that parallel and even surpass concurrent diffusion models with CFG. Extensive experiments demonstrate the effectiveness, efficiency, scalability on different models and datasets. Finally, we establish state-of-the-art performance on ImageNet 256 benchmarks with an FID of 1.34. Our code is available at https://github.com/tzco/Diffusion-wo-CFG.