Estudando a Orientação de Classificador (Livre) a partir de uma Perspectiva Centrada no Classificador

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

Autores: Xiaoming Zhao, Alexander G. Schwing

cs.AI

Resumo

A orientação sem classificador tornou-se um elemento essencial para geração condicional com modelos de difusão de ruído. No entanto, ainda falta uma compreensão abrangente da orientação sem classificador. Neste trabalho, realizamos um estudo empírico para oferecer uma nova perspectiva sobre a orientação sem classificador. Concretamente, em vez de focar exclusivamente na orientação sem classificador, retornamos à raiz, ou seja, à orientação com classificador, identificamos a suposição-chave para a derivação e conduzimos um estudo sistemático para entender o papel do classificador. Descobrimos que tanto a orientação com classificador quanto a orientação sem classificador alcançam a geração condicional ao afastar as trajetórias de difusão de ruído das fronteiras de decisão, ou seja, áreas onde a informação condicional geralmente está entrelaçada e é difícil de aprender. Com base nessa compreensão centrada no classificador, propomos uma etapa genérica de pós-processamento construída sobre correspondência de fluxo para reduzir a lacuna entre a distribuição aprendida para um modelo de difusão de ruído pré-treinado e a distribuição real dos dados, principalmente em torno das fronteiras de decisão. Experimentos em diversos conjuntos de dados verificam a eficácia da abordagem proposta.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.