Studiare la Guida Classificatore(-Free) da una Prospettiva Centrata sul Classificatore

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

Autori: Xiaoming Zhao, Alexander G. Schwing

cs.AI

Abstract

La guida senza classificatore è diventata un elemento fondamentale per la generazione condizionale con modelli di diffusione di denoising. Tuttavia, una comprensione completa della guida senza classificatore è ancora mancante. In questo lavoro, conduciamo uno studio empirico per offrire una nuova prospettiva sulla guida senza classificatore. Nello specifico, invece di concentrarci esclusivamente sulla guida senza classificatore, risaliamo alla radice, ovvero alla guida con classificatore, individuiamo l'assunzione chiave per la derivazione e conduciamo uno studio sistematico per comprendere il ruolo del classificatore. Scopriamo che sia la guida con classificatore che quella senza classificatore raggiungono la generazione condizionale spingendo le traiettorie di diffusione di denoising lontano dai confini decisionali, ovvero aree in cui le informazioni condizionali sono solitamente intrecciate e difficili da apprendere. Basandoci su questa comprensione centrata sul classificatore, proponiamo un passaggio di post-elaborazione generico basato sul flow-matching per ridurre il divario tra la distribuzione appresa da un modello di diffusione di denoising pre-addestrato e la distribuzione reale dei dati, principalmente intorno ai confini decisionali. Esperimenti su vari dataset verificano l'efficacia dell'approccio proposto.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.