Étude de l'orientation des classifieurs (sans classifieur) d'une perspective centrée sur le classifieur

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

Auteurs: Xiaoming Zhao, Alexander G. Schwing

cs.AI

Résumé

La guidance sans classifieur est devenue un élément essentiel pour la génération conditionnelle avec les modèles de diffusion par débruitage. Cependant, une compréhension approfondie de la guidance sans classifieur fait encore défaut. Dans ce travail, nous menons une étude empirique pour offrir une perspective nouvelle sur la guidance sans classifieur. Concrètement, au lieu de se concentrer uniquement sur la guidance sans classifieur, nous remontons à la source, c'est-à-dire la guidance avec classifieur, identifions l'hypothèse clé pour la dérivation, et réalisons une étude systématique pour comprendre le rôle du classifieur. Nous constatons que la guidance avec classifieur et la guidance sans classifieur réalisent toutes deux la génération conditionnelle en éloignant les trajectoires de diffusion par débruitage des frontières de décision, c'est-à-dire des zones où l'information conditionnelle est généralement entrelacée et difficile à apprendre. Sur la base de cette compréhension centrée sur le classifieur, nous proposons une étape générique de post-traitement basée sur l'appariement de flux pour réduire l'écart entre la distribution apprise pour un modèle de diffusion par débruitage pré-entraîné et la distribution réelle des données, principalement autour des frontières de décision. Des expériences sur divers ensembles de données vérifient l'efficacité de l'approche proposée.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.