Het bestuderen van Classifier(-Free) Guidance vanuit een Classifier-Gecentreerd Perspectief

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

Auteurs: Xiaoming Zhao, Alexander G. Schwing

cs.AI

Samenvatting

Classifier-free guidance is uitgegroeid tot een standaardtechniek voor conditionele generatie met denoising-diffusiemodellen. Echter ontbreekt er nog steeds een diepgaand begrip van classifier-free guidance. In dit werk voeren we een empirische studie uit om een nieuw perspectief te bieden op classifier-free guidance. Concreet gaan we, in plaats van ons uitsluitend te richten op classifier-free guidance, terug naar de oorsprong, namelijk classifier guidance, identificeren de belangrijkste aanname voor de afleiding, en voeren een systematische studie uit om de rol van de classifier te begrijpen. We ontdekken dat zowel classifier guidance als classifier-free guidance conditionele generatie bereiken door de denoising-diffusietrajecten weg te duwen van beslissingsgrenzen, d.w.z. gebieden waar conditionele informatie meestal verstrengeld is en moeilijk te leren is. Op basis van dit classifier-gerichte begrip stellen we een generieke nabewerkingsstap voor, gebaseerd op flow-matching, om de kloof tussen de geleerde distributie van een voorgetraind denoising-diffusiemodel en de echte datadistributie te verkleinen, voornamelijk rond de beslissingsgrenzen. Experimenten op diverse datasets bevestigen de effectiviteit van de voorgestelde aanpak.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.