Estudio de la Guía de Clasificadores (sin Clasificador) desde una Perspectiva Centrada en el Clasificador

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

Autores: Xiaoming Zhao, Alexander G. Schwing

cs.AI

Resumen

La guía sin clasificador se ha convertido en un elemento fundamental para la generación condicional con modelos de difusión de eliminación de ruido. Sin embargo, aún falta una comprensión exhaustiva de la guía sin clasificador. En este trabajo, llevamos a cabo un estudio empírico para ofrecer una nueva perspectiva sobre la guía sin clasificador. Concretamente, en lugar de centrarnos únicamente en la guía sin clasificador, retrocedemos hasta la raíz, es decir, la guía con clasificador, identificamos la suposición clave para su derivación y realizamos un estudio sistemático para comprender el papel del clasificador. Descubrimos que tanto la guía con clasificador como la guía sin clasificador logran la generación condicional al alejar las trayectorias de difusión de eliminación de ruido de los límites de decisión, es decir, áreas donde la información condicional suele estar entrelazada y es difícil de aprender. Basándonos en esta comprensión centrada en el clasificador, proponemos un paso genérico de posprocesamiento basado en la correspondencia de flujos para reducir la brecha entre la distribución aprendida por un modelo de difusión de eliminación de ruido preentrenado y la distribución real de los datos, principalmente alrededor de los límites de decisión. Los experimentos en varios conjuntos de datos verifican la eficacia del enfoque propuesto.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.