Изучение (без)классификаторного управления с классификатороцентричной перспективы

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

Авторы: Xiaoming Zhao, Alexander G. Schwing

cs.AI

Аннотация

Бесклассовое управление (classifier-free guidance) стало стандартным инструментом для условной генерации с использованием моделей диффузии с удалением шума. Однако полное понимание бесклассового управления до сих пор отсутствует. В данной работе мы проводим эмпирическое исследование, чтобы предложить новый взгляд на бесклассовое управление. Конкретно, вместо того чтобы сосредотачиваться исключительно на бесклассовом управлении, мы возвращаемся к истокам, а именно к управлению с использованием классификатора (classifier guidance), выявляем ключевое предположение для его вывода и проводим систематическое исследование, чтобы понять роль классификатора. Мы обнаруживаем, что как управление с использованием классификатора, так и бесклассовое управление достигают условной генерации, отодвигая траектории диффузии с удалением шума от границ принятия решений, то есть областей, где условная информация обычно переплетена и трудна для изучения. Основываясь на этом понимании, ориентированном на классификатор, мы предлагаем универсальный шаг постобработки, построенный на основе согласования потоков (flow-matching), чтобы сократить разрыв между изученным распределением для предварительно обученной модели диффузии с удалением шума и реальным распределением данных, преимущественно вблизи границ принятия решений. Эксперименты на различных наборах данных подтверждают эффективность предложенного подхода.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.