분류기 중심 관점에서 분류기(자유) 지도 학습 연구

Studying Classifier(-Free) Guidance From a Classifier-Centric Perspective

March 13, 2025

저자: Xiaoming Zhao, Alexander G. Schwing

cs.AI

초록

분류자 없는 가이던스(classifier-free guidance)는 노이즈 제거 확산 모델(denoising diffusion models)을 사용한 조건부 생성에서 필수적인 요소가 되었습니다. 그러나 분류자 없는 가이던스에 대한 포괄적인 이해는 아직 부족한 상태입니다. 본 연구에서는 분류자 없는 가이던스에 대한 새로운 관점을 제공하기 위해 실증적 연구를 수행합니다. 구체적으로, 분류자 없는 가이던스에만 초점을 맞추는 대신, 그 근원인 분류자 가이던스(classifier guidance)로 거슬러 올라가, 그 유도 과정의 핵심 가정을 명확히 하고, 분류자의 역할을 이해하기 위한 체계적인 연구를 진행합니다. 우리는 분류자 가이던스와 분류자 없는 가이던스 모두가 조건부 정보가 일반적으로 얽혀 있고 학습하기 어려운 영역인 결정 경계(decision boundaries)로부터 노이즈 제거 확산 궤적을 밀어내는 방식으로 조건부 생성을 달성한다는 사실을 발견했습니다. 이러한 분류자 중심의 이해를 바탕으로, 우리는 사전 학습된 노이즈 제거 확산 모델의 학습된 분포와 실제 데이터 분포 사이의 격차, 특히 결정 경계 주변에서의 격차를 줄이기 위해 흐름 매칭(flow-matching)을 기반으로 한 일반적인 후처리 단계를 제안합니다. 다양한 데이터셋에서의 실험을 통해 제안된 접근법의 효과를 검증합니다.

English

Classifier-free guidance has become a staple for conditional generation with denoising diffusion models. However, a comprehensive understanding of classifier-free guidance is still missing. In this work, we carry out an empirical study to provide a fresh perspective on classifier-free guidance. Concretely, instead of solely focusing on classifier-free guidance, we trace back to the root, i.e., classifier guidance, pinpoint the key assumption for the derivation, and conduct a systematic study to understand the role of the classifier. We find that both classifier guidance and classifier-free guidance achieve conditional generation by pushing the denoising diffusion trajectories away from decision boundaries, i.e., areas where conditional information is usually entangled and is hard to learn. Based on this classifier-centric understanding, we propose a generic postprocessing step built upon flow-matching to shrink the gap between the learned distribution for a pre-trained denoising diffusion model and the real data distribution, majorly around the decision boundaries. Experiments on various datasets verify the effectiveness of the proposed approach.