훈련 없이도 문제없다: 확산 모델을 위한 Classifier-Free Guidance 재고찰

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

저자: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

초록

Classifier-free guidance(CFG)는 조건부 확산 모델의 품질을 향상시키기 위한 표준 방법으로 자리 잡았습니다. 그러나 CFG를 사용하기 위해서는 주요 확산 모델과 함께 무조건 모델을 훈련시키거나, 훈련 과정을 수정하여 주기적으로 null 조건을 삽입해야 합니다. 또한 CFG를 무조건 모델로 확장하는 명확한 방법도 존재하지 않습니다. 본 논문에서는 CFG의 핵심 원리를 재검토하고, 특별한 훈련 절차 없이도 CFG의 이점을 제공하는 새로운 방법인 independent condition guidance(ICG)를 소개합니다. 우리의 접근 방식은 조건부 확산 모델의 훈련 과정을 간소화하며, 사전 훈련된 모든 조건부 모델에 대해 추론 중에도 적용할 수 있습니다. 또한, 모든 확산 네트워크에 인코딩된 시간 단계 정보를 활용하여 CFG의 확장 버전인 time-step guidance(TSG)를 제안합니다. TSG는 무조건 모델을 포함한 모든 확산 모델에 적용할 수 있습니다. 우리의 가이던스 기법은 구현이 간단하며, CFG와 동일한 샘플링 비용을 가집니다. 다양한 조건부 확산 모델에 대한 광범위한 실험을 통해 ICG가 표준 CFG의 성능과 동등함을 입증했습니다. 또한, TSG가 조건 정보에 의존하지 않고도 CFG와 유사한 방식으로 생성 품질을 개선함을 보여줍니다.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.