Без обучения, без проблем: Переосмысление руководства без классификаторов для моделей диффузии

No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models

July 2, 2024

Авторы: Seyedmorteza Sadat, Manuel Kansy, Otmar Hilliges, Romann M. Weber

cs.AI

Аннотация

Метод руководства без классификатора (CFG) стал стандартным способом улучшения качества условных моделей диффузии. Однако применение CFG требует либо обучения безусловной модели наряду с основной моделью диффузии, либо модификации процедуры обучения путем периодического вставления нулевого условия. Кроме того, не существует четкого расширения CFG на безусловные модели. В данной статье мы пересматриваем основные принципы CFG и представляем новый метод, независимое руководство условием (ICG), который обеспечивает преимущества CFG без необходимости особых процедур обучения. Наш подход оптимизирует процесс обучения условных моделей диффузии и может также применяться во время вывода на любой предварительно обученной условной модели. Кроме того, используя информацию о временных шагах, закодированную во всех сетях диффузии, мы предлагаем расширение CFG, называемое руководство временным шагом (TSG), которое может быть применено к любой модели диффузии, включая безусловные. Наши методики руководства легко реализовать и имеют ту же стоимость выборки, что и CFG. Через обширные эксперименты мы демонстрируем, что ICG соответствует производительности стандартного CFG на различных условных моделях диффузии. Более того, мы показываем, что TSG улучшает качество генерации аналогично CFG, не полагаясь на какую-либо условную информацию.

English

Classifier-free guidance (CFG) has become the standard method for enhancing the quality of conditional diffusion models. However, employing CFG requires either training an unconditional model alongside the main diffusion model or modifying the training procedure by periodically inserting a null condition. There is also no clear extension of CFG to unconditional models. In this paper, we revisit the core principles of CFG and introduce a new method, independent condition guidance (ICG), which provides the benefits of CFG without the need for any special training procedures. Our approach streamlines the training process of conditional diffusion models and can also be applied during inference on any pre-trained conditional model. Additionally, by leveraging the time-step information encoded in all diffusion networks, we propose an extension of CFG, called time-step guidance (TSG), which can be applied to any diffusion model, including unconditional ones. Our guidance techniques are easy to implement and have the same sampling cost as CFG. Through extensive experiments, we demonstrate that ICG matches the performance of standard CFG across various conditional diffusion models. Moreover, we show that TSG improves generation quality in a manner similar to CFG, without relying on any conditional information.