Несоответствия в моделях согласованности: улучшенное решение ОДУ не означает лучшие выборки

Inconsistencies In Consistency Models: Better ODE Solving Does Not Imply Better Samples

November 13, 2024

Авторы: Noël Vouitsis, Rasa Hosseinzadeh, Brendan Leigh Ross, Valentin Villecroze, Satya Krishna Gorti, Jesse C. Cresswell, Gabriel Loaiza-Ganem

cs.AI

Аннотация

Хотя модели диффузии могут генерировать замечательно качественные образцы, они внутренне ограничены своей дорогостоящей итеративной процедурой выборки. Модели согласованности (CM), недавно появившиеся как многообещающий метод дистилляции моделей диффузии, снижают стоимость выборки, генерируя высококачественные образцы всего за несколько итераций. Дистилляция моделей согласованности направлена на решение обыкновенного дифференциального уравнения потока вероятности (ODE), определенного существующей моделью диффузии. Модели CM не обучаются напрямую для минимизации ошибки по отношению к решателю ODE, а используют более вычислительно доступную цель. Для изучения того, насколько эффективно модели CM решают уравнение потока вероятности ODE и какое влияние оказывает любая вызванная ошибка на качество сгенерированных образцов, мы представляем прямые модели CM, которые напрямую минимизируют эту ошибку. Интригующим образом, мы обнаружили, что прямые модели CM уменьшают ошибку решения ODE по сравнению с моделями CM, но также приводят к значительно худшему качеству образцов, что ставит под сомнение, почему именно модели CM работают хорошо с самого начала. Полный код доступен по ссылке: https://github.com/layer6ai-labs/direct-cms.

English

Although diffusion models can generate remarkably high-quality samples, they are intrinsically bottlenecked by their expensive iterative sampling procedure. Consistency models (CMs) have recently emerged as a promising diffusion model distillation method, reducing the cost of sampling by generating high-fidelity samples in just a few iterations. Consistency model distillation aims to solve the probability flow ordinary differential equation (ODE) defined by an existing diffusion model. CMs are not directly trained to minimize error against an ODE solver, rather they use a more computationally tractable objective. As a way to study how effectively CMs solve the probability flow ODE, and the effect that any induced error has on the quality of generated samples, we introduce Direct CMs, which directly minimize this error. Intriguingly, we find that Direct CMs reduce the ODE solving error compared to CMs but also result in significantly worse sample quality, calling into question why exactly CMs work well in the first place. Full code is available at: https://github.com/layer6ai-labs/direct-cms.