За пределами отдельных токенов: дистилляция дискретных диффузионных моделей с помощью дискретного MMD
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
March 20, 2026
Авторы: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans
cs.AI
Аннотация
В настоящее время сложно проводить дистилляцию дискретных диффузионных моделей. В отличие от этого, в литературе по непрерывной диффузии существует множество методов дистилляции, которые позволяют сократить количество шагов выборки до нескольких.
Наш метод, Discrete Moment Matching Distillation (D-MMD), использует идеи, доказавшие свою высокую эффективность в непрерывной области. В то время как предыдущие методы дискретной дистилляции дают сбой, D-MMD сохраняет высокое качество и разнообразие (при достаточном количестве шагов выборки). Это продемонстрировано на наборах данных как для текста, так и для изображений. Более того, вновь полученные в результате дистилляции генераторы могут превосходить по характеристикам свои исходные модели-учителя.
English
It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful.
Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.