Além de Tokens Individuais: Destilando Modelos de Difusão Discreta via MMD Discreto
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
March 20, 2026
Autores: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans
cs.AI
Resumo
Atualmente, é difícil destilar modelos de difusão discretos. Em contraste, a literatura sobre difusão contínua possui diversos métodos de destilação que podem reduzir as etapas de amostragem para um número reduzido.
Nosso método, *Discrete Moment Matching Distillation* (D-MMD), aproveita ideias que tiveram grande sucesso no domínio contínuo. Enquanto métodos anteriores de destilação discreta entram em colapso, o D-MMD mantém alta qualidade e diversidade (dado um número suficiente de etapas de amostragem). Isso é demonstrado tanto em conjuntos de dados de texto quanto de imagem. Além disso, os geradores recém-destilados podem superar seus modelos de referência (teachers).
English
It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful.
Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.