Au-delà des jetons uniques : distillation de modèles de diffusion discrets via MMD discret
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
March 20, 2026
Auteurs: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans
cs.AI
Résumé
Il est actuellement difficile de distiller des modèles de diffusion discrets. En revanche, la littérature sur la diffusion continue propose de nombreuses méthodes de distillation capables de réduire le nombre d'étapes d'échantillonnage à seulement quelques-unes.
Notre méthode, la *Distillation par Appariement des Moments Discrets* (D-MMD), exploite des idées qui ont connu un grand succès dans le domaine continu. Alors que les méthodes de distillation discrètes précédentes s'effondrent, la D-MMD préserve une qualité et une diversité élevées (pour un nombre d'étapes d'échantillonnage suffisant). Ceci est démontré sur des ensembles de données textuels et image. De plus, les nouveaux générateurs distillés peuvent surpasser leurs enseignants.
English
It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful.
Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.