Más allá de los tokens individuales: destilación de modelos de difusión discreta mediante MMD discreto
Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD
March 20, 2026
Autores: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans
cs.AI
Resumen
Actualmente es difícil destilar modelos de difusión discretos. En contraste, la literatura sobre difusión continua cuenta con numerosos métodos de destilación que pueden reducir los pasos de muestreo a un puñado.
Nuestro método, *Discrete Moment Matching Distillation* (D-MMD), aprovecha ideas que han tenido mucho éxito en el dominio continuo. Mientras que los métodos de destilación discreta anteriores colapsan, D-MMD mantiene una alta calidad y diversidad (dados suficientes pasos de muestreo). Esto se demuestra tanto en conjuntos de datos de texto como de imágenes. Además, los generadores recién destilados pueden superar el rendimiento de sus modelos maestros.
English
It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful.
Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.