Oltre i Token Singoli: Distillazione di Modelli di Diffusione Discreti tramite MMD Discreto

Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD

March 20, 2026

Autori: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

cs.AI

Abstract

Attualmente è difficile effettuare il distillation di modelli di diffusione discreti. Al contrario, la letteratura sulla diffusione continua dispone di numerosi metodi di distillation che possono ridurre i passaggi di campionamento a una manciata. Il nostro metodo, Discrete Moment Matching Distillation (D-MMD), sfrutta idee che hanno avuto grande successo nel dominio continuo. Mentre i precedenti metodi di distillation discreta collassano, il D-MMD mantiene un'elevata qualità e diversità (dato un numero sufficiente di passaggi di campionamento). Ciò è dimostrato sia su dataset testuali che di immagini. Inoltre, i generatori appena distillati possono superare le prestazioni dei loro modelli insegnanti.

English

It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful. Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.