Voorbij Enkele Tokens: Destillatie van Discrete Diffusiemodellen via Discrete MMD

Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD

March 20, 2026

Auteurs: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

cs.AI

Samenvatting

Momenteel is het lastig om discrete diffusiemodellen te destilleren. In tegenstelling tot de literatuur over continue diffusie zijn er veel destillatiemethoden beschikbaar die het aantal benodigde samplingstappen kunnen terugbrengen tot een handvol. Onze methode, Discrete Moment Matching Distillation (D-MMD), maakt gebruik van ideeën die in het continue domein zeer succesvol zijn gebleken. Waar eerdere discrete destillatiemethoden falen, behoudt D-MMD een hoge kwaliteit en diversiteit (mits voldoende samplingstappen worden gebruikt). Dit wordt aangetoond op zowel tekst- als beelddatasets. Bovendien kunnen de nieuw gedistilleerde generatoren superieure prestaties leveren ten opzichte van hun leraren.

English

It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful. Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.