Jenseits einzelner Token: Destillation diskreter Diffusionsmodelle mittels diskretem MMD

Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD

March 20, 2026

Autoren: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

cs.AI

Zusammenfassung

Derzeit ist es schwierig, diskrete Diffusionsmodelle zu destillieren. Im Gegensatz dazu bietet die Literatur zu kontinuierlicher Diffusion viele Destillationsansätze, die die Anzahl der Abtastschritte auf eine Handvoll reduzieren können. Unsere Methode, Discrete Moment Matching Distillation (D-MMD), nutzt Ideen, die sich im kontinuierlichen Bereich als sehr erfolgreich erwiesen haben. Während frühere diskrete Destillationsmethoden versagen, bewahrt D-MMD hohe Qualität und Vielfalt (bei ausreichender Abtastschrittzahl). Dies wird sowohl an Text- als auch Bilddatensätzen demonstriert. Darüber hinaus können die neu destillierten Generatoren ihre Lehrer-Modelle übertreffen.

English

It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful. Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.