単一トークンを超えて：離散MMDによる離散拡散モデルの蒸留

Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD

March 20, 2026

著者: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

cs.AI

要旨

現在、離散拡散モデルの蒸留は困難な課題となっています。一方、連続拡散モデルの研究分野では、サンプリングステップをわずか数回に削減できる多数の蒸留手法が存在します。 我々の提案手法である離散モーメントマッチング蒸留（D-MMD）は、連続領域で高い成功を収めてきたアイデアを応用しています。従来の離散蒸留手法が破綻するのに対し、D-MMDは（十分なサンプリングステップが与えられれば）高品質性と多様性を維持します。これはテキストおよび画像データセットの両方で実証されています。さらに、新たに蒸留された生成器は教師モデルを凌駕する性能を発揮し得ることが示されました。

English

It is currently difficult to distill discrete diffusion models. In contrast, continuous diffusion literature has many distillation approaches methods that can reduce sampling steps to a handful. Our method, Discrete Moment Matching Distillation (D-MMD), leverages ideas that have been highly successful in the continuous domain. Whereas previous discrete distillation methods collapse, D-MMD maintains high quality and diversity (given sufficient sampling steps). This is demonstrated on both text and image datasets. Moreover, the newly distilled generators can outperform their teachers.