拡散双対性、第二章：Ψサンプラーと効率的カリキュラム

The Diffusion Duality, Chapter II: Ψ-Samplers and Efficient Curriculum

February 24, 2026

著者: Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

cs.AI

要旨

一様状態離散拡散モデルは、自己補正能力により少ステップ生成とガイダンスに優れ、これらの設定において自己回帰モデルやマスク拡散モデルよりも好まれる。しかし、祖先サンプラーを用いた場合、サンプリングステップ数を増やしても生成品質が頭打ちになるという課題がある。本研究では、従来手法を一般化し任意のノイズ過程に適用可能な、離散拡散向けPredictor-Corrector（PC）サンプラー群を提案する。一様状態拡散と組み合わせることで、当サンプラーは言語モデリング（OpenWebTextにおける単一語エントロピー同等条件下での低い生成パープレキシティ）および画像モデリング（CIFAR10における優れたFID/ISスコア）の両方で祖先サンプリングを上回る性能を達成した。特に、従来のサンプラーとは異なり、提案するPC手法はサンプリングステップ数を増やすことで継続的に改善する。これらの知見は、マスク拡散が拡散ベース言語モデリングの必然的な将来であるという前提に疑問を投げかけるものである。さらにサンプリング手法に加え、ガウス緩和訓練段階におけるメモリ効率の良いカリキュラムを開発し、Duoと比較して訓練時間を25%、メモリ使用量を33%削減するとともに、OpenWebText及びLM1Bで同等のパープレキシティ、下流タスクで強固な性能を維持することに成功した。コード、チェックポイント、ビデオチュートリアルはhttps://s-sahoo.com/duo-ch2で公開している。

English

Uniform-state discrete diffusion models excel at few-step generation and guidance due to their ability to self-correct, making them preferred over autoregressive or Masked diffusion models in these settings. However, their sampling quality plateaus with ancestral samplers as the number of steps increases. We introduce a family of Predictor-Corrector (PC) samplers for discrete diffusion that generalize prior methods and apply to arbitrary noise processes. When paired with uniform-state diffusion, our samplers outperform ancestral sampling on both language and image modeling, achieving lower generative perplexity at matched unigram entropy on OpenWebText and better FID/IS scores on CIFAR10. Crucially, unlike conventional samplers, our PC methods continue to improve with more sampling steps. Taken together, these findings call into question the assumption that Masked diffusion is the inevitable future of diffusion-based language modeling. Beyond sampling, we develop a memory-efficient curriculum for the Gaussian relaxation training phase, reducing training time by 25% and memory by 33% compared to Duo while maintaining comparable perplexity on OpenWebText and LM1B and strong downstream performance. We release code, checkpoints, and a video-tutorial on: https://s-sahoo.com/duo-ch2