dOPSD: オンポリシー自己蒸留による拡散言語モデル

要旨

拡散大規模言語モデル（dLLM）は、マスクされた系列を反復的にデノイジングすることでテキストを生成し、自己回帰モデルに対する並列的な代替手段を提供する。しかし、事後学習を通じて強力な推論を引き出すことは依然として困難である。教師ありファインチューニングはオフポリシーであり、露出バイアスに悩まされ、強化学習は疎な系列レベルの報酬しか与えず、扱いやすい系列尤度なしでは適用が難しい。オンポリシー自己蒸留（OPSD）は有望な代替手段であり、一つのモデルを学生と教師の両方として使用し、密でトークンレベルのオンポリシーな監督を提供する。しかし、その有効性は教師に特権情報（PI）を与えることに依存しており、PIは通常、推論時には利用できないインスタンス固有の正解参照であるため、学生は弱いPIなしのコンセンサスポリシーを蒸留することになり、dLLMの推論にほとんど改善をもたらさない。我々はdOPSDを導入する。dOPSDは、教師の特権を学生自身のデノイジング軌跡から直接導出し、外部ラベルではなく同じ軌跡のより後ろの、よりデコードが進んだステップを用いてマスクされた位置を評価する。これにより教師の優位性はモデル自身のデコードプロセスから生じる。DreamおよびLLaDAにおいて、dOPSDはドメイン内の数学推論とドメイン外のコード生成の両方を改善し、教師ありベースラインとオンポリシーベースラインを上回る。

English

Diffusion large language models (dLLMs) generate text by iteratively denoising a masked sequence, offering a parallel alternative to autoregressive models, but eliciting strong reasoning through post-training remains difficult: supervised fine-tuning is off-policy and suffers from exposure bias, while reinforcement learning gives only sparse, sequence-level rewards and is hard to apply without tractable sequence likelihoods. On-policy self-distillation (OPSD) offers a promising alternative, using one model as both student and teacher to provide dense, token-level, on-policy supervision, but its effectiveness hinges on giving the teacher privileged information (PI) - typically an instance-specific ground-truth reference unavailable at inference - so the student ends up distilling a weak PI-free consensus policy that yields little improvement on dLLM reasoning. We introduce dOPSD, which instead derives the teacher's privilege directly from the student's own denoising trajectory, evaluating masked positions using later, more-decoded steps of that same trajectory rather than an external label, so the teacher's advantage emerges from the model's own decoding process; on Dream and LLaDA, dOPSD improves both in-domain math reasoning and out-of-domain code generation, outperforming supervised and on-policy baselines.