dOPSD: On-Policy-Selbstdestillation für Diffusions-Sprachmodelle

Zusammenfassung

Diffusion Large Language Models (dLLMs) erzeugen Text durch iteratives Entrauschen einer maskierten Sequenz und bieten eine parallele Alternative zu autoregressiven Modellen. Dennoch bleibt es schwierig, durch Post-Training starkes logisches Denken zu induzieren: Überwachte Feinabstimmung ist off-policy und leidet unter Exposure Bias, während bestärkendes Lernen nur sparse, sequenzebene Belohnungen liefert und ohne handhabbare Sequenzwahrscheinlichkeiten schwer anzuwenden ist. On-Policy Self-Distillation (OPSD) bietet eine vielversprechende Alternative, bei der ein Modell sowohl als Schüler als auch als Lehrer fungiert, um dichte, tokenebene, on-policy-Supervision bereitzustellen. Ihre Wirksamkeit hängt jedoch davon ab, dass dem Lehrer privilegierte Informationen (Privileged Information, PI) zur Verfügung stehen – typischerweise eine instanzspezifische Ground-Truth-Referenz, die zur Inferenz nicht verfügbar ist –, sodass der Schüler letztlich eine schwache PI-freie Konsenspolitik destilliert, die kaum Verbesserungen beim Reasoning von dLLMs bringt. Wir stellen dOPSD vor, das die Bevorzugung des Lehrers stattdessen direkt aus der eigenen Denoising-Trajektorie des Schülers ableitet, indem maskierte Positionen anhand späterer, weiter dekorierter Schritte derselben Trajektorie bewertet werden, anstatt anhand eines externen Labels. Dadurch entsteht der Vorteil des Lehrers aus dem eigenen Dekodierungsprozess des Modells. Auf Dream und LLaDA verbessert dOPSD sowohl das domäneninterne mathematische Reasoning als auch die domänenexterne Codegenerierung und übertrifft dabei überwachte und on-policy-Baselines.

English

Diffusion large language models (dLLMs) generate text by iteratively denoising a masked sequence, offering a parallel alternative to autoregressive models, but eliciting strong reasoning through post-training remains difficult: supervised fine-tuning is off-policy and suffers from exposure bias, while reinforcement learning gives only sparse, sequence-level rewards and is hard to apply without tractable sequence likelihoods. On-policy self-distillation (OPSD) offers a promising alternative, using one model as both student and teacher to provide dense, token-level, on-policy supervision, but its effectiveness hinges on giving the teacher privileged information (PI) - typically an instance-specific ground-truth reference unavailable at inference - so the student ends up distilling a weak PI-free consensus policy that yields little improvement on dLLM reasoning. We introduce dOPSD, which instead derives the teacher's privilege directly from the student's own denoising trajectory, evaluating masked positions using later, more-decoded steps of that same trajectory rather than an external label, so the teacher's advantage emerges from the model's own decoding process; on Dream and LLaDA, dOPSD improves both in-domain math reasoning and out-of-domain code generation, outperforming supervised and on-policy baselines.