DAPD: デュアルアンカー型ポリシー蒸留

要旨

オン方策（自己）蒸留（OPSD）は、言語モデルの事後学習においてますます広く採用されている。OPSDは特権情報によって教師モデルを強化するが、その一方で「特権錯覚」を引き起こす可能性がある。すなわち、生徒モデルは推論時の文脈からは再現できない特権依存的な振る舞いを学習し、あたかも訓練時の特権情報が依然として利用可能であるかのように振る舞うため、最終的には性能を低下させてしまう。本稿では、OPSDにおけるこの失敗の根本原因が、推論時における特権的教師と生徒モデルとの間の情報非対称性であることを明らかにする。この非対称性を解消するために、我々は二重アンカー方策蒸留（DAPD）を提案する。これは、二段階のアンカリングを備えた統一フレームワークである。二重経路アンカリング（DPA）は、自己条件付きブリッジを導入し、参照とロールアウトの挙動を情報が整合した二つの経路に沿って整合させることで、特権依存的な振る舞いが推論時の生徒モデルへ転移することを防ぐ。二重ソースアンカリング（DSA）は、これらの経路を参照からロールアウトへの方向と、ロールアウトから参照への方向の両方に適用し、特権的な参照ガイダンスへの依存を低減しつつ、正しさの教師信号を維持する。大規模な実験により、DAPDが特権錯覚を有意に軽減し、Qwen3-4Bにおいてタスク平均でOPSDを+2.00ポイント上回ることが示された。特に、その効果はモデル規模を問わず持続し、4Bでは+2.69、32Bでは+2.78に達する。

English

On-policy (self) distillation (OPSD) is increasingly adopted for language-model post-training. It strengthens the teacher with privileged information but can induce a privilege illusion: the student learns privilege-dependent behavior it cannot reproduce from its inference-time context, yet behaves as if the training-time privileged information remained available, ultimately degrading performance. In this paper, we identify information asymmetry between the privileged teacher and the student at inference as the root cause of this failure in OPSD. To resolve this asymmetry, we propose Dual-Anchored Policy Distillation (DAPD), a unified framework with two levels of anchoring. Dual-Path Anchoring (DPA) introduces a self-conditioned bridge and aligns reference and rollout behavior along two matched-information paths, preventing privilege-dependent behavior from being transferred to the inference-time student. Dual-Source Anchoring (DSA) applies these paths in both reference-to-rollout and rollout-to-reference directions, reducing reliance on privileged reference guidance while preserving correctness supervision. Extensive experiments show that DAPD significantly alleviates privilege illusion, outperforming OPSD on Qwen3-4B by +2.00 points on average across tasks. Notably, its gains persist across scales, reaching +2.69 at 4B and +2.78 at 32B.