オン方策蒸留の幾何学について

要旨

オン方策蒸留（OPD）は大規模言語モデルの推論能力向上にますます用いられているが、その学習ダイナミクスは未だ十分に理解されていない。本稿では、パラメータ空間におけるOPD更新の軌跡を特徴づけ、教師ありファインチューニング（SFT）および検証可能報酬を用いた強化学習（RLVR）と比較する。一連のパラメータ空間診断により、OPDは一貫して緩やかな非主成分レジームに位置づけられる。すなわち、SFTと比較するとOPDの更新はより少ない重みに影響し、主方向をより強く回避する一方、RLVRと比較するとその制約はより緩い。この静的な局在性に加え、OPDは部分空間ロッキングを示す。すなわち、累積更新が急速に狭い低次元チャネルへと収束する。学習初期に形成された更新部分空間に学習を制限すると、OPDの性能は維持されるがSFTは大幅に低下する。これは、ロックされた部分空間がOPDにとって機能的に十分であることを示している。さらに制御実験により、更新トークンのスパース化やロールアウト生成のオフ・ポリシー化はランクダイナミクスを維持する一方、OPD目的とRLVRの混合はこれを変化させることが示された。以上より、OPDは単にSFTとRLVRの中間点ではなく、パラメータ空間において独自の更新幾何を誘導することが示唆される。

English

On-policy distillation (OPD) is increasingly used to improve large language model reasoning, but its training dynamics remain poorly understood. We characterize the trajectory of OPD updates in parameter space and compare it with supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). A suite of parameter-space diagnostics consistently places OPD in a relaxed off-principal regime: compared with SFT, its updates affect fewer weights and avoid principal directions more strongly, while compared with RLVR, they remain less tightly constrained. Beyond this static localization, OPD exhibits subspace locking: its cumulative updates rapidly enter a narrow low-dimensional channel. Constraining training to the update subspace formed early in training preserves OPD performance but substantially degrades SFT, indicating that the locked subspace is functionally sufficient for OPD. Control experiments further show that sparsifying the update tokens and shifting rollout generation off-policy preserve the rank dynamics, whereas mixing the OPD objective with RLVR changes them. Overall, these results suggest that OPD is not merely an intermediate point between SFT and RLVR, but induces its own update geometry in parameter space.