О геометрии on-policy дистилляции

Аннотация

Дистилляция по политике (OPD) всё чаще используется для улучшения рассуждений больших языковых моделей, однако её динамика обучения остаётся плохо изученной. Мы характеризуем траекторию обновлений OPD в пространстве параметров и сравниваем её с контролируемой тонкой настройкой (SFT) и обучением с подкреплением с верифицируемыми наградами (RLVR). Набор диагностик в пространстве параметров последовательно помещает OPD в расслабленный режим отклонения от главных направлений: по сравнению с SFT, её обновления затрагивают меньше весов и сильнее избегают главных направлений, в то время как по сравнению с RLVR они остаются менее жестко ограниченными. Помимо этой статической локализации, OPD демонстрирует блокировку подпространства: её кумулятивные обновления быстро входят в узкий низкоразмерный канал. Ограничение обучения подпространством обновлений, сформированным на ранних этапах обучения, сохраняет производительность OPD, но существенно ухудшает SFT, что указывает на то, что заблокированное подпространство функционально достаточно для OPD. Контрольные эксперименты дополнительно показывают, что разреживание токенов обновления и перенос генерации траекторий вне политики сохраняют динамику ранга, тогда как смешивание целевой функции OPD с RLVR изменяет её. В целом, эти результаты указывают на то, что OPD является не просто промежуточной точкой между SFT и RLVR, а индуцирует собственную геометрию обновлений в пространстве параметров.

English

On-policy distillation (OPD) is increasingly used to improve large language model reasoning, but its training dynamics remain poorly understood. We characterize the trajectory of OPD updates in parameter space and compare it with supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). A suite of parameter-space diagnostics consistently places OPD in a relaxed off-principal regime: compared with SFT, its updates affect fewer weights and avoid principal directions more strongly, while compared with RLVR, they remain less tightly constrained. Beyond this static localization, OPD exhibits subspace locking: its cumulative updates rapidly enter a narrow low-dimensional channel. Constraining training to the update subspace formed early in training preserves OPD performance but substantially degrades SFT, indicating that the locked subspace is functionally sufficient for OPD. Control experiments further show that sparsifying the update tokens and shifting rollout generation off-policy preserve the rank dynamics, whereas mixing the OPD objective with RLVR changes them. Overall, these results suggest that OPD is not merely an intermediate point between SFT and RLVR, but induces its own update geometry in parameter space.