Sobre a Geometria da Destilação On-Policy

Resumo

Destilação on-policy (OPD) é cada vez mais utilizada para melhorar o raciocínio de grandes modelos de linguagem, mas sua dinâmica de treinamento permanece pouco compreendida. Caracterizamos a trajetória das atualizações da OPD no espaço de parâmetros e a comparamos com o ajuste fino supervisionado (SFT) e o aprendizado por reforço com recompensas verificáveis (RLVR). Um conjunto de diagnósticos no espaço de parâmetros posiciona consistentemente a OPD em um regime relaxado fora do principal: em comparação com o SFT, suas atualizações afetam menos pesos e evitam direções principais com mais intensidade, enquanto, comparada ao RLVR, permanecem menos estritamente restritas. Além dessa localização estática, a OPD exibe travamento de subespaço: suas atualizações cumulativas entram rapidamente em um canal estreito de baixa dimensão. Restringir o treinamento ao subespaço de atualização formado no início do treinamento preserva o desempenho da OPD, mas degrada substancialmente o SFT, indicando que o subespaço travado é funcionalmente suficiente para a OPD. Experimentos de controle mostram ainda que esparsificar os tokens de atualização e deslocar a geração de rollout para off-policy preservam a dinâmica de posto, ao passo que misturar o objetivo da OPD com RLVR a altera. No geral, esses resultados sugerem que a OPD não é meramente um ponto intermediário entre SFT e RLVR, mas induz sua própria geometria de atualização no espaço de parâmetros.

English

On-policy distillation (OPD) is increasingly used to improve large language model reasoning, but its training dynamics remain poorly understood. We characterize the trajectory of OPD updates in parameter space and compare it with supervised fine-tuning (SFT) and reinforcement learning with verifiable rewards (RLVR). A suite of parameter-space diagnostics consistently places OPD in a relaxed off-principal regime: compared with SFT, its updates affect fewer weights and avoid principal directions more strongly, while compared with RLVR, they remain less tightly constrained. Beyond this static localization, OPD exhibits subspace locking: its cumulative updates rapidly enter a narrow low-dimensional channel. Constraining training to the update subspace formed early in training preserves OPD performance but substantially degrades SFT, indicating that the locked subspace is functionally sufficient for OPD. Control experiments further show that sparsifying the update tokens and shifting rollout generation off-policy preserve the rank dynamics, whereas mixing the OPD objective with RLVR changes them. Overall, these results suggest that OPD is not merely an intermediate point between SFT and RLVR, but induces its own update geometry in parameter space.