β-OPSD: 정책 최적화로 유도하고 자기 증류로 훈련하기 **초록** 본 논문에서는 정책 최적화(policy optimization)와 자기 증류(self-distillation)를 결합한 새로운 강화 학습 알고리즘인 β-OPSD를 제안한다. 기존의 정책 최적화 방법들은 샘플 효율성과 수렴 안정성 사이에서 절충이 필요한 반면, β-OPSD는 정책 최적화 과정을 통해 탐색 방향을 유도하고, 자기 증류 기법을 통해 학습 과정에서 획득한 지식을 효과적으로 보존함으로써 두 가지 측면을 동시에 개선한다. 구체적으로, 제안하는 프레임워크는 온라인 정책 최적화 모듈과 오프라인 자기 증류 모듈로 구성되며, 두 모듈 간의 상호 작용을 통해 정책이 점진적으로 개선되도록 설계되었다. 다양한 벤치마크 과업에 대한 실험 결과, β-OPSD는 기존의 최신 방법들에 비해 우수한 성능과 샘플 효율성을 보였으며, 특히 희소 보상(sparse reward) 환경에서 두드러진 개선 효과를 확인하였다.

초록

온-정책 자기 증류(OPSD)는 추론 언어 모델을 개선하기 위한 유망한 접근 방식이지만, 실제로는 취약하다. 즉, 이를 안정적으로 작동시키려면 상당한 공학적 노력이 필요한 경우가 많다. 우리는 이러한 어려움의 구조적 원인을 규명한다. 바닐라 OPSD는 보다 광범위한 정책 최적화 계열에서 정확히 β=1인 구성원이며, 여기서 β는 학생을 참조 정책에 고정시키는 KL 페널티의 가중치를 조절한다. 이러한 등가성은 β를 1로 고정된 암묵적 값에서 제어 가능한 정규화 매개변수로 전환하며, 결과적으로 참조 정책에 대한 근접성과 특권 교사의 안내 사이에서 절충하는 더 일반적인 공식을 도출한다. 우리는 β-OPSD를 제안하고, 그 최적 정책이 참조 정책과 특권 교사 사이의 기하학적 보간으로 표현됨을 유도한다. 그러나 이 목적 함수를 강화 학습으로 직접 최적화하는 것은 비용이 많이 들고 분산이 높을 것이다. 우리는 RL 목적 함수를 직접 최적화하는 대신, 그 닫힌 해를 증류 대상으로 변환한다. 각 β 값은 참조-교사 경로를 따라 표적을 선택하며, 우리는 이를 토큰 수준 로짓을 혼합하여 효율적으로 구현한다. 이러한 방식으로 저비용 증류가 고비용 정책 최적화의 해를 근사한다. Return-to-go 신용 할당은 토큰 업데이트를 시퀀스 수준 목적과 더 잘 정렬하면서도 OPSD의 단순성을 유지한다. 수학적 추론 벤치마크 실험에서 β-OPSD는 바닐라 OPSD를 일관되게 능가하며, 최적화 안정성과 하위 추론 성능을 향상시킨다. 우리의 결과는 OPSD를 실용적으로 만드는 효율성을 희생하지 않으면서 자기 증류에서 정책 최적화로, 그리고 다시 되돌아오는 원리 기반의 경로를 제공한다.

English

On-policy self-distillation (OPSD) is a promising approach to improve reasoning language models, but it remains brittle in practice: making it work reliably often requires substantial engineering effort. We identify a structural source of this difficulty: vanilla OPSD is precisely the β=1 member of a broader policy-optimization family, where β weights the KL penalty anchoring the student to a reference policy. This equivalence turns β from an implicit value fixed at one into a controllable regularization parameter, yielding a more general formulation that trades off proximity to a reference policy against privileged teacher guidance. We introduce β-OPSD and derive its optimal policy as a geometric interpolation between the reference policy and the privileged teacher. Directly optimizing this objective with reinforcement learning, however, would be costly and high-variance. Rather than optimize the RL objective directly, we turn its closed-form solution into a distillation target. Each value of β selects a target along the reference-to-teacher path, which we implement efficiently by mixing their token-level logits. In this way, inexpensive distillation approximates the solution of expensive policy optimization. Return-to-go credit assignment further aligns token updates with the sequence-level objective while retaining the simplicity of OPSD. Experiments on mathematical reasoning benchmarks show that β-OPSD consistently outperforms vanilla OPSD, improving optimization stability and downstream reasoning performance. Our results provide a principled route from self-distillation to policy optimization and back without sacrificing the efficiency that makes OPSD practical.