H²SD: 하이브리드 회고적 자기 증류

초록

검증 가능한 보상을 이용한 강화 학습(RLVR)은 수학적 추론 및 코드 생성과 같은 작업에서 대규모 언어 모델의 추론 능력을 크게 향상시켰습니다. 그러나 대부분의 RLVR 방법은 전체 궤적에 스칼라 결과 보상을 할당하여 희소한 감독과 제한된 토큰 수준의 신용 할당을 초래합니다. 정책 기반 증류(OPD)는 더 강력한 교사 모델에서 토큰 수준 분포를 증류하여 더 조밀한 감독을 제공하지만, 추가 교사가 필요하고 일반적으로 공유 어휘를 가정합니다. 정책 기반 자기 증류(OPSD)는 동일한 모델을 특권 정보에 조건화하여 교사 정책을 구성함으로써 이러한 의존성을 제거합니다. 그러나 교사 분포를 직접 일치시키면 정보 누출과 불안정한 최적화를 유발할 수 있습니다. RLSD는 교사 신호를 업데이트 크기를 조정하는 데만 사용하여 직접 일치를 피하지만, 샘플링된 추론이 실패할 때 명시적인 수정 방향을 제공할 수 없습니다. 이러한 절충점을 해결하기 위해, 우리는 궤적 정확도에 따라 교사를 다르게 사용하는 하이브리드 회고적 자기 증류 프레임워크인 H²SD를 소개합니다. 성공적인 궤적의 경우, 교사는 올바른 것으로 확인된 학생 응답을 재표현 지시와 함께 수신하고, 원래 응답 토큰에 대한 확률은 보상에 의해 결정된 방향을 변경하지 않고 업데이트 크기를 조정하는 데 사용됩니다. 실패한 궤적의 경우, 우리는 교사를 핵심 추론 단계와 검증된 답변을 포함하는 참조 힌트에 조건화하고, 학생에서 교사로의 역 KL 발산을 최소화합니다. 여러 도전적인 추론 벤치마크에 대한 실험은 H²SD가 안정적인 최적화와 유리한 생성 효율을 유지하면서 대표적인 RLVR, OPSD 및 RLSD 기준선을 일관되게 능가함을 보여줍니다.

English

Reinforcement learning with verifiable rewards (RLVR) has substantially improved the reasoning capabilities of large language models on tasks such as mathematical reasoning and code generation. However, most RLVR methods assign a scalar outcome reward to an entire trajectory, resulting in sparse supervision and limited token-level credit assignment. On-policy distillation (OPD) provides denser supervision by distilling token-level distributions from a stronger teacher model, but requires an additional teacher and typically assumes a shared vocabulary. On-policy self-distillation (OPSD) removes this dependency by conditioning the same model on privileged information to construct a teacher policy. However, directly matching the teacher distribution may cause information leakage and unstable optimization. RLSD avoids direct matching by using the teacher signal only to modulate update magnitudes, but it cannot provide an explicit correction direction when the sampled reasoning fails. To address this tradeoff, we introduce H^{2}SD, a hybrid hindsight self distillation framework that uses the teacher differently according to trajectory correctness. For successful trajectories, the teacher receives the student response confirmed as correct together with a rephrasing instruction, and its probabilities on the original response tokens are used to modulate update magnitudes without changing the direction determined by the reward. For failed trajectories, we condition the teacher on a reference hint containing key reasoning steps and a verified answer, and minimize the reverse KL divergence from the student to the teacher. Experiments on multiple challenging reasoning benchmarks show that H^2SD consistently outperforms representative RLVR, OPSD, and RLSD baselines while maintaining stable optimization and favorable generation efficiency.