실패하는 곳에서 증류하라: 적응형 교사 안내로부터 부정적 RL 그룹의 학습 신호 복구

초록

검증 가능한 보상 기반 강화학습(RLVR)은 대규모 언어 모델(LLM)의 후속 학습을 위한 표준 패러다임이 되었다. 그룹 상대 정책 최적화(GRPO)가 널리 채택되고 있지만, 이는 희소한 보상 신호로 인해 어려움을 겪으며, 그룹 내 모든 응답이 동일한 보상을 받을 경우 기울기가 완전히 소실된다. 온정책 증류(OPD)는 교사 모델로부터 밀집된 토큰 수준의 지도를 제공함으로써 자연스러운 해결책을 제시한다. 그러나 GRPO와 OPD를 단순히 결합하면 세 가지 근본 원인으로 인해 성능이 저하된다: 모든 샘플이 증류의 이점을 얻는 것은 아니며, 교사 모델에 너무 빠르게 적합하는 것은 RL의 탐색 능력을 저해하고, OPD의 이점은 비대칭적이어서 대부분의 토큰을 억제한다. 이러한 문제를 해결하기 위해 우리는 적응형 교사 안내를 통한 학습 신호 복구(RSTG)를 제안한다. 이 방법은 증류가 가장 중요한 곳에 선택적이고 정밀하게 적용한다. 샘플 수준에서 OPD는 음의 분산이 발생하는 프롬프트로 제한되며, 각 샘플은 교사 모델의 신뢰도 점수로 가중치가 부여된다. 토큰 수준에서는 학생 엔트로피가 높거나 교사-학생 발산이 큰 토큰에 대해서만 증류를 수행한다. 또한 교사 모델이 생성한 정답 궤적에 대한 SFT를 훈련에 추가하여 RL이 양의 기울기를 생성하지 못하는 곳에 양의 기울기 신호를 주입한다. 실험 결과, RSTG는 수학 분야에서 +4.02%, 코드 분야에서 +3.05%의 성능 향상으로 단순 GRPO+OPD 방식을 크게 능가함을 보여준다.

English

Reinforcement learning with verifiable rewards (RLVR) has become a standard paradigm for post-training large language models (LLMs). While Group Relative Policy Optimization (GRPO) is widely adopted, it suffers from sparse reward signals and loses gradients entirely when all responses within a group receive identical rewards. On-policy distillation (OPD) offers a natural remedy by providing dense, token-level supervision from a teacher model. However, naively combining GRPO with OPD leads to degraded performance, due to three underlying causes: not all samples benefit from distillation; fitting too quickly to the teacher undermines the exploratory capacity of RL; and OPD's advantages are asymmetric, suppressing most tokens. To address these challenges, we propose RSTG (Recovering Learning Signals via Adaptive Teacher Guidance), which applies distillation selectively and precisely where it matters most. At the sample level, OPD is restricted to negative zero-variance prompts with each sample weighted by the teacher's confidence score. At the token level, distillation targets only tokens with high student entropy or large teacher-student divergence. We further augment training with SFT on correct trajectories generated by the teacher model, injecting positive gradient signals where RL yields none. Experiments demonstrate that RSTG substantially outperforms naive GRPO+OPD by +4.02% on math and +3.05% on code.