모든 토큰이 동등한 크레딧을 받을 자격은 없다: Long-CoT 추론을 위한 반사실적 민감도 기반 크레딧 재배분

초록

검증 가능한 보상을 사용하는 강화 학습(RLVR)은 대규모 언어 모델의 장기 CoT 추론 능력을 개선하는 데 핵심적인 역할을 한다. GRPO와 같은 비평자 없는 방법은 응답 수준의 보상을 어드밴티지로 변환하여 이를 토큰 전체에 균일하게 전파하는데, 이는 각 토큰이 최종 결과에 기여하는 정도가 서로 다르다는 점을 간과한다. 반면, 온폴리시 자기 증류(OPSD)는 비특권 정책과 특권 자기 교사 간의 순방향 KL 발산을 최소화함으로써 밀집된 분포적 감독을 제공하며, 결과적으로 나타나는 우도 변화가 신뢰할 수 있는 정답 정렬 정보를 담고 있다고 암묵적으로 가정한다. 우리는 이 전제를 검증하기 위해 각 샘플링된 궤적을 고정한 채, 하나는 정답임을, 다른 하나는 오답임을 주장하는 두 가지 상반된 결과 조건에서 해당 궤적을 재평가한다. 영향을 받는 대부분의 토큰은 두 조건에서 동일한 방향으로 이동하며, 부호 반전은 거의 없고 유도된 최적화 신호는 상당 부분 겹친다. 또한 큰 변화는 대체 가능성이 높은 표면 형태 토큰에 집중되는 반면, 문제 고유의 추론 내용을 담은 토큰은 덜 민감하다. 이러한 발견은 특권에 의해 유도된 변화가 신뢰할 수 있는 정답 정렬 방향을 제공하지 못하며, 그 크기는 주로 토큰 수준의 학습 가치보다는 반사실적 민감도를 반영한다는 것을 보여준다. 이러한 관찰을 바탕으로 우리는 반사실적 민감도 신용 재할당(CSCR)을 제안한다. CSCR은 GRPO의 간단한 확장으로, 민감도가 높은 토큰에 대한 신용을 줄이고 토큰 수준의 어드밴티지를 재정규화하여 원래의 신용 예산과 검증자가 결정한 방향을 모두 보존한다. 장기 CoT 수학적 추론 벤치마크에서 CSCR은 동일한 수의 정책 업데이트로 GRPO 베이스라인보다 일관되게 우수한 성능을 보인다. 표적 절제 연구는 우리의 진단을 추가로 뒷받침한다: 특권에 의해 유도된 방향은 신뢰할 수 없으며, 적절한 수준의 가중치 감소가 가장 효과적이고, 더 강한 변조는 최적화를 불안정하게 만든다.

English

Reinforcement learning with verifiable rewards (RLVR) is central to improving long-CoT reasoning in large language models. Critic-free methods such as GRPO convert response-level rewards into advantages and uniformly broadcast them across tokens, overlooking their unequal contributions to the final outcome. On-policy self-distillation (OPSD) instead provides dense distributional supervision by minimizing the forward KL divergence between an unprivileged policy and a privileged self-teacher, implicitly assuming that the resulting likelihood shifts encode reliable answer-aligned information. We test this premise by fixing each sampled trajectory and re-scoring it under two opposing outcome conditions, one asserting correctness and the other incorrectness. Most affected tokens shift in the same direction under both conditions, with few sign reversals and substantial overlap in the induced optimization signals. Large shifts also concentrate on highly substitutable surface-form tokens, whereas tokens carrying problem-specific reasoning content are less sensitive. These findings show that privileged shifts fail to provide reliable answer-aligned directions, while their magnitudes primarily reflect counterfactual sensitivity rather than token-level learning value. Based on these observations, we propose Counterfactual Sensitivity Credit Reallocation (CSCR), a simple extension of GRPO that reduces credit for highly sensitive tokens and renormalizes token-level advantages to preserve both the original credit budget and verifier-determined direction. On long-CoT mathematical reasoning benchmarks, CSCR consistently outperforms GRPO baseline with the same number of policy updates. Targeted ablations further corroborate our diagnosis: privilege-induced directions are unreliable, moderate downweighting is most effective, and stronger modulation destabilizes optimization.