CoRT: 토큰 수준 루브릭 기반 정책 최적화를 위한 반사실적 재생

초록

루브릭 기반 강화 학습은 명시적 기준에 따라 모델 출력을 평가함으로써 언어 모델 훈련을 풍부하게 한다. 그러나 GRPO 방식의 파이프라인에서는 이러한 구조화된 판단이 스칼라 응답 수준 보상으로 축소되어 응답 수준 이점으로 변환되고, 이는 생성된 모든 토큰에 균일하게 전파된다. 이는 서로 다른 기준이 서로 다른 구간, 형식 결정 또는 의미적 선택에 기반을 두고 있더라도 응답 내에서 신호를 할당하기 위한 명시적 메커니즘을 제공하지 않는다. 본 연구는 루브릭 조건부 GRPO를 위한 토큰 수준 신용 가중치 방법인 CoRT를 제안한다. CoRT는 보조 토큰 점수 모델을 훈련하는 대신, 반사실적 재생(counterfactual replay)을 사용하여 동일하게 샘플링된 응답을 원래의 루브릭 조건부 프롬프트와 일치하는 기준 없는 프롬프트 아래에서 다시 점수화한다. 이로 인해 발생하는 토큰별 로그우도 대비는 루브릭 맥락에 대한 의존도를 대리 측정한다. CoRT는 이러한 대비를 경계가 있고 응답 정규화된 가중치로 매핑하고, 이 가중치를 사용하여 부호가 있는 GRPO 이점을 토큰 전체에 재분배하며, 보조 채점기 도입이나 응답 수준 보상 변경 없이 수행한다. 명령어 튜닝 모델과 보상 세분성을 대상으로 한 실험에서 CoRT는 매칭된 응답 수준 GRPO와의 대부분의 비교에서 성능이 향상되었으며, 평균 4.4% 포인트의 개선을 보였다. 이 방법은 별도의 관련성 학습 단계를 피하면서도 학습된 토큰 수준 신용 기준선과 경쟁력을 유지한다. 이러한 결과는 정책 내부의 반사실적 우도 대비가 GRPO의 단순성과 안정성을 유지하면서 응답 내 신호 할당을 위한 효과적인 훈련 신호를 제공함을 시사한다.

English

Rubric-based reinforcement learning enriches language model training by evaluating model outputs against explicit criteria. Yet in GRPO-style pipelines, these structured judgments are reduced to a scalar response-level reward and converted into a response-level advantage, which is broadcast uniformly to all generated tokens. This leaves no explicit mechanism for allocating credit within a response, even when different criteria are grounded in different spans, formatting decisions, or semantic choices. We propose CoRT, a token-level credit weighting method for rubric-conditioned GRPO. Instead of training an auxiliary token scoring model, CoRT uses counterfactual replay to rescore the same sampled response under the original rubric-conditioned prompt and a matched criteria-free prompt. The resulting tokenwise log-likelihood contrasts serve as a proxy for dependence on the rubric context. CoRT maps these contrasts to bounded, response-normalized weights and uses them to redistribute the signed GRPO advantage across tokens, without introducing an auxiliary scorer or changing the response-level reward. Experiments across instruction-tuned models and reward granularities show that CoRT improves over matched response-level GRPO in the vast majority of comparisons, with an average gain of 4.4 percentage points. The method remains competitive with learned token-level credit baselines while avoiding a separate relevance-learning stage. These results suggest that policy-internal counterfactual likelihood contrasts provide an effective training signal for within-response credit allocation while retaining the simplicity and stability of GRPO.