CEPO: 대조적 증거 정책 최적화를 이용한 RLVR 자기 증류

초록

검증 가능한 보상을 사용한 강화 학습(RLVR)에서 모델이 올바른 해를 생성할 때, 각 토큰은 그것이 결정적인 추론 단계인지 문법적 채움 요소인지에 관계없이 동일한 보상 신호를 받는다. 자연스러운 해결책은 올바른 답을 교사로 삼아 모델을 조건화하여, 모델이 답을 알았더라면 다르게 생성했을 토큰들을 식별하는 것이다. 선행 연구에 따르면, 이는 답을 기울기에 유출시켜 훈련을 손상시키거나, 결정적 단계와 채움 요소를 구별하지 못하는 약한 신호를 생성하는데, 그 이유는 둘 다 모델의 기준선 대비 동등하게 놀라움을 주기 때문이다. 우리는 대비 증거 정책 최적화(CEPO)를 제안하는데, 이는 매 토큰마다 더 날카로운 질문을 던진다: 단순히 '올바른 답이 이 토큰을 선호하는가?'가 아니라, '올바른 답이 선호하는 동시에 잘못된 답이 비선호하는가?'이다. 두 조건을 모두 만족하는 토큰은 진정한 추론 단계이고, 어느 것도 만족하지 않는 토큰은 채움 요소이다. 잘못된 답을 제공하는 교사는 이미 훈련 배치에 있는 거절된 롤아웃들로부터 구성되며, 추가적인 샘플링 비용이 발생하지 않는다. 우리는 CEPO가 최신 기술의 모든 구조적 안전성 보장을 상속하면서 결정적 토큰에 대한 신용을 엄격하게 날카롭게 하며, 개선이 채움 위치에서 정확히 사라짐을 증명한다. 실험적으로, CEPO는 2B 및 4B 규모에서 각각 다섯 가지 다중 모드 수학적 추론 벤치마크에서 평균 정확도 43.43%와 60.56%를 달성하며, 동일한 훈련 예산 하에서 GRPO의 41.17%와 57.43%와 대비된다. 분포 일치 자기 증류 방법(OPSD, SDPO)은 훈련되지 않은 기준선 아래로 떨어지며, 이는 우리 이론이 예측한 정보 유출을 실험적으로 확인한다. 우리의 코드는 https://github.com/ahmedheakl/CEPO에서 확인할 수 있다.

English

When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.