Cliff: 첫 실수로부터 프로세스 보상 학습

초록

검증 가능한 보상을 활용한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)은 대규모 언어 모델(LLM) 사후 학습을 위한 강력한 패러다임으로 부상했지만, 거친 결과 보상에 의존하기 때문에 중간 추론 과정에 대한 안내가 제한적이다. 프로세스 보상 모델링과 온-폴리시 증류 같은 기존 접근법은 전용 보상 모델에 의존하거나 교사 모델과 학생 모델 간의 동일한 추론 패턴을 가정하는 등 추가적인 제약을 도입한다. 그럼에도 불구하고, 우리는 추론 과정에서 첫 번째 오류가 발생하면 이후의 추론은 이미 유효하지 않은 접두부(prefix)가 조건으로 주어져 있기 때문에, 이후의 추론을 평가하더라도 추가로 얻을 수 있는 정보는 제한적이라는 점을 관찰한다. 따라서 우리는 각 롤아웃에서 첫 번째 오류를 식별하기 위해 기성 LLM을 교사 모델로 활용하는 보상 셰이핑 전략인 Cliff를 제안한다. 그 결과, 롤아웃은 정확한 접두부와 부정확한 접미부(suffix)라는 두 부분으로 자연스럽게 분해되며, Cliff는 이 신호를 토큰 수준의 어드밴티지로 변환하여 정확한 접두부에는 양(+)의 어드밴티지를, 부정확한 접미부에는 음(−)의 피드백을 할당한다. 12가지 서로 다른 시나리오에 걸친 실험 결과, Cliff는 보통 수준의 교사 모델을 사용하더라도 온-폴리시 증류보다 15%, 표준 GRPO보다 7% 더 높은 추론 성능을 일관되게 달성함을 보여준다. 또한, 우리는 Cliff에서 “그라운드 트루스(ground truth)”의 역할을 분석하고 학습 역학을 조사한다. 이러한 결과는 Cliff가 더욱 풍부하고 세밀한 감독을 통해 RLVR을 개선하는 간단하면서도 범용적이고 효과적인 접근법임을 입증한다.

English

Reinforcement learning with verifiable rewards (RLVR) has emerged as a powerful paradigm for large language model (LLM) post-training, but its reliance on coarse outcome rewards leads to limited guidance on intermediate reasoning processes. Existing approaches such as process reward modeling and on-policy distillation introduce additional constraints, such as reliance on a specialized reward model or assuming identical reasoning patterns between teacher and student. Nevertheless, we observe that once a reasoning process first goes wrong, evaluating the subsequent reasoning provides limited additional information, as it is already conditioned on an invalid prefix. Therefore, we propose Cliff, a reward shaping strategy that utilizes an off-the-shelf LLM as a teacher to identify the first mistake in each rollout. As a result, the rollout is naturally decomposed into two parts: a correct prefix and an incorrect suffix. Cliff then converts this signal into token-level advantages, assigning positive advantages for the correct prefix and negative feedback afterward. Experiments across 12 different scenarios demonstrate that Cliff consistently improves reasoning performance, outperforming on-policy distillation by 15% and standard GRPO by 7%, even with teachers of modest capability. Furthermore, we analyse the role of ``ground truth'' in Cliff and investigate its training dynamics. These results establish Cliff as a simple, general and effective approach for improving RLVR with richer, fine-grained supervision.