모범 사례 크리틱 최적화

초록

그룹 기반 강화 학습 방법(예: GRPO)은 각 프롬프트에 대해 여러 응답을 샘플링함으로써 대규모 언어 모델의 비평자(critic) 훈련을 피한다. 신뢰할 수 있는 비평자는 대신 단일 응답에서 토큰 수준의 이점(advantage)을 추정할 수 있지만, 표준 비평자 기반 훈련 방법은 종종 불안정하다. 우리는 이러한 불안정성을 연구하고, DPPO, 보상 범위로 한정된 가치 예측, 몬테카를로 가치 목표, 비정규화 정책 이점, 길이 적응형 일반화 이점 추정을 결합한 **모범 사례 비평자 최적화(BPCO)**를 개발한다. 비평자는 훈련 중에만 사용되므로, BPCO는 정책에는 숨겨진 참조 답변이나 채점 루브릭과 같은 보상 정의 정보를 비평자에 조건부로 제공할 수 있다. 통제된 실험을 통해 각 설계 선택의 효과를 분리하여 검증한다. 1.5B 파라미터부터 30B-A3B 전문가 혼합 모델에 이르는 다양한 수학적 추론 과제에서 BPCO는 강력한 비평자 기반 기준선을 일관되게 개선하며, 프롬프트당 하나의 응답을 샘플링하면서도 그룹 기반 기준선과 동등하거나 더 나은 성능을 보인다. 동일한 방법은 루브릭 기반 보상 학습에서도 성능을 향상시킨다. 이러한 결과는 신중하게 설계된 비평자가 그룹 상대 이점 추정의 신뢰할 수 있는 대안을 제공함을 보여준다. 코드는 https://github.com/QPHutu/golden_critic에서 확인할 수 있다.

English

Group-based reinforcement learning methods such as GRPO for large language models avoid training a critic by sampling multiple responses for each prompt. A reliable critic could instead estimate token-level advantages from one response, but standard critic-based training recipes are often unstable. We study this instability and develop **Best Practice Critic Optimization (BPCO)**, a recipe that combines DPPO, value predictions bounded to the reward range, Monte Carlo value targets, unnormalized policy advantages, and length-adaptive generalized advantage estimation. Because the critic is used only during training, BPCO can also condition it on reward-defining information, such as a reference answer or grading rubric, that is hidden from the policy. Controlled experiments isolate the effect of each design choice. Across mathematical reasoning tasks with models ranging from 1.5B parameters to 30B-A3B mixtures of experts, BPCO improves a strong critic-based baseline consistently, and matches or exceeds a group-based baseline while sampling one response per prompt. The same recipe also improves learning with rubric-based rewards. These results show that a carefully designed critic provides a reliable alternative to group-relative advantage estimation. Code is available at https://github.com/QPHutu/golden_critic.