GRPO, Dr. GRPO, DAPO는 하나의 수에 대한 세 가지 연산이다: 집단-표준-편차 항등식

초록

언어 모델이 추론하도록 훈련하는 가장 널리 사용되는 세 가지 방법은 서로 다른 기술처럼 보인다. 하지만 그렇지 않다. 이 세 가지는 모두 단일 숫자, 즉 프롬프트의 샘플링된 답변들이 얼마나 불일치하는지를 반영하는 표준편차를 조정한다. 이러한 모델이 훈련될 때, 각 문제를 여러 번 답하고, 자동 검사기가 모든 답변을 정답 또는 오답으로 표시한다. 이 표시들의 표준편차는 불일치 정도를 측정하며, 답변들이 정답과 오답으로 균등하게 나뉠 때 가장 크고, 모두 일치할 때 0이 된다. 그룹 상대 정책 최적화(GRPO)는 이 숫자로 나누고, 제대로 된 GRPO(Dr. GRPO)는 나눗셈을 생략하며, 분리된 클리핑 및 동적 샘플링 정책 최적화(DAPO)는 그 값이 0인 그룹을 폐기한다. 각 방법은 저마다의 해결책으로 제시되지만, 이 논문은 이들이 하나의 다이얼에 대한 세 가지 설정임을 증명한다. 그 다이얼은 단순한 장식이 아니다. 정답-오답 보상의 경우, 불일치는 정확히 훈련 업데이트의 크기, 즉 그룹 표준편차 항등식이다. 분할된 그룹이 가장 많은 것을 가르치는 반면, 만장일치 그룹은 아무것도 가르치지 않고 침묵한다. 동일한 결과는 어떤 문제가 가장 큰 가중치를 받아야 하는지와 각 문제에 필요한 시도 횟수를 말해준다. 이 논문은 대규모 실제 난이도 데이터셋(Big-Math)과 통제된 훈련 실행에서 이 직관을 확인한다. 무해해 보이는 정규화 단계가 학습이 어디서 얼마나 강하게 일어날지를 결정하는 다이얼인 것이다.

English

Three of the most popular methods for training language models to reason look like three different tricks. They are not. All three adjust a single number: standard deviation, reflecting how much a prompt's sampled answers disagree. When such a model is trained, it answers each problem many times, and an automatic checker marks every answer right or wrong. The standard deviation of those marks measures the disagreement: largest when the answers split evenly between right and wrong, and zero when they all agree. Group Relative Policy Optimization (GRPO) divides by this number, GRPO Done Right (Dr. GRPO) drops the division, and Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) discards the groups where it is zero. Each is presented as its own fix, yet this paper proves they are three settings of one dial. That dial is not cosmetic: for right-or-wrong rewards, the disagreement is exactly the size of the training update, the group-standard-deviation identity. A split group teaches the most, while a unanimous group teaches nothing and falls silent. The same result says which problems deserve the most weight and how many tries each one needs. This paper confirms the intuition on a large real difficulty dataset (Big-Math) and in a controlled training run. What looks like a harmless normalization step is the dial that decides where learning happens and how strongly.