GRPO、Dr. GRPO、およびDAPOは一つの数に対する三つの操作である：グループ標準偏差恒等式

要旨

言語モデルに推論を学習させるための最も一般的な手法のうち三つは、一見すると異なる三つのトリックに見える。しかし、そうではない。これら三つはすべて、単一の数値、すなわち標準偏差を調整している。標準偏差は、プロンプトに対してサンプリングされた回答がどの程度一致していないかを反映する。このようなモデルを学習させる際、各問題に対して複数回の回答を生成し、自動チェッカーが各回答の正誤を判定する。それらの正誤ラベルの標準偏差が不一致の度合いを表し、正解と不正解が均等に分かれたときに最大となり、すべてが一致したときにゼロとなる。Group Relative Policy Optimization（GRPO）はこの数値で除算し、GRPO Done Right（Dr. GRPO）は除算を省略し、Decoupled Clip and Dynamic Sampling Policy Optimization（DAPO）はこの値がゼロとなるグループを破棄する。それぞれ独自の修正として提示されているが、本論文はこれらが一つのダイヤルの三つの設定であることを証明する。そのダイヤルは表面的なものではない。正誤報酬の場合、不一致は学習更新の大きさそのものであり、グループ標準偏差の恒等式が成り立つ。意見が分かれたグループが最も多くを教え、意見が一致したグループは何も教えず沈黙する。同じ結果から、どの問題に最も重みを置くべきか、各問題に何回の試行が必要かが示される。本論文は、大規模な実難易度データセット（Big-Math）と制御された学習実行の両方において、この直感を確認する。一見無害な正規化ステップに見えるものが、学習がどこで、どれだけ強く行われるかを決定するダイヤルなのである。

English

Three of the most popular methods for training language models to reason look like three different tricks. They are not. All three adjust a single number: standard deviation, reflecting how much a prompt's sampled answers disagree. When such a model is trained, it answers each problem many times, and an automatic checker marks every answer right or wrong. The standard deviation of those marks measures the disagreement: largest when the answers split evenly between right and wrong, and zero when they all agree. Group Relative Policy Optimization (GRPO) divides by this number, GRPO Done Right (Dr. GRPO) drops the division, and Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) discards the groups where it is zero. Each is presented as its own fix, yet this paper proves they are three settings of one dial. That dial is not cosmetic: for right-or-wrong rewards, the disagreement is exactly the size of the training update, the group-standard-deviation identity. A split group teaches the most, while a unanimous group teaches nothing and falls silent. The same result says which problems deserve the most weight and how many tries each one needs. This paper confirms the intuition on a large real difficulty dataset (Big-Math) and in a controlled training run. What looks like a harmless normalization step is the dial that decides where learning happens and how strongly.