GRPO, Dr. GRPO und DAPO sind drei Operationen an einer Zahl: Die Gruppen-Standardabweichungs-Identität

Zusammenfassung

Drei der gängigsten Methoden zum Training von Sprachmodellen für logisches Schließen wirken wie drei verschiedene Tricks. Das sind sie nicht. Alle drei passen eine einzelne Zahl an: die Standardabweichung, die widerspiegelt, wie stark die abgetasteten Antworten einer Eingabe voneinander abweichen. Wenn ein solches Modell trainiert wird, beantwortet es jedes Problem mehrfach, und ein automatischer Prüfer bewertet jede Antwort als richtig oder falsch. Die Standardabweichung dieser Bewertungen misst die Uneinigkeit: Am größten ist sie, wenn die Antworten gleichmäßig zwischen richtig und falsch aufgeteilt sind, und null, wenn sie alle übereinstimmen. Die Group Relative Policy Optimization (GRPO) dividiert durch diese Zahl, GRPO Done Right (Dr. GRPO) lässt die Division weg, und die Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) verwirft die Gruppen, in denen sie null ist. Jede wird als eigene Lösung präsentiert, doch diese Arbeit beweist, dass es sich um drei Einstellungen eines einzigen Reglers handelt. Dieser Regler ist keine kosmetische Angelegenheit: Bei Belohnungen, die nur richtig oder falsch kennen, ist die Uneinigkeit exakt die Größe des Trainingsupdates – die Gruppen-Standardabweichungs-Identität. Eine gespaltene Gruppe lehrt am meisten, während eine einstimmige Gruppe nichts lehrt und verstummt. Das gleiche Ergebnis zeigt, welche Probleme das größte Gewicht verdienen und wie viele Versuche jedes benötigt. Diese Arbeit bestätigt die Intuition anhand eines großen realen Schwierigkeitsdatensatzes (Big-Math) sowie in einer kontrollierten Trainingsdurchführung. Was wie ein harmloser Normalisierungsschritt aussieht, ist der Regler, der bestimmt, wo Lernen stattfindet und wie stark.

English

Three of the most popular methods for training language models to reason look like three different tricks. They are not. All three adjust a single number: standard deviation, reflecting how much a prompt's sampled answers disagree. When such a model is trained, it answers each problem many times, and an automatic checker marks every answer right or wrong. The standard deviation of those marks measures the disagreement: largest when the answers split evenly between right and wrong, and zero when they all agree. Group Relative Policy Optimization (GRPO) divides by this number, GRPO Done Right (Dr. GRPO) drops the division, and Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) discards the groups where it is zero. Each is presented as its own fix, yet this paper proves they are three settings of one dial. That dial is not cosmetic: for right-or-wrong rewards, the disagreement is exactly the size of the training update, the group-standard-deviation identity. A split group teaches the most, while a unanimous group teaches nothing and falls silent. The same result says which problems deserve the most weight and how many tries each one needs. This paper confirms the intuition on a large real difficulty dataset (Big-Math) and in a controlled training run. What looks like a harmless normalization step is the dial that decides where learning happens and how strongly.