GRPO, Dr. GRPO et DAPO sont trois opérations sur un nombre : l'identité de l'écart-type de groupe.

Résumé

Trois des méthodes les plus populaires pour entraîner les modèles de langage à raisonner ressemblent à trois astuces différentes. Ce n’est pas le cas. Toutes trois ajustent un seul nombre : l’écart type, qui reflète le degré de désaccord entre les réponses échantillonnées à une requête. Lorsqu’un tel modèle est entraîné, il répond à chaque problème plusieurs fois, et un vérificateur automatique marque chaque réponse comme correcte ou incorrecte. L’écart type de ces marques mesure le désaccord : maximal lorsque les réponses se répartissent également entre bonnes et mauvaises, nul lorsqu’elles sont toutes d’accord. L’Optimisation Relative de Politique par Groupes (GRPO) divise par ce nombre, le GRPO Réalisé Correctement (Dr. GRPO) supprime la division, et l’Optimisation de Politique avec Clip Découplé et Échantillonnage Dynamique (DAPO) écarte les groupes où il est nul. Chacune est présentée comme une correction distincte, pourtant cet article prouve qu’elles sont trois réglages d’un même cadran. Ce cadran n’est pas cosmétique : pour des récompenses binaires correct/incorrect, le désaccord correspond exactement à la taille de la mise à jour d’entraînement — l’identité de l’écart type du groupe. Un groupe divisé enseigne le plus, tandis qu’un groupe unanime n’apprend rien et devient silencieux. Ce même résultat indique quels problèmes méritent le plus de poids et combien d’essais chacun nécessite. Cet article confirme l’intuition sur un large ensemble de données réelles de difficulté (Big-Math) et lors d’une session d’entraînement contrôlée. Ce qui semble n’être qu’une étape de normalisation anodine est en réalité le cadran qui décide où l’apprentissage a lieu et avec quelle force.

English

Three of the most popular methods for training language models to reason look like three different tricks. They are not. All three adjust a single number: standard deviation, reflecting how much a prompt's sampled answers disagree. When such a model is trained, it answers each problem many times, and an automatic checker marks every answer right or wrong. The standard deviation of those marks measures the disagreement: largest when the answers split evenly between right and wrong, and zero when they all agree. Group Relative Policy Optimization (GRPO) divides by this number, GRPO Done Right (Dr. GRPO) drops the division, and Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) discards the groups where it is zero. Each is presented as its own fix, yet this paper proves they are three settings of one dial. That dial is not cosmetic: for right-or-wrong rewards, the disagreement is exactly the size of the training update, the group-standard-deviation identity. A split group teaches the most, while a unanimous group teaches nothing and falls silent. The same result says which problems deserve the most weight and how many tries each one needs. This paper confirms the intuition on a large real difficulty dataset (Big-Math) and in a controlled training run. What looks like a harmless normalization step is the dial that decides where learning happens and how strongly.