GRPO, Dr. GRPO и DAPO — это три операции над одним числом: тождество группового стандартного отклонения

Аннотация

Три из наиболее популярных методов обучения языковых моделей рассуждению выглядят как три разных трюка. Но это не так. Все три регулируют одно число: стандартное отклонение, отражающее степень расхождения ответов, сгенерированных по одному запросу. При обучении такой модели каждый вопрос решается многократно, и автоматическая проверка отмечает каждый ответ как правильный или неправильный. Стандартное отклонение этих меток измеряет степень расхождения: оно максимально, когда ответы поровну разделяются на правильные и неправильные, и равно нулю, когда все они совпадают. Групповая относительная оптимизация политики (GRPO) делит на это число, GRPO, выполненная правильно (Dr. GRPO), отбрасывает деление, а Оптимизация политики с разделённым клиппированием и динамической выборкой (DAPO) отбрасывает группы, в которых это число равно нулю. Каждый метод преподносится как собственное исправление, однако данная статья доказывает, что все они — три положения одного регулятора. Этот регулятор не является косметическим: для наград типа «правильно/неправильно» расхождение в точности равно величине обновления обучения — тождество группового стандартного отклонения. Разделённая группа учит больше всего, тогда как единогласная группа не учит ничему и затихает. Тот же результат показывает, какие проблемы заслуживают наибольшего веса и сколько попыток требуется для каждой. Данная статья подтверждает эту интуицию на большом реальном наборе данных сложности (Big-Math) и в контролируемом процессе обучения. То, что выглядит как безобидный шаг нормализации, на самом деле является регулятором, определяющим, где происходит обучение и насколько интенсивно.

English

Three of the most popular methods for training language models to reason look like three different tricks. They are not. All three adjust a single number: standard deviation, reflecting how much a prompt's sampled answers disagree. When such a model is trained, it answers each problem many times, and an automatic checker marks every answer right or wrong. The standard deviation of those marks measures the disagreement: largest when the answers split evenly between right and wrong, and zero when they all agree. Group Relative Policy Optimization (GRPO) divides by this number, GRPO Done Right (Dr. GRPO) drops the division, and Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) discards the groups where it is zero. Each is presented as its own fix, yet this paper proves they are three settings of one dial. That dial is not cosmetic: for right-or-wrong rewards, the disagreement is exactly the size of the training update, the group-standard-deviation identity. A split group teaches the most, while a unanimous group teaches nothing and falls silent. The same result says which problems deserve the most weight and how many tries each one needs. This paper confirms the intuition on a large real difficulty dataset (Big-Math) and in a controlled training run. What looks like a harmless normalization step is the dial that decides where learning happens and how strongly.