Сбалансированная агрегация: понимание и устранение смещения агрегации в GRPO

Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO

April 14, 2026

Авторы: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui Li, Yuhao Wu, Yining Zheng, Ge Zhang, Wenhao Huang, Xipeng Qiu

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми вознаграждениями (RLVR) стало центральной парадигмой для улучшения способностей к рассуждению и генерации кода в больших языковых моделях, а обучение в стиле GRPO широко применяется благодаря своей простоте и эффективности. Однако важный аспект проектирования остается недостаточно изученным: то, как термины градиента политики на уровне токенов агрегируются внутри каждой выборки. Стандартный GRPO использует последовательностную агрегацию, тогда как в recentних работах предлагается токенная агрегация как более предпочтительная альтернатива. Мы показываем, что эти два правила порождают различную оптимизационную смещенность: токенная агрегация вводит связь знака с длиной, тогда как последовательностная агрегация неявно понижает вес более длинных ответов за счет сквозного уравнивания на уровне последовательности. Для разрешения этого противоречия мы предлагаем Сбалансированную Агрегацию (BA) — простую замену, которая вычисляет средние значения на уровне токенов раздельно внутри позитивных и негативных подвыборок, а затем комбинирует их с весами, основанными на количестве последовательностей. Эксперименты с моделями Qwen2.5-Math-7B и Qwen3-1.7B на наборах данных DAPO-17k и Polaris, оцененные по шести тестам на рассуждение и кодирование, показывают, что BA стабильно улучшает устойчивость обучения и итоговую производительность по сравнению со стандартной токенной и последовательностной агрегацией. Наш анализ также демонстрирует, что относительная эффективность токенной и последовательностной агрегации в значительной степени определяется вариацией длины ответов и разницей в длине между позитивными и негативными примерами, что подчеркивает агрегацию как критически важное измерение проектирования в RLVR в стиле GRPO.

English

Reinforcement learning with verifiable rewards (RLVR) has become a central paradigm for improving reasoning and code generation in large language models, and GRPO-style training is widely adopted for its simplicity and effectiveness. However, an important design choice remains underexplored: how token-level policy gradient terms are aggregated within each sampled group. Standard GRPO uses sequence aggregation, while recent work has advocated token aggregation as a better alternative. We show that these two rules induce different optimization biases: token aggregation introduces sign-length coupling, while sequence aggregation implicitly downweights longer responses through sequence-level equal weighting. To address this tension, we propose Balanced Aggregation (BA), a simple drop-in replacement that computes token-level means separately within the positive and negative subsets and then combines them with sequence-count-based weights. Experiments with Qwen2.5-Math-7B and Qwen3-1.7B on DAPO-17k and Polaris, evaluated on six reasoning and coding benchmarks, show that BA consistently improves training stability and final performance over standard token and sequence aggregation. Our analysis further shows that the relative effectiveness of token and sequence aggregation is largely governed by response-length variation and the positive-negative length gap, highlighting aggregation as a critical design dimension in GRPO-style RLVR.