Agregação Equilibrada: Compreendendo e Corrigindo o Viés de Agregação no GRPO

Resumo

A aprendizagem por reforço com recompensas verificáveis (RLVR) tornou-se um paradigma central para melhorar o raciocínio e a geração de código em modelos de linguagem de grande escala, e o treino de estilo GRPO é amplamente adotado pela sua simplicidade e eficácia. No entanto, uma importante escolha de projeto permanece pouco explorada: como os termos do gradiente da política a nível de *token* são agregados dentro de cada grupo amostrado. O GRPO padrão utiliza agregação por sequência, enquanto trabalhos recentes defendem a agregação por *token* como uma alternativa superior. Demonstramos que estas duas regras induzem vieses de otimização distintos: a agregação por *token* introduz um acoplamento sinal-comprimento, enquanto a agregação por sequência pondera implicitamente menos as respostas mais longas através de uma ponderação igualitária a nível de sequência. Para resolver esta tensão, propomos a Agregação Equilibrada (BA), uma substituição simples que calcula as médias a nível de *token* separadamente dentro dos subconjuntos positivos e negativos e depois combina-as com pesos baseados na contagem de sequências. Experiências com os modelos Qwen2.5-Math-7B e Qwen3-1.7B nos conjuntos DAPO-17k e Polaris, avaliados em seis *benchmarks* de raciocínio e codificação, mostram que a BA melhora consistentemente a estabilidade do treino e o desempenho final em relação às agregações padrão por *token* e por sequência. A nossa análise mostra ainda que a eficácia relativa da agregação por *token* e por sequência é largamente governada pela variação do comprimento da resposta e pela diferença de comprimento entre respostas positivas e negativas, destacando a agregação como uma dimensão crítica de projeto no RLVR de estilo GRPO.

English

Reinforcement learning with verifiable rewards (RLVR) has become a central paradigm for improving reasoning and code generation in large language models, and GRPO-style training is widely adopted for its simplicity and effectiveness. However, an important design choice remains underexplored: how token-level policy gradient terms are aggregated within each sampled group. Standard GRPO uses sequence aggregation, while recent work has advocated token aggregation as a better alternative. We show that these two rules induce different optimization biases: token aggregation introduces sign-length coupling, while sequence aggregation implicitly downweights longer responses through sequence-level equal weighting. To address this tension, we propose Balanced Aggregation (BA), a simple drop-in replacement that computes token-level means separately within the positive and negative subsets and then combines them with sequence-count-based weights. Experiments with Qwen2.5-Math-7B and Qwen3-1.7B on DAPO-17k and Polaris, evaluated on six reasoning and coding benchmarks, show that BA consistently improves training stability and final performance over standard token and sequence aggregation. Our analysis further shows that the relative effectiveness of token and sequence aggregation is largely governed by response-length variation and the positive-negative length gap, highlighting aggregation as a critical design dimension in GRPO-style RLVR.