Gebalanceerde aggregatie: inzicht in en oplossen van aggregatiebias in GRPO
Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO
April 14, 2026
Auteurs: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui Li, Yuhao Wu, Yining Zheng, Ge Zhang, Wenhao Huang, Xipeng Qiu
cs.AI
Samenvatting
Versterkend leren met verifieerbare beloningen (RLVR) is een centraal paradigma geworden voor het verbeteren van redeneer- en codeergeneratie in grote taalmodellen, en GRPO-stijl training wordt op grote schaal toegewezen vanwege zijn eenvoud en effectiviteit. Een belangrijke ontwerpkeuze blijft echter onderbelicht: hoe token-level beleidsgradiënttermen worden geaggregeerd binnen elke bemonsterde groep. Standaard GRPO gebruikt sequentie-aggregatie, terwijl recent werk token-aggregatie naar voren schuift als een beter alternatief. Wij tonen aan dat deze twee regels verschillende optimalisatievooroordelen induceren: token-aggregatie introduceert koppeling tussen teken en lengte, terwijl sequentie-aggregatie langere antwoorden impliciet minder gewicht toekent door sequentie-level gelijke weging. Om deze spanning aan te pakken, stellen we Gebalanceerde Aggregatie (BA) voor, een eenvoudige drop-in vervanging die token-level gemiddelden afzonderlijk berekent binnen de positieve en negatieve subsets en deze vervolgens combineert met op sequentietelling gebaseerde gewichten. Experimenten met Qwen2.5-Math-7B en Qwen3-1.7B op DAPO-17k en Polaris, geëvalueerd op zes redeneer- en codeerbenchmarks, tonen aan dat BA consistent de trainingsstabiliteit en uiteindelijke prestaties verbetert ten opzichte van standaard token- en sequentie-aggregatie. Onze analyse toont verder aan dat de relatieve effectiviteit van token- en sequentie-aggregatie grotendeels wordt bepaald door variatie in antwoordlengte en het positief-negatief lengteverschil, wat aggregatie benadrukt als een kritieke ontwerpdimension in GRPO-stijl RLVR.
English
Reinforcement learning with verifiable rewards (RLVR) has become a central paradigm for improving reasoning and code generation in large language models, and GRPO-style training is widely adopted for its simplicity and effectiveness. However, an important design choice remains underexplored: how token-level policy gradient terms are aggregated within each sampled group. Standard GRPO uses sequence aggregation, while recent work has advocated token aggregation as a better alternative. We show that these two rules induce different optimization biases: token aggregation introduces sign-length coupling, while sequence aggregation implicitly downweights longer responses through sequence-level equal weighting. To address this tension, we propose Balanced Aggregation (BA), a simple drop-in replacement that computes token-level means separately within the positive and negative subsets and then combines them with sequence-count-based weights. Experiments with Qwen2.5-Math-7B and Qwen3-1.7B on DAPO-17k and Polaris, evaluated on six reasoning and coding benchmarks, show that BA consistently improves training stability and final performance over standard token and sequence aggregation. Our analysis further shows that the relative effectiveness of token and sequence aggregation is largely governed by response-length variation and the positive-negative length gap, highlighting aggregation as a critical design dimension in GRPO-style RLVR.