Ausgewogene Aggregation: Verständnis und Behebung von Aggregationsverzerrungen in GRPO
Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO
April 14, 2026
Autoren: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui Li, Yuhao Wu, Yining Zheng, Ge Zhang, Wenhao Huang, Xipeng Qiu
cs.AI
Zusammenfassung
Verstärkendes Lernen mit verifizierbaren Belohnungen (RLVR) hat sich zu einem zentralen Paradigma für die Verbesserung des logischen Denkens und der Codegenerierung in großen Sprachmodellen entwickelt, wobei GRPO-artiges Training aufgrund seiner Einfachheit und Effektivität weit verbreitet ist. Eine wichtige, jedoch kaum untersuchte Designentscheidung bleibt jedoch: wie tokenweise Policy-Gradient-Terme innerhalb jeder Stichprobengruppe aggregiert werden. Standard-GRPO verwendet Sequenzaggregation, während neuere Arbeiten Tokenaggregation als bessere Alternative vorschlagen. Wir zeigen, dass diese beiden Regeln unterschiedliche Optimierungsverzerrungen hervorrufen: Tokenaggregation führt zu einer Sign-Längen-Kopplung, während Sequenzaggregation längere Antworten durch gleichgewichtete Sequenzbewertung implizit abwertet. Um diesen Zielkonflikt zu lösen, schlagen wir Balanced Aggregation (BA) vor, einen einfachen, direkt austauschbaren Ansatz, der tokenweise Mittelwerte separat innerhalb der positiven und negativen Teilmengen berechnet und diese dann mit gewichteten Sequenzanzahlen kombiniert. Experimente mit Qwen2.5-Math-7B und Qwen3-1.7B auf DAPO-17k und Polaris, bewertet anhand von sechs Benchmarks für logisches Denken und Programmieren, zeigen, dass BA die Trainingsstabilität und Endleistung im Vergleich zu standardmäßiger Token- und Sequenzaggregation konsequent verbessert. Unsere Analyse zeigt weiterhin, dass die relative Wirksamkeit von Token- und Sequenzaggregation maßgeblich durch die Antwortlängenvarianz und die Längendifferenz zwischen positiven und negativen Beispielen bestimmt wird, was die Aggregation als kritische Designdimension in GRPO-artigem RLVR hervorhebt.
English
Reinforcement learning with verifiable rewards (RLVR) has become a central paradigm for improving reasoning and code generation in large language models, and GRPO-style training is widely adopted for its simplicity and effectiveness. However, an important design choice remains underexplored: how token-level policy gradient terms are aggregated within each sampled group. Standard GRPO uses sequence aggregation, while recent work has advocated token aggregation as a better alternative. We show that these two rules induce different optimization biases: token aggregation introduces sign-length coupling, while sequence aggregation implicitly downweights longer responses through sequence-level equal weighting. To address this tension, we propose Balanced Aggregation (BA), a simple drop-in replacement that computes token-level means separately within the positive and negative subsets and then combines them with sequence-count-based weights. Experiments with Qwen2.5-Math-7B and Qwen3-1.7B on DAPO-17k and Polaris, evaluated on six reasoning and coding benchmarks, show that BA consistently improves training stability and final performance over standard token and sequence aggregation. Our analysis further shows that the relative effectiveness of token and sequence aggregation is largely governed by response-length variation and the positive-negative length gap, highlighting aggregation as a critical design dimension in GRPO-style RLVR.