Jouw Groepsrelatieve Voordeel Is Bevooroordeeld

Your Group-Relative Advantage Is Biased

January 13, 2026

Auteurs: Fengkai Yang, Zherui Chen, Xiaohan Wang, Xiaodong Lu, Jiajun Chai, Guojun Yin, Wei Lin, Shuai Ma, Fuzhen Zhuang, Deqing Wang, Yaodong Yang, Jianxin Li, Yikun Ban

cs.AI

Samenvatting

Reinforcement Learning from Verifier Rewards (RLVR) is een veelgebruikte benadering geworden voor het na-trainen van grote taalmodellen voor redeneertaken, waarbij groepsgebaseerde methoden zoals GRPO en zijn varianten breed worden toegepast. Deze methoden steunen op groepsrelatieve schatting van het voordeel om geleerde critics te vermijden, maar de theoretische eigenschappen ervan zijn nog steeds slecht begrepen. In dit werk leggen we een fundamenteel probleem bloot van groepsgebaseerde RL: de groepsrelatieve voordeelschatting is inherent bevooroordeeld ten opzichte van het werkelijke (verwachte) voordeel. Wij presenteren de eerste theoretische analyse die aantoont dat het systematisch de voordelen voor moeilijke prompts onderschat en voor makkelijke prompts overschat, wat leidt tot een onevenwichtige verkenning en exploitatie. Om dit probleem aan te pakken, stellen wij History-Aware Adaptive Difficulty Weighting (HA-DW) voor, een adaptief herwegingsschema dat de voordeelschattingen aanpast op basis van een evoluerende moeilijkheidsanker en trainingsdynamiek. Zowel theoretische analyse als experimenten op vijf wiskundige redeneerbenchmarks tonen aan dat HA-DW consequent de prestaties verbetert wanneer het geïntegreerd wordt in GRPO en zijn varianten. Onze resultaten suggereren dat het corrigeren van bevooroordeelde voordeelschatting cruciaal is voor robuuste en efficiënte RLVR-training.

English

Reinforcement Learning from Verifier Rewards (RLVR) has emerged as a widely used approach for post-training large language models on reasoning tasks, with group-based methods such as GRPO and its variants gaining broad adoption. These methods rely on group-relative advantage estimation to avoid learned critics, yet its theoretical properties remain poorly understood. In this work, we uncover a fundamental issue of group-based RL: the group-relative advantage estimator is inherently biased relative to the true (expected) advantage. We provide the first theoretical analysis showing that it systematically underestimates advantages for hard prompts and overestimates them for easy prompts, leading to imbalanced exploration and exploitation. To address this issue, we propose History-Aware Adaptive Difficulty Weighting (HA-DW), an adaptive reweighting scheme that adjusts advantage estimates based on an evolving difficulty anchor and training dynamics. Both theoretical analysis and experiments on five mathematical reasoning benchmarks demonstrate that HA-DW consistently improves performance when integrated into GRPO and its variants. Our results suggest that correcting biased advantage estimation is critical for robust and efficient RLVR training.