Il tuo vantaggio relativo al gruppo è distorto.

Your Group-Relative Advantage Is Biased

January 13, 2026

Autori: Fengkai Yang, Zherui Chen, Xiaohan Wang, Xiaodong Lu, Jiajun Chai, Guojun Yin, Wei Lin, Shuai Ma, Fuzhen Zhuang, Deqing Wang, Yaodong Yang, Jianxin Li, Yikun Ban

cs.AI

Abstract

Il Reinforcement Learning da Ricompense di Verifica (RLVR) è emerso come un approccio ampiamente utilizzato per il post-addestramento di grandi modelli linguistici su compiti di ragionamento, con metodi basati su gruppi come GRPO e le sue varianti che hanno ottenuto una vasta adozione. Questi metodi si basano sulla stima del vantaggio relativo al gruppo per evitare l'uso di critici appresi, tuttavia le loro proprietà teoriche rimangono poco comprese. In questo lavoro, scopriamo un problema fondamentale del RL basato su gruppi: lo stimatore del vantaggio relativo al gruppo è intrinsecamente distorto rispetto al vantaggio vero (atteso). Forniamo la prima analisi teorica che dimostra come esso sottostimi sistematicamente i vantaggi per prompt difficili e li sovrastimi per prompt facili, portando a uno squilibrio tra esplorazione e sfruttamento. Per affrontare questo problema, proponiamo History-Aware Adaptive Difficulty Weighting (HA-DW), uno schema di ripesatura adattivo che corregge le stime del vantaggio basandosi su un'ancora di difficoltà evolutiva e sulle dinamiche di addestramento. Sia l'analisi teorica che gli esperimenti su cinque benchmark di ragionamento matematico dimostrano che HA-DW migliora costantemente le prestazioni quando integrato in GRPO e nelle sue varianti. I nostri risultati suggeriscono che correggere la stima distorta del vantaggio è cruciale per un addestramento RLVR robusto ed efficiente.

English

Reinforcement Learning from Verifier Rewards (RLVR) has emerged as a widely used approach for post-training large language models on reasoning tasks, with group-based methods such as GRPO and its variants gaining broad adoption. These methods rely on group-relative advantage estimation to avoid learned critics, yet its theoretical properties remain poorly understood. In this work, we uncover a fundamental issue of group-based RL: the group-relative advantage estimator is inherently biased relative to the true (expected) advantage. We provide the first theoretical analysis showing that it systematically underestimates advantages for hard prompts and overestimates them for easy prompts, leading to imbalanced exploration and exploitation. To address this issue, we propose History-Aware Adaptive Difficulty Weighting (HA-DW), an adaptive reweighting scheme that adjusts advantage estimates based on an evolving difficulty anchor and training dynamics. Both theoretical analysis and experiments on five mathematical reasoning benchmarks demonstrate that HA-DW consistently improves performance when integrated into GRPO and its variants. Our results suggest that correcting biased advantage estimation is critical for robust and efficient RLVR training.