F-GRPO: Laat uw beleid niet het voor de hand liggende leren en het zeldzame vergeten

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

February 6, 2026

Auteurs: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is vaak gebaseerd op groepssampling om voordelen te schatten en beleidsupdates te stabiliseren. In de praktijk zijn grote groepsgroottes niet haalbaar vanwege computationele beperkingen, wat het leren bevooroordeelt naar trajecten die al waarschijnlijk zijn. Kleinere groepen missen vaak zeldzame-correcte trajecten, terwijl ze nog steeds gemengde beloningen bevatten, waardoor de waarschijnlijkheid zich concentreert op veelvoorkomende oplossingen. We leiden de waarschijnlijkheid af dat updates zeldzame-correcte modi missen als een functie van de groepsgrootte, waarbij niet-monotoon gedrag wordt aangetoond, en karakteriseren hoe updates massa binnen de correcte set herverdelen, wat aantoont dat niet-bemonsterde-correcte massa kan krimpen zelfs wanneer de totale correcte massa groeit. Gemotiveerd door deze analyse stellen we een moeilijkheidsbewuste schalingscoëfficiënt voor voordelen voor, geïnspireerd door Focal loss, die updates voor prompts met een hoog succescijfer afzwakt. Deze lichtgewicht aanpassing kan direct worden geïntegreerd in elk groep- relatief RLVR-algoritme, zoals GRPO, DAPO en CISPO. Op Qwen2.5-7B over in-domein en out-of-domein benchmarks verbetert onze methode pass@256 van 64.1 → 70.3 (GRPO), 69.3 → 72.5 (DAPO) en 73.2 → 76.8 (CISPO), terwijl pass@1 behouden blijft of verbetert, zonder de groepsgrootte of computationele kosten te verhogen.

English

Reinforcement Learning with Verifiable Rewards (RLVR) is commonly based on group sampling to estimate advantages and stabilize policy updates. In practice, large group sizes are not feasible due to computational limits, which biases learning toward trajectories that are already likely. Smaller groups often miss rare-correct trajectories while still containing mixed rewards, concentrating probability on common solutions. We derive the probability that updates miss rare-correct modes as a function of group size, showing non-monotonic behavior, and characterize how updates redistribute mass within the correct set, revealing that unsampled-correct mass can shrink even as total correct mass grows. Motivated by this analysis, we propose a difficulty-aware advantage scaling coefficient, inspired by Focal loss, that down-weights updates on high-success prompts. The lightweight modification can be directly integrated into any group-relative RLVR algorithm such as GRPO, DAPO, and CISPO. On Qwen2.5-7B across in-domain and out-of-domain benchmarks, our method improves pass@256 from 64.1 rightarrow 70.3 (GRPO), 69.3 rightarrow 72.5 (DAPO), and 73.2 rightarrow 76.8 (CISPO), while preserving or improving pass@1, without increasing group size or computational cost.