F-GRPO: Não Deixe Sua Política Aprender o Óbvio e Esquecer o Raro
F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare
February 6, 2026
Autores: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov
cs.AI
Resumo
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) baseia-se comumente na amostragem em grupo para estimar vantagens e estabilizar atualizações da política. Na prática, tamanhos grandes de grupo não são viáveis devido a limitações computacionais, o que tendencia o aprendizado para trajetórias que já são prováveis. Grupos menores frequentemente perdem trajetórias raras-corretas enquanto ainda contêm recompensas mistas, concentrando a probabilidade em soluções comuns. Derivamos a probabilidade de que as atualizações percam modos raros-corretos em função do tamanho do grupo, mostrando um comportamento não monotônico, e caracterizamos como as atualizações redistribuem massa dentro do conjunto correto, revelando que a massa correta não amostrada pode diminuir mesmo quando a massa correta total aumenta. Motivados por esta análise, propomos um coeficiente de escala de vantagem consciente da dificuldade, inspirado na perda focal (Focal loss), que reduz o peso das atualizações em prompts de alto sucesso. A modificação leve pode ser integrada diretamente em qualquer algoritmo RLVR relativo a grupo, como GRPO, DAPO e CISPO. No modelo Qwen2.5-7B, através de benchmarks intra-domínio e fora-do-domínio, nosso método melhora o pass@256 de 64.1 → 70.3 (GRPO), 69.3 → 72.5 (DAPO) e 73.2 → 76.8 (CISPO), enquanto preserva ou melhora o pass@1, sem aumentar o tamanho do grupo ou o custo computacional.
English
Reinforcement Learning with Verifiable Rewards (RLVR) is commonly based on group sampling to estimate advantages and stabilize policy updates. In practice, large group sizes are not feasible due to computational limits, which biases learning toward trajectories that are already likely. Smaller groups often miss rare-correct trajectories while still containing mixed rewards, concentrating probability on common solutions. We derive the probability that updates miss rare-correct modes as a function of group size, showing non-monotonic behavior, and characterize how updates redistribute mass within the correct set, revealing that unsampled-correct mass can shrink even as total correct mass grows. Motivated by this analysis, we propose a difficulty-aware advantage scaling coefficient, inspired by Focal loss, that down-weights updates on high-success prompts. The lightweight modification can be directly integrated into any group-relative RLVR algorithm such as GRPO, DAPO, and CISPO. On Qwen2.5-7B across in-domain and out-of-domain benchmarks, our method improves pass@256 from 64.1 rightarrow 70.3 (GRPO), 69.3 rightarrow 72.5 (DAPO), and 73.2 rightarrow 76.8 (CISPO), while preserving or improving pass@1, without increasing group size or computational cost.