f-GRPO en verder: Divergentiegebaseerde Reinforcement Learning-algoritmen voor Algemene LLM-afstemming

f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment

February 5, 2026

Auteurs: Rajdeep Haldar, Lantao Mei, Guang Lin, Yue Xing, Qifan Song

cs.AI

Samenvatting

Recent onderzoek toont aan dat Preference Alignment (PA)-doelstellingen fungeren als divergentieschatters tussen uitgelijnde (gekozen) en niet-uitgelijnde (verworpen) responsverdelingen. In dit werk breiden we dit divergentie-gebaseerde perspectief uit naar algemene alignatiesettings, zoals reinforcement learning met verifieerbare beloningen (RLVR), waarbij alleen omgevingsbeloningen beschikbaar zijn. Binnen dit verenigde raamwerk stellen we f-Group Relative Policy Optimization (f-GRPO) voor, een klasse van on-policy reinforcement learning, en f-Hybrid Alignment Loss (f-HAL), een hybride on/off-policy doelstelling, voor algemene LLM-alignment op basis van de variationale representatie van f-divergenties. Wij bieden theoretische garanties dat deze klassen van doelstellingen de gemiddelde beloning na alignment verbeteren. Empirisch valideren we ons raamwerk voor zowel RLVR (wiskundig redeneren) als PA-taken (veiligheidsalignment), waarbij we superieure prestaties en flexibiliteit aantonen in vergelijking met huidige methoden.

English

Recent research shows that Preference Alignment (PA) objectives act as divergence estimators between aligned (chosen) and unaligned (rejected) response distributions. In this work, we extend this divergence-based perspective to general alignment settings, such as reinforcement learning with verifiable rewards (RLVR), where only environmental rewards are available. Within this unified framework, we propose f-Group Relative Policy Optimization (f-GRPO), a class of on-policy reinforcement learning, and f-Hybrid Alignment Loss (f-HAL), a hybrid on/off policy objectives, for general LLM alignment based on variational representation of f-divergences. We provide theoretical guarantees that these classes of objectives improve the average reward after alignment. Empirically, we validate our framework on both RLVR (Math Reasoning) and PA tasks (Safety Alignment), demonstrating superior performance and flexibility compared to current methods.