CoBA-RL: Capaciteitsgerichte Budgettoewijzing voor Reinforcement Learning in LLM's
CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs
February 3, 2026
Auteurs: Zhiyuan Yao, Yi-Kai Zhang, Yuxin Chen, Yueqing Sun, Zishan Xu, Yu Yang, Tianhao Hu, Qi Gu, Hui Su, Xunliang Cai
cs.AI
Samenvatting
Reinforcement Learning met Verifieerbare Beloningen (RLVR) is naar voren gekomen als een cruciale aanpak voor het verbeteren van het redeneervermogen van grote taalmodelen (LLM's). Standaardkaders zoals Group Relative Policy Optimization (GRPO) hanteren echter doorgaans een uniform *rollout*-budget, wat leidt tot inefficiënt gebruik van middelen. Bovendien baseren bestaande adaptieve methoden zich vaak op instantie-specifieke metrieken, zoals taakslaagpercentages, waardoor ze de dynamische leerstatus van het model niet kunnen vastleggen. Om deze beperkingen aan te pakken, stellen wij CoBA-RL voor, een reinforcement learning-algoritme dat is ontworpen om *rollout*-budgetten adaptief toe te wijzen op basis van de evoluerende capaciteit van het model. Concreet gebruikt CoBA-RL een capaciteitsgerichte waardefunctie om taken aan hun potentiële trainingswinst te koppelen en zet het een op een hoop gebaseerde gretige strategie in om de verdeling van rekenresources efficiënt zelf te kalibreren naar samples met een hoge trainingswaarde. Uitgebreide experimenten tonen aan dat onze aanpak de afweging tussen exploratie en exploitatie effectief orchestreert, wat resulteert in consistente verbeteringen in generalisatie op meerdere uitdagende benchmarks. Deze bevindingen benadrukken dat het kwantificeren van de trainingswaarde van samples en het optimaliseren van budgettoewijzing cruciaal zijn voor het bevorderen van de efficiëntie van LLM's na de training.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key approach for enhancing LLM reasoning.However, standard frameworks like Group Relative Policy Optimization (GRPO) typically employ a uniform rollout budget, leading to resource inefficiency. Moreover, existing adaptive methods often rely on instance-level metrics, such as task pass rates, failing to capture the model's dynamic learning state. To address these limitations, we propose CoBA-RL, a reinforcement learning algorithm designed to adaptively allocate rollout budgets based on the model's evolving capability. Specifically, CoBA-RL utilizes a Capability-Oriented Value function to map tasks to their potential training gains and employs a heap-based greedy strategy to efficiently self-calibrate the distribution of computational resources to samples with high training value. Extensive experiments demonstrate that our approach effectively orchestrates the trade-off between exploration and exploitation, delivering consistent generalization improvements across multiple challenging benchmarks. These findings underscore that quantifying sample training value and optimizing budget allocation are pivotal for advancing LLM post-training efficiency.