CoBA-RL: Fähigkeitsorientierte Budgetzuweisung für Reinforcement Learning in LLMs
CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs
February 3, 2026
papers.authors: Zhiyuan Yao, Yi-Kai Zhang, Yuxin Chen, Yueqing Sun, Zishan Xu, Yu Yang, Tianhao Hu, Qi Gu, Hui Su, Xunliang Cai
cs.AI
papers.abstract
Reinforcement Learning mit Verifizierbaren Belohnungen (RLVR) hat sich als zentrale Methode zur Verbesserung des logischen Denkvermögens von LLMs etabliert. Standardframeworks wie Group Relative Policy Optimization (GRPO) verwenden jedoch typischerweise ein einheitliches Rollout-Budget, was zu Ressourcenineffizienz führt. Darüber hinaus stützen sich bestehende adaptive Methoden oft auf instanzspezifische Metriken, wie etwa Aufgaben-Bestehensquoten, die den dynamischen Lernzustand des Modells nicht erfassen. Um diese Einschränkungen zu adressieren, schlagen wir CoBA-RL vor, einen Reinforcement-Learning-Algorithmus, der darauf ausgelegt ist, Rollout-Budgets adaptiv basierend auf der sich entwickelnden Fähigkeit des Modells zuzuteilen. Konkret nutzt CoBA-RL eine fähigkeitsorientierte Wertfunktion, um Aufgaben ihrem potenziellen Trainingsgewinn zuzuordnen, und setzt eine heap-basierte Greedy-Strategie ein, um die Verteilung von Rechenressourcen auf Samples mit hohem Trainingswert effizient selbst zu kalibrieren. Umfangreiche Experimente belegen, dass unser Ansatz die Abwägung zwischen Exploration und Exploitation wirksam orchestriert und durchgängige Verbesserungen der Generalisierungsfähigkeit über mehrere anspruchsvolle Benchmarks hinweg erzielt. Diese Ergebnisse unterstreichen, dass die Quantifizierung des Trainingswerts von Samples und die Optimierung der Budgetzuweisung entscheidend für den Fortschritt der Effizienz von LLMs nach dem Training sind.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key approach for enhancing LLM reasoning.However, standard frameworks like Group Relative Policy Optimization (GRPO) typically employ a uniform rollout budget, leading to resource inefficiency. Moreover, existing adaptive methods often rely on instance-level metrics, such as task pass rates, failing to capture the model's dynamic learning state. To address these limitations, we propose CoBA-RL, a reinforcement learning algorithm designed to adaptively allocate rollout budgets based on the model's evolving capability. Specifically, CoBA-RL utilizes a Capability-Oriented Value function to map tasks to their potential training gains and employs a heap-based greedy strategy to efficiently self-calibrate the distribution of computational resources to samples with high training value. Extensive experiments demonstrate that our approach effectively orchestrates the trade-off between exploration and exploitation, delivering consistent generalization improvements across multiple challenging benchmarks. These findings underscore that quantifying sample training value and optimizing budget allocation are pivotal for advancing LLM post-training efficiency.