CoBA-RL: Распределение бюджета по возможностям для обучения с подкреплением в больших языковых моделях

CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs

February 3, 2026

Авторы: Zhiyuan Yao, Yi-Kai Zhang, Yuxin Chen, Yueqing Sun, Zishan Xu, Yu Yang, Tianhao Hu, Qi Gu, Hui Su, Xunliang Cai

cs.AI

Аннотация

Подкрепляемое обучение с проверяемыми вознаграждениями (RLVR) стало ключевым подходом для улучшения логических способностей больших языковых моделей. Однако стандартные фреймворки, такие как Group Relative Policy Optimization (GRPO), обычно используют равномерный бюджет rollout, что приводит к неэффективному использованию ресурсов. Более того, существующие адаптивные методы часто опираются на метрики на уровне экземпляров, такие как процент успешного выполнения задач, не учитывая динамическое состояние обучения модели. Для решения этих ограничений мы предлагаем CoBA-RL — алгоритм подкрепляемого обучения, предназначенный для адаптивного распределения бюджета rollout на основе эволюционирующих возможностей модели. В частности, CoBA-RL использует ориентированную на возможности функцию ценности для сопоставления задач с их потенциальной учебной выгодой и применяет жадную стратегию на основе кучи для эффективной самокалибровки распределения вычислительных ресурсов на образцы с высокой учебной ценностью. Многочисленные эксперименты демонстрируют, что наш подход эффективно балансирует компромисс между исследованием и использованием, обеспечивая стабильное улучшение обобщения на множестве сложных бенчмарков. Эти результаты подчеркивают, что количественная оценка учебной ценности образцов и оптимизация распределения бюджета имеют ключевое значение для повышения эффективности пост-тренинговой обработки больших языковых моделей.

English

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key approach for enhancing LLM reasoning.However, standard frameworks like Group Relative Policy Optimization (GRPO) typically employ a uniform rollout budget, leading to resource inefficiency. Moreover, existing adaptive methods often rely on instance-level metrics, such as task pass rates, failing to capture the model's dynamic learning state. To address these limitations, we propose CoBA-RL, a reinforcement learning algorithm designed to adaptively allocate rollout budgets based on the model's evolving capability. Specifically, CoBA-RL utilizes a Capability-Oriented Value function to map tasks to their potential training gains and employs a heap-based greedy strategy to efficiently self-calibrate the distribution of computational resources to samples with high training value. Extensive experiments demonstrate that our approach effectively orchestrates the trade-off between exploration and exploitation, delivering consistent generalization improvements across multiple challenging benchmarks. These findings underscore that quantifying sample training value and optimizing budget allocation are pivotal for advancing LLM post-training efficiency.