CoBA-RL: Alocação de Orçamento Orientada por Capacidade para Aprendizagem por Reforço em LLMs
CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs
February 3, 2026
Autores: Zhiyuan Yao, Yi-Kai Zhang, Yuxin Chen, Yueqing Sun, Zishan Xu, Yu Yang, Tianhao Hu, Qi Gu, Hui Su, Xunliang Cai
cs.AI
Resumo
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) emergiu como uma abordagem fundamental para aprimorar o raciocínio de LLMs. No entanto, estruturas padrão como a Otimização de Política de Grupo Relativo (GRPO) geralmente empregam um orçamento uniforme de *rollout*, levando à ineficiência de recursos. Além disso, os métodos adaptativos existentes frequentemente dependem de métricas no nível da instância, como taxas de aprovação de tarefas, falhando em capturar o estado dinâmico de aprendizado do modelo. Para enfrentar essas limitações, propomos o CoBA-RL, um algoritmo de aprendizado por reforço projetado para alocar orçamentos de *rollout* de forma adaptativa com base na capacidade evolutiva do modelo. Especificamente, o CoBA-RL utiliza uma função de valor orientada à capacidade para mapear tarefas aos seus ganhos potenciais de treinamento e emprega uma estratégia gulosa baseada em *heap* para autocalibrar eficientemente a distribuição de recursos computacionais para amostras com alto valor de treinamento. Experimentos extensivos demonstram que nossa abordagem orquestra eficazmente o *trade-off* entre exploração e exploração, proporcionando melhorias consistentes de generalização em vários *benchmarks* desafiadores. Esses resultados reforçam que quantificar o valor de treinamento da amostra e otimizar a alocação do orçamento são cruciais para avançar a eficiência do pós-treinamento de LLMs.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key approach for enhancing LLM reasoning.However, standard frameworks like Group Relative Policy Optimization (GRPO) typically employ a uniform rollout budget, leading to resource inefficiency. Moreover, existing adaptive methods often rely on instance-level metrics, such as task pass rates, failing to capture the model's dynamic learning state. To address these limitations, we propose CoBA-RL, a reinforcement learning algorithm designed to adaptively allocate rollout budgets based on the model's evolving capability. Specifically, CoBA-RL utilizes a Capability-Oriented Value function to map tasks to their potential training gains and employs a heap-based greedy strategy to efficiently self-calibrate the distribution of computational resources to samples with high training value. Extensive experiments demonstrate that our approach effectively orchestrates the trade-off between exploration and exploitation, delivering consistent generalization improvements across multiple challenging benchmarks. These findings underscore that quantifying sample training value and optimizing budget allocation are pivotal for advancing LLM post-training efficiency.