CoBA-RL: Asignación de Presupuesto Orientada a Capacidades para el Aprendizaje por Refuerzo en LLMs
CoBA-RL: Capability-Oriented Budget Allocation for Reinforcement Learning in LLMs
February 3, 2026
Autores: Zhiyuan Yao, Yi-Kai Zhang, Yuxin Chen, Yueqing Sun, Zishan Xu, Yu Yang, Tianhao Hu, Qi Gu, Hui Su, Xunliang Cai
cs.AI
Resumen
El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha surgido como un enfoque clave para mejorar el razonamiento de los LLM. Sin embargo, los marcos estándar como la Optimización de Políticas de Grupo Relativo (GRPO) suelen emplear un presupuesto de ejecución uniforme, lo que conduce a una ineficiencia de recursos. Además, los métodos adaptativos existentes a menudo se basan en métricas a nivel de instancia, como las tasas de aprobación de tareas, que no logran capturar el estado de aprendizaje dinámico del modelo. Para abordar estas limitaciones, proponemos CoBA-RL, un algoritmo de aprendizaje por refuerzo diseñado para asignar adaptativamente los presupuestos de ejecución en función de la capacidad en evolución del modelo. Específicamente, CoBA-RL utiliza una función de Valor Orientada a la Capacidad para mapear las tareas con sus posibles ganancias de entrenamiento y emplea una estrategia voraz basada en montículos para autocalibrar eficientemente la distribución de recursos computacionales hacia las muestras con alto valor de entrenamiento. Experimentos exhaustivos demuestran que nuestro enfoque orquesta eficazmente la compensación entre exploración y explotación, logrando mejoras consistentes en la generalización a través de múltiples benchmarks desafiantes. Estos hallazgos subrayan que cuantificar el valor de entrenamiento de las muestras y optimizar la asignación del presupuesto son cruciales para avanzar en la eficiencia del post-entrenamiento de los LLM.
English
Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a key approach for enhancing LLM reasoning.However, standard frameworks like Group Relative Policy Optimization (GRPO) typically employ a uniform rollout budget, leading to resource inefficiency. Moreover, existing adaptive methods often rely on instance-level metrics, such as task pass rates, failing to capture the model's dynamic learning state. To address these limitations, we propose CoBA-RL, a reinforcement learning algorithm designed to adaptively allocate rollout budgets based on the model's evolving capability. Specifically, CoBA-RL utilizes a Capability-Oriented Value function to map tasks to their potential training gains and employs a heap-based greedy strategy to efficiently self-calibrate the distribution of computational resources to samples with high training value. Extensive experiments demonstrate that our approach effectively orchestrates the trade-off between exploration and exploitation, delivering consistent generalization improvements across multiple challenging benchmarks. These findings underscore that quantifying sample training value and optimizing budget allocation are pivotal for advancing LLM post-training efficiency.