PVPO: Optimización de Políticas Basada en Valor Pre-Estimado para Razonamiento Agente

PVPO: Pre-Estimated Value-Based Policy Optimization for Agentic Reasoning

August 28, 2025

Autores: Wenfeng Feng, Penghong Zhao, Guochao Jiang, Chuzhan Hao, Yuewei Zhang, Hao Wang

cs.AI

Resumen

Los métodos de aprendizaje por refuerzo sin crítico, particularmente las políticas de grupo, han atraído considerable atención por su eficiencia en tareas complejas. Sin embargo, estos métodos dependen en gran medida de múltiples muestreos y comparaciones dentro de la política para estimar la ventaja, lo que puede hacer que la política caiga en óptimos locales y aumente el costo computacional. Para abordar estos problemas, proponemos PVPO, un método eficiente de aprendizaje por refuerzo mejorado por un ancla de referencia de ventaja y un pre-muestreo de datos. Específicamente, utilizamos el modelo de referencia para realizar simulaciones con anticipación y empleamos la puntuación de recompensa calculada como un ancla de referencia. Nuestro enfoque corrige eficazmente el sesgo acumulado introducido por las comparaciones intragrupo y reduce significativamente la dependencia del número de simulaciones. Mientras tanto, el modelo de referencia puede evaluar la dificultad de las muestras durante el pre-muestreo de datos, permitiendo una selección efectiva de datos de alto rendimiento para mejorar la eficiencia del entrenamiento. Los experimentos realizados en nueve conjuntos de datos en dos dominios demuestran que PVPO alcanza un rendimiento de última generación (State-Of-The-Art, SOTA). Nuestro enfoque no solo demuestra una generalización robusta en múltiples tareas, sino que también exhibe un rendimiento escalable en modelos de diferentes escalas.

English

Critic-free reinforcement learning methods, particularly group policies, have attracted considerable attention for their efficiency in complex tasks. However, these methods rely heavily on multiple sampling and comparisons within the policy to estimate advantage, which may cause the policy to fall into local optimum and increase computational cost. To address these issues, we propose PVPO, an efficient reinforcement learning method enhanced by an advantage reference anchor and data pre-sampling. Specifically, we use the reference model to rollout in advance and employ the calculated reward score as a reference anchor. Our approach effectively corrects the cumulative bias introduced by intra-group comparisons and significantly reduces reliance on the number of rollouts. Meanwhile, the reference model can assess sample difficulty during data pre-sampling, enabling effective selection of high-gain data to improve training efficiency. Experiments conducted on nine datasets across two domains demonstrate that PVPO achieves State-Of-The-Art (SOTA) performance. Our approach not only demonstrates robust generalization across multiple tasks, but also exhibits scalable performance across models of varying scales.