PVPO: Vorab geschätzte wertbasierte Politikoptimierung für agentenbasiertes Denken

PVPO: Pre-Estimated Value-Based Policy Optimization for Agentic Reasoning

August 28, 2025

papers.authors: Wenfeng Feng, Penghong Zhao, Guochao Jiang, Chuzhan Hao, Yuewei Zhang, Hao Wang

cs.AI

papers.abstract

Kritikerfreie Reinforcement-Learning-Methoden, insbesondere Gruppenrichtlinien, haben aufgrund ihrer Effizienz bei komplexen Aufgaben erhebliche Aufmerksamkeit erregt. Diese Methoden stützen sich jedoch stark auf mehrfache Stichproben und Vergleiche innerhalb der Richtlinie, um den Vorteil zu schätzen, was dazu führen kann, dass die Richtlinie in ein lokales Optimum fällt und die Rechenkosten erhöht. Um diese Probleme zu adressieren, schlagen wir PVPO vor, eine effiziente Reinforcement-Learning-Methode, die durch einen Referenzanker für den Vorteil und eine Datenvorabstichprobe verbessert wird. Konkret verwenden wir das Referenzmodell, um im Voraus auszurollen, und nutzen den berechneten Belohnungswert als Referenzanker. Unser Ansatz korrigiert effektiv die kumulative Verzerrung, die durch Vergleiche innerhalb der Gruppe eingeführt wird, und reduziert die Abhängigkeit von der Anzahl der Ausrollungen erheblich. Gleichzeitig kann das Referenzmodell den Schwierigkeitsgrad der Stichproben während der Datenvorabstichprobe bewerten, wodurch eine effektive Auswahl von Daten mit hohem Nutzen ermöglicht wird, um die Trainings effizienz zu verbessern. Experimente, die auf neun Datensätzen aus zwei Domänen durchgeführt wurden, zeigen, dass PVPO State-of-the-Art (SOTA)-Leistung erzielt. Unser Ansatz zeigt nicht nur eine robuste Generalisierung über mehrere Aufgaben hinweg, sondern weist auch skalierbare Leistung über Modelle unterschiedlicher Größenordnungen auf.

English

Critic-free reinforcement learning methods, particularly group policies, have attracted considerable attention for their efficiency in complex tasks. However, these methods rely heavily on multiple sampling and comparisons within the policy to estimate advantage, which may cause the policy to fall into local optimum and increase computational cost. To address these issues, we propose PVPO, an efficient reinforcement learning method enhanced by an advantage reference anchor and data pre-sampling. Specifically, we use the reference model to rollout in advance and employ the calculated reward score as a reference anchor. Our approach effectively corrects the cumulative bias introduced by intra-group comparisons and significantly reduces reliance on the number of rollouts. Meanwhile, the reference model can assess sample difficulty during data pre-sampling, enabling effective selection of high-gain data to improve training efficiency. Experiments conducted on nine datasets across two domains demonstrate that PVPO achieves State-Of-The-Art (SOTA) performance. Our approach not only demonstrates robust generalization across multiple tasks, but also exhibits scalable performance across models of varying scales.