Vernachlässigtes kostenloses Mittagessen aus dem Post-Training: Fortschrittsvorteil für LLM-Agenten

Zusammenfassung

Prozess-Belohnungsmodelle ermöglichen eine feinkörnige, schrittweise Bewertung von LLMs, doch ihre Erstellung für agentische Umgebungen bleibt unverhältnismäßig schwierig: langfristige Interaktionen, irreversible Aktionen und stochastisches Umgebungsfeedback machen sowohl menschliche Annotation als auch Monte-Carlo-Schätzung in großem Maßstab undurchführbar. In dieser Arbeit zeigen wir, dass Reinforcement-Learning (RL) Post-Training bereits die Bestandteile für eine effektive schrittweise Bewertung liefert und damit die Notwendigkeit eines eigens trainierten Belohnungsmodells vollständig beseitigt. Konkret leiten wir einen impliziten Advantage unter einem allgemeinen stochastischen Markov-Entscheidungsprozess ab, den wir als Progress Advantage bezeichnen – das Log-Wahrscheinlichkeitsverhältnis zwischen der mit RL trainierten Policy und ihrer Referenz-Policy stellt die optimale Advantage-Funktion exakt wieder her. Diese Formulierung macht das resultierende Signal annotationsfrei, domänenagnostisch und als Nebenprodukt der standardmäßigen RL-Post-Training-Pipeline verfügbar. Wir validieren die Wirksamkeit des Progress Advantage in drei verschiedenen Anwendungen: Testzeit-Skalierung, Unsicherheitsquantifizierung und Fehlerattribution, anhand von fünf Benchmarks und vier Modellfamilien. In allen Umgebungen übertrifft es durchweg konfidenzbasierte Baselines und übertrifft, obwohl kein aufgabenspezifisches Training erforderlich ist, speziell trainierte Belohnungsmodelle. Wir ergänzen diese Ergebnisse durch tiefere Analysen der Eigenschaften des Progress Advantage und bieten praktische Leitlinien für den Einsatz in realen agentischen Systemen.

English

Process reward models enable fine-grained, step-level evaluation of LLMs, yet building them for agentic settings remains prohibitively difficult: long-horizon interactions, irreversible actions, and stochastic environment feedback make both human annotation and Monte Carlo estimation infeasible at scale. In this work, we show that reinforcement learning (RL) post-training already provides the ingredients for effective step-level scoring, eliminating the need for dedicated reward model training altogether. Concretely, we derive an implicit advantage under a general stochastic Markov decision process, which we term progress advantage -- log-probability ratio between the RL-trained policy and its reference policy exactly recovers the optimal advantage function. This formulation makes the resulting signal annotation-free, domain-agnostic, and available as a byproduct of the standard RL post-training pipeline. We validate the effectiveness of the progress advantage across three different applications: test-time scaling, uncertainty quantification, and failure attribution on five benchmarks and four model families. Across all settings, it consistently outperforms confidence-based baselines and, despite requiring no task-specific training, surpasses dedicated trained reward models. We complement these results with deeper analyses on characteristics of progress advantage, offering practical guidance for adoption in real-world agentic systems.