Free Lunch négligé du post-entraînement : avantage de progression pour les agents LLM

Résumé

Les modèles de récompense de processus permettent une évaluation fine, étape par étape, des grands modèles de langage, mais leur construction pour des contextes agentiques reste prohibitivement difficile : les interactions à long horizon, les actions irréversibles et le retour stochastique de l'environnement rendent à la fois l'annotation humaine et l'estimation de Monte Carlo irréalisables à grande échelle. Dans ce travail, nous montrons que le post-entraînement par apprentissage par renforcement (RL) fournit déjà les ingrédients nécessaires à une notation efficace par étape, éliminant ainsi le besoin d'un entraînement dédié d'un modèle de récompense. Concrètement, nous dérivons un avantage implicite dans le cadre d'un processus de décision markovien stochastique général, que nous appelons avantage progressif — le rapport de log-probabilité entre la politique entraînée par RL et sa politique de référence retrouve exactement la fonction d'avantage optimale. Cette formulation rend le signal résultant sans annotation, agnostique au domaine, et disponible comme sous-produit du pipeline standard de post-entraînement par RL. Nous validons l'efficacité de l'avantage progressif dans trois applications différentes : la mise à l'échelle au moment du test, la quantification de l'incertitude et l'attribution des échecs, sur cinq benchmarks et quatre familles de modèles. Dans tous les contextes, il surpasse systématiquement les références basées sur la confiance et, bien qu'il ne nécessite aucun entraînement spécifique à la tâche, dépasse les modèles de récompense spécialisés entraînés. Nous complétons ces résultats par des analyses plus approfondies des caractéristiques de l'avantage progressif, offrant des conseils pratiques pour son adoption dans des systèmes agentiques réels.

English

Process reward models enable fine-grained, step-level evaluation of LLMs, yet building them for agentic settings remains prohibitively difficult: long-horizon interactions, irreversible actions, and stochastic environment feedback make both human annotation and Monte Carlo estimation infeasible at scale. In this work, we show that reinforcement learning (RL) post-training already provides the ingredients for effective step-level scoring, eliminating the need for dedicated reward model training altogether. Concretely, we derive an implicit advantage under a general stochastic Markov decision process, which we term progress advantage -- log-probability ratio between the RL-trained policy and its reference policy exactly recovers the optimal advantage function. This formulation makes the resulting signal annotation-free, domain-agnostic, and available as a byproduct of the standard RL post-training pipeline. We validate the effectiveness of the progress advantage across three different applications: test-time scaling, uncertainty quantification, and failure attribution on five benchmarks and four model families. Across all settings, it consistently outperforms confidence-based baselines and, despite requiring no task-specific training, surpasses dedicated trained reward models. We complement these results with deeper analyses on characteristics of progress advantage, offering practical guidance for adoption in real-world agentic systems.