El almuerzo gratuito descuidado del post-entrenamiento: ventaja de progreso para los agentes LLM

Resumen

Los modelos de recompensa de proceso permiten una evaluación detallada a nivel de paso de los LLM, pero construirlos para entornos agentivos sigue siendo prohibitivamente difícil: las interacciones de largo horizonte, las acciones irreversibles y la retroalimentación estocástica del entorno hacen que tanto la anotación humana como la estimación de Monte Carlo sean inviables a escala. En este trabajo, demostramos que el post-entrenamiento mediante aprendizaje por refuerzo (RL) ya proporciona los ingredientes para una puntuación efectiva a nivel de paso, eliminando la necesidad de entrenar modelos de recompensa dedicados. Concretamente, derivamos una ventaja implícita bajo un proceso de decisión de Markov estocástico general, a la que denominamos ventaja de progreso: la proporción de log-probabilidad entre la política entrenada con RL y su política de referencia recupera exactamente la función de ventaja óptima. Esta formulación hace que la señal resultante esté libre de anotaciones, sea independiente del dominio y esté disponible como subproducto del pipeline estándar de post-entrenamiento con RL. Validamos la efectividad de la ventaja de progreso en tres aplicaciones diferentes: escalamiento en tiempo de prueba, cuantificación de incertidumbre y atribución de fallos en cinco benchmarks y cuatro familias de modelos. En todos los escenarios, supera consistentemente las líneas base basadas en confianza y, a pesar de no requerir entrenamiento específico de la tarea, sobrepasa a modelos de recompensa dedicados entrenados. Complementamos estos resultados con análisis más profundos sobre las características de la ventaja de progreso, ofreciendo orientación práctica para su adopción en sistemas agentivos del mundo real.

English

Process reward models enable fine-grained, step-level evaluation of LLMs, yet building them for agentic settings remains prohibitively difficult: long-horizon interactions, irreversible actions, and stochastic environment feedback make both human annotation and Monte Carlo estimation infeasible at scale. In this work, we show that reinforcement learning (RL) post-training already provides the ingredients for effective step-level scoring, eliminating the need for dedicated reward model training altogether. Concretely, we derive an implicit advantage under a general stochastic Markov decision process, which we term progress advantage -- log-probability ratio between the RL-trained policy and its reference policy exactly recovers the optimal advantage function. This formulation makes the resulting signal annotation-free, domain-agnostic, and available as a byproduct of the standard RL post-training pipeline. We validate the effectiveness of the progress advantage across three different applications: test-time scaling, uncertainty quantification, and failure attribution on five benchmarks and four model families. Across all settings, it consistently outperforms confidence-based baselines and, despite requiring no task-specific training, surpasses dedicated trained reward models. We complement these results with deeper analyses on characteristics of progress advantage, offering practical guidance for adoption in real-world agentic systems.