QVal: Evaluación económica de señales de supervisión densas para agentes LLM de largo horizonte

Resumen

Los agentes de LLM actúan cada vez más en horizontes temporales extensos, donde una única trayectoria puede contener cientos o miles de acciones. En estos entornos, las recompensas basadas únicamente en el resultado ofrecen una guía demasiado dispersa, sin informar al modelo sobre la bondad de las acciones intermedias. Los métodos de supervisión densa buscan resolver este problema puntuando los pasos intermedios, desde la confianza intrínseca hasta la autodestilación y las similitudes de incrustaciones. Sin embargo, es práctica común evaluarlos midiendo el rendimiento final de un pipeline de entrenamiento que los integra. Esto resulta costoso, confunde la calidad de la supervisión con factores de confusión propios de la ingeniería del entrenamiento, y deja a diferentes familias metodológicas, que requieren configuraciones de entrenamiento distintas, en situación de incomparabilidad. Como consecuencia, los métodos de supervisión densa rara vez se evalúan en un terreno común. Presentamos QVal, un banco de pruebas sin entrenamiento para evaluar directamente las señales de supervisión densa. Dado un par estado-acción, QVal mide qué tan alineada con Q está la puntuación de un método: es decir, si ordena las acciones según los valores Q de una política de referencia fuerte. Esto permite comparar señales antes de cualquier ejecución de entrenamiento y separar la calidad de la señal de otras decisiones de ingeniería. Implementamos QVal como QVal-v1.0, evaluando 21 métodos de supervisión densa en cuatro entornos diversos y siete familias metodológicas, con más de 1.200 experimentos de evaluación en seis backbones de modelos de peso abierto. Encontramos que las líneas base simples basadas en indicaciones superan consistentemente a los métodos recientes de supervisión densa de la literatura, y que el rendimiento se agrupa fuertemente por familia. Estos hallazgos se mantienen a través de tamaños de modelo, entornos y modalidades de observación. QVal está diseñado para ser fácilmente extensible a nuevos entornos y métodos, permitiendo a los investigadores iterar sobre métodos de supervisión densa antes de cualquier ejecución de entrenamiento.

English

LLM agents increasingly act over long horizons, where a single trajectory can contain hundreds or thousands of actions. In these settings, outcome-only rewards provide too sparse guidance, failing to inform the model about the goodness of intermediate actions. Dense supervision methods aim to solve this problem by scoring intermediate steps, from intrinsic confidence to self-distillation and embedding similarities. However, it is common practice to evaluate them by measuring the downstream performance of a training pipeline that integrates them. This is expensive, conflates supervision quality with training engineering confounders, and renders different methodological families requiring distinct training setups incomparable. As a result, dense supervision methods are rarely benchmarked on common ground. We introduce QVal, a training-free testbed for directly evaluating dense supervision signals. Given a state-action pair, QVal measures how well a method's score is Q-aligned: whether it orders actions according to the Q-values of a strong reference-policy. This lets us compare signals before any training run and separate signal quality from other engineering choices. We instantiate QVal as QVal-v1.0, benchmarking 21 dense supervision methods across four diverse environments and seven methodological families, with over 1.2K evaluation experiments across six open-weight model backbones. We find that simple prompting baselines consistently outperform recent dense supervision methods from the literature, and that performance clusters strongly by family. These findings hold across model sizes, environments, and observation modalities. QVal is designed to be easily extensible to new environments and methods, enabling researchers to iterate on dense supervision methods before any training run.