QVal : Évaluation peu coûteuse des signaux de supervision denses pour les agents LLM à long horizon

Résumé

Les agents LLM agissent de plus en plus sur de longs horizons, où une seule trajectoire peut contenir des centaines ou des milliers d'actions. Dans ces contextes, les récompenses basées uniquement sur le résultat fournissent un guidage trop parcimonieux, ne parvenant pas à informer le modèle de la qualité des actions intermédiaires. Les méthodes de supervision dense visent à résoudre ce problème en évaluant les étapes intermédiaires, allant de la confiance intrinsèque à l'auto-distillation et aux similarités de plongements. Cependant, il est courant de les évaluer en mesurant la performance en aval d'un pipeline d'entraînement qui les intègre. Cette approche est coûteuse, confond la qualité de la supervision avec des facteurs de confusion liés à l'ingénierie d'entraînement, et rend incomparables différentes familles méthodologiques nécessitant des configurations d'entraînement distinctes. En conséquence, les méthodes de supervision dense sont rarement évaluées sur un terrain commun. Nous introduisons QVal, un banc d'essai sans entraînement pour évaluer directement les signaux de supervision dense. Étant donné une paire état-action, QVal mesure dans quelle mesure le score d'une méthode est aligné sur Q : s'il ordonne les actions selon les valeurs Q d'une politique de référence forte. Cela nous permet de comparer les signaux avant tout entraînement et de séparer la qualité du signal des autres choix d'ingénierie. Nous instancions QVal sous la forme de QVal-v1.0, en évaluant 21 méthodes de supervision dense dans quatre environnements divers et sept familles méthodologiques, avec plus de 1 200 expériences d'évaluation sur six modèles de base à poids ouverts. Nous constatons que les lignes de base de promptification simples surpassent systématiquement les récentes méthodes de supervision dense issues de la littérature, et que les performances se regroupent fortement par famille. Ces résultats sont valables quelle que soit la taille du modèle, l'environnement ou la modalité d'observation. QVal est conçu pour être facilement extensible à de nouveaux environnements et méthodes, permettant aux chercheurs d'itérer sur les méthodes de supervision dense avant tout entraînement.

English

LLM agents increasingly act over long horizons, where a single trajectory can contain hundreds or thousands of actions. In these settings, outcome-only rewards provide too sparse guidance, failing to inform the model about the goodness of intermediate actions. Dense supervision methods aim to solve this problem by scoring intermediate steps, from intrinsic confidence to self-distillation and embedding similarities. However, it is common practice to evaluate them by measuring the downstream performance of a training pipeline that integrates them. This is expensive, conflates supervision quality with training engineering confounders, and renders different methodological families requiring distinct training setups incomparable. As a result, dense supervision methods are rarely benchmarked on common ground. We introduce QVal, a training-free testbed for directly evaluating dense supervision signals. Given a state-action pair, QVal measures how well a method's score is Q-aligned: whether it orders actions according to the Q-values of a strong reference-policy. This lets us compare signals before any training run and separate signal quality from other engineering choices. We instantiate QVal as QVal-v1.0, benchmarking 21 dense supervision methods across four diverse environments and seven methodological families, with over 1.2K evaluation experiments across six open-weight model backbones. We find that simple prompting baselines consistently outperform recent dense supervision methods from the literature, and that performance clusters strongly by family. These findings hold across model sizes, environments, and observation modalities. QVal is designed to be easily extensible to new environments and methods, enabling researchers to iterate on dense supervision methods before any training run.