QVal: Kostengünstiges Evaluieren dichter Supervisionssignale für LLM-Agenten mit Langzeithorizont

Zusammenfassung

LLM-Agenten agieren zunehmend über lange Zeithorizonte, bei denen ein einzelner Pfad hunderte oder tausende von Aktionen umfassen kann. In diesen Umgebungen liefern ausschließlich ergebnisbasierte Belohnungen zu spärliche Anleitung und versäumen es, das Modell über die Güte von Zwischenschritten zu informieren. Methoden der dichten Überwachung (Dense Supervision) zielen darauf ab, dieses Problem zu lösen, indem sie Zwischenschritte bewerten – von intrinsischer Konfidenz über Selbst-Destillation bis hin zu Einbettungsähnlichkeiten. Allerdings ist es üblich, sie durch die Messung der nachgelagerten Leistung (Downstream Performance) einer Trainingspipeline zu evaluieren, die sie integriert. Dies ist teuer, vermengt die Supervisionsqualität mit trainingsbedingten Störfaktoren und macht verschiedene methodische Familien, die unterschiedliche Trainingsumgebungen erfordern, unvergleichbar. Daher werden Methoden der dichten Überwachung selten auf einer gemeinsamen Grundlage bewertet. Wir stellen QVal vor, ein trainingsfreies Testbett zur direkten Evaluierung von Signalen der dichten Überwachung. Für ein gegebenes Zustands-Aktions-Paar misst QVal, wie gut die Bewertung einer Methode Q-ausgerichtet (Q-aligned) ist: ob sie Aktionen gemäß den Q-Werten einer starken Referenzstrategie (Reference-Policy) ordnet. Dies ermöglicht uns, Signale vor jedem Trainingsdurchlauf zu vergleichen und die Signalqualität von anderen technischen Entscheidungen zu trennen. Wir instanziieren QVal als QVal-v1.0 und benchmarken 21 Methoden der dichten Überwachung in vier verschiedenen Umgebungen und sieben methodischen Familien, mit über 1.200 Evaluierungsexperimenten über sechs Open-Weight-Modell-Backbones hinweg. Wir stellen fest, dass einfache Prompting-Baselines durchweg bessere Ergebnisse erzielen als neuere Methoden der dichten Überwachung aus der Literatur, und dass die Leistung stark nach Familien clustert. Diese Ergebnisse gelten über Modellgrößen, Umgebungen und Beobachtungsmodalitäten hinweg. QVal ist so konzipiert, dass es leicht auf neue Umgebungen und Methoden erweiterbar ist, sodass Forschende vor jedem Trainingsdurchlauf an Methoden der dichten Überwachung iterieren können.

English

LLM agents increasingly act over long horizons, where a single trajectory can contain hundreds or thousands of actions. In these settings, outcome-only rewards provide too sparse guidance, failing to inform the model about the goodness of intermediate actions. Dense supervision methods aim to solve this problem by scoring intermediate steps, from intrinsic confidence to self-distillation and embedding similarities. However, it is common practice to evaluate them by measuring the downstream performance of a training pipeline that integrates them. This is expensive, conflates supervision quality with training engineering confounders, and renders different methodological families requiring distinct training setups incomparable. As a result, dense supervision methods are rarely benchmarked on common ground. We introduce QVal, a training-free testbed for directly evaluating dense supervision signals. Given a state-action pair, QVal measures how well a method's score is Q-aligned: whether it orders actions according to the Q-values of a strong reference-policy. This lets us compare signals before any training run and separate signal quality from other engineering choices. We instantiate QVal as QVal-v1.0, benchmarking 21 dense supervision methods across four diverse environments and seven methodological families, with over 1.2K evaluation experiments across six open-weight model backbones. We find that simple prompting baselines consistently outperform recent dense supervision methods from the literature, and that performance clusters strongly by family. These findings hold across model sizes, environments, and observation modalities. QVal is designed to be easily extensible to new environments and methods, enabling researchers to iterate on dense supervision methods before any training run.