QVal: Goedkoop evalueren van dichte supervisiesignalen voor LLM-agenten met lange horizon

Samenvatting

LLM-agenten handelen steeds vaker over lange tijdshorizons, waarbij één traject honderden of duizenden acties kan bevatten. In deze omgevingen bieden alleen uitkomstbeloningen te schaarse begeleiding: ze informeren het model niet over de kwaliteit van tussenliggende acties. Methoden voor dichte supervisie proberen dit probleem op te lossen door tussenstappen te scoren, variërend van intrinsiek vertrouwen tot zelfdistillatie en inbeddingsovereenkomsten. Het is echter gebruikelijke praktijk om deze methoden te evalueren door de stroomafwaartse prestaties te meten van een trainingspijplijn die ze integreert. Dit is duur, vermengt supervisiekwaliteit met technische verstorende factoren in de training en maakt verschillende methodologische families, die verschillende trainingsopstellingen vereisen, onderling onvergelijkbaar. Hierdoor worden methoden voor dichte supervisie zelden op een gemeenschappelijke basis gebenchmarkt. Wij introduceren QVal, een trainingsvrije testomgeving voor directe evaluatie van dichte supervisiesignalen. Voor een gegeven toestand-actiepaar meet QVal hoe goed de score van een methode Q-uitgelijnd is: of zij acties ordent volgens de Q-waarden van een sterk referentiebeleid. Dit stelt ons in staat signalen te vergelijken vóór enige trainingsrun en signaalkwaliteit te scheiden van andere technische keuzes. We instantieëren QVal als QVal-v1.0, en benchmarken 21 methoden voor dichte supervisie in vier uiteenlopende omgevingen en zeven methodologische families, met meer dan 1,2K evaluatie-experimenten over zes open-weight modelbackbones. We vinden dat eenvoudige prompt-baselines consequent beter presteren dan recente methoden voor dichte supervisie uit de literatuur, en dat prestaties sterk clusteren per familie. Deze bevindingen gelden ongeacht modelgrootte, omgeving en observatiemodaliteit. QVal is ontworpen om gemakkelijk uitbreidbaar te zijn naar nieuwe omgevingen en methoden, waardoor onderzoekers methoden voor dichte supervisie kunnen itereren vóór enige trainingsrun.

English

LLM agents increasingly act over long horizons, where a single trajectory can contain hundreds or thousands of actions. In these settings, outcome-only rewards provide too sparse guidance, failing to inform the model about the goodness of intermediate actions. Dense supervision methods aim to solve this problem by scoring intermediate steps, from intrinsic confidence to self-distillation and embedding similarities. However, it is common practice to evaluate them by measuring the downstream performance of a training pipeline that integrates them. This is expensive, conflates supervision quality with training engineering confounders, and renders different methodological families requiring distinct training setups incomparable. As a result, dense supervision methods are rarely benchmarked on common ground. We introduce QVal, a training-free testbed for directly evaluating dense supervision signals. Given a state-action pair, QVal measures how well a method's score is Q-aligned: whether it orders actions according to the Q-values of a strong reference-policy. This lets us compare signals before any training run and separate signal quality from other engineering choices. We instantiate QVal as QVal-v1.0, benchmarking 21 dense supervision methods across four diverse environments and seven methodological families, with over 1.2K evaluation experiments across six open-weight model backbones. We find that simple prompting baselines consistently outperform recent dense supervision methods from the literature, and that performance clusters strongly by family. These findings hold across model sizes, environments, and observation modalities. QVal is designed to be easily extensible to new environments and methods, enabling researchers to iterate on dense supervision methods before any training run.