QVal: 장기 지평 LLM 에이전트를 위한 밀집 감독 신호의 저비용 평가

초록

LLM 에이전트는 점점 더 긴 시간 범위에 걸쳐 작동하며, 단일 궤적에 수백 또는 수천 개의 행동이 포함될 수 있습니다. 이러한 환경에서 결과 전용 보상은 너무 드문 지침만을 제공하여 중간 행동의 적절성에 대한 정보를 모델에 전달하지 못합니다. 밀집 감독 방법은 내재적 신뢰도부터 자기 증류, 임베딩 유사도에 이르기까지 중간 단계를 점수화하여 이 문제를 해결하는 것을 목표로 합니다. 그러나 이러한 방법을 통합한 학습 파이프라인의 하위 성능을 측정하여 평가하는 것이 일반적인 관행입니다. 이는 비용이 많이 들고, 감독 품질과 학습 엔지니어링 혼재 변수를 혼동하며, 서로 다른 학습 설정을 요구하는 다양한 방법론 계열을 비교 불가능하게 만듭니다. 그 결과, 밀집 감독 방법은 공통된 기준에서 거의 벤치마킹되지 않습니다. 우리는 밀집 감독 신호를 직접 평가하기 위한 학습 없는 테스트베드인 QVal을 소개합니다. QVal은 주어진 상태-행동 쌍에 대해 방법의 점수가 Q-정렬되어 있는지, 즉 강력한 참조 정책의 Q-값에 따라 행동을 순서화하는지 측정합니다. 이를 통해 학습 실행 전에 신호를 비교하고 신호 품질을 다른 엔지니어링 선택과 분리할 수 있습니다. 우리는 QVal을 QVal-v1.0으로 구체화하여, 네 가지 다양한 환경과 일곱 가지 방법론 계열에 걸쳐 21개의 밀집 감독 방법을 벤치마킹하고, 여섯 개의 오픈 가중치 모델 백본에서 1,200개 이상의 평가 실험을 수행했습니다. 우리는 간단한 프롬프팅 기준선이 문헌의 최근 밀집 감독 방법보다 일관되게 우수하며, 성능이 계열별로 강하게 군집화된다는 것을 발견했습니다. 이러한 결과는 모델 크기, 환경 및 관찰 양식에 걸쳐 유지됩니다. QVal은 새로운 환경과 방법에 쉽게 확장 가능하도록 설계되어, 연구자들이 학습 실행 전에 밀집 감독 방법을 반복적으로 개선할 수 있게 합니다.

English

LLM agents increasingly act over long horizons, where a single trajectory can contain hundreds or thousands of actions. In these settings, outcome-only rewards provide too sparse guidance, failing to inform the model about the goodness of intermediate actions. Dense supervision methods aim to solve this problem by scoring intermediate steps, from intrinsic confidence to self-distillation and embedding similarities. However, it is common practice to evaluate them by measuring the downstream performance of a training pipeline that integrates them. This is expensive, conflates supervision quality with training engineering confounders, and renders different methodological families requiring distinct training setups incomparable. As a result, dense supervision methods are rarely benchmarked on common ground. We introduce QVal, a training-free testbed for directly evaluating dense supervision signals. Given a state-action pair, QVal measures how well a method's score is Q-aligned: whether it orders actions according to the Q-values of a strong reference-policy. This lets us compare signals before any training run and separate signal quality from other engineering choices. We instantiate QVal as QVal-v1.0, benchmarking 21 dense supervision methods across four diverse environments and seven methodological families, with over 1.2K evaluation experiments across six open-weight model backbones. We find that simple prompting baselines consistently outperform recent dense supervision methods from the literature, and that performance clusters strongly by family. These findings hold across model sizes, environments, and observation modalities. QVal is designed to be easily extensible to new environments and methods, enabling researchers to iterate on dense supervision methods before any training run.