QVal: Дешевое оценивание плотных сигналов супервизии для долгосрочных LLM-агентов

Аннотация

Агенты на основе LLM все чаще действуют в долгосрочных горизонтах, где одна траектория может содержать сотни или тысячи действий. В таких условиях вознаграждения, основанные только на конечном результате, обеспечивают слишком разреженное руководство, не сообщая модели о качестве промежуточных действий. Методы плотной обратной связи направлены на решение этой проблемы путем оценки промежуточных шагов, начиная от внутренней уверенности и заканчивая самодистилляцией и сходством эмбеддингов. Однако общепринятой практикой является оценка этих методов путем измерения производительности на последующих задачах в рамках тренировочного пайплайна, который их интегрирует. Это дорого, смешивает качество обратной связи с инженерными смешивающими факторами обучения и делает несравнимыми различные методологические семейства, требующие разных конфигураций обучения. В результате методы плотной обратной связи редко сравниваются на общей основе. Мы представляем QVal — тестовый стенд, не требующий обучения, для прямой оценки сигналов плотной обратной связи. Для пары состояние-действие QVal измеряет, насколько оценка метода является Q-согласованной: упорядочивает ли она действия в соответствии с Q-значениями сильной эталонной политики. Это позволяет сравнивать сигналы до любого тренировочного запуска и отделять качество сигнала от других инженерных решений. Мы реализуем QVal как QVal-v1.0, сравнивая 21 метод плотной обратной связи в четырех различных средах и семи методологических семействах, проведя более 1200 оценочных экспериментов на шести базовых моделях с открытыми весами. Мы обнаружили, что простые базовые методы с подсказками последовательно превосходят недавние методы плотной обратной связи из литературы, и что производительность сильно группируется по семействам. Эти результаты справедливы для различных размеров моделей, сред и модальностей наблюдений. QVal спроектирован так, чтобы его можно было легко расширять на новые среды и методы, позволяя исследователям итеративно улучшать методы плотной обратной связи до любого тренировочного запуска.

English

LLM agents increasingly act over long horizons, where a single trajectory can contain hundreds or thousands of actions. In these settings, outcome-only rewards provide too sparse guidance, failing to inform the model about the goodness of intermediate actions. Dense supervision methods aim to solve this problem by scoring intermediate steps, from intrinsic confidence to self-distillation and embedding similarities. However, it is common practice to evaluate them by measuring the downstream performance of a training pipeline that integrates them. This is expensive, conflates supervision quality with training engineering confounders, and renders different methodological families requiring distinct training setups incomparable. As a result, dense supervision methods are rarely benchmarked on common ground. We introduce QVal, a training-free testbed for directly evaluating dense supervision signals. Given a state-action pair, QVal measures how well a method's score is Q-aligned: whether it orders actions according to the Q-values of a strong reference-policy. This lets us compare signals before any training run and separate signal quality from other engineering choices. We instantiate QVal as QVal-v1.0, benchmarking 21 dense supervision methods across four diverse environments and seven methodological families, with over 1.2K evaluation experiments across six open-weight model backbones. We find that simple prompting baselines consistently outperform recent dense supervision methods from the literature, and that performance clusters strongly by family. These findings hold across model sizes, environments, and observation modalities. QVal is designed to be easily extensible to new environments and methods, enabling researchers to iterate on dense supervision methods before any training run.