Counsel: мета-оценочный набор данных для агентных задач

Аннотация

По мере того как агентные системы решают всё более сложные многошаговые задачи, оценка их траекторий становится серьёзным узким местом — разметка одной траектории в популярных бенчмарках для агентов может занимать часы, что затрудняет масштабирование оценок для измерения производительности или сбора обучающих данных. Это привело к широкому использованию автоматизированных подходов, таких как LLM-судья (LLMJ), для критики агентов на уровне процессов и результатов в масштабе, однако обоснованность оценок LLMJ часто остаётся неизмеренной. Здесь мы представляем Counsel — первый общедоступный набор данных мета-оценок для агентных задач. Counsel состоит из покомпонентных критических замечаний от LLMJ с открытыми весами для двух агентных бенчмарков: tau-bench (агенты поддержки клиентов) и DA-Code (агенты-кодеры), а также человеческих мета-оценок этих замечаний. Аннотаторы-люди маркируют критические замечания по каждой отмеченной ошибке как «точно в цель», «верное местоположение, но слабая аргументация» или «не должно было быть отмечено», достигая надёжного межаннотаторского согласия (альфа Криппендорфа 0.78). Полученный набор данных стратифицирует критические замечания LLMJ по согласованности с человеком как по местоположению ошибки в траектории, так и по качеству аргументации, служа ценными данными для калибровки, улучшения или обучения LLMJ для агентов. Сравнивая судей с открытыми весами, мы обнаружили, что более способные модели-судьи и большие затраты на рассуждение способствуют улучшению согласия с человеком, при этом самый сильный судья достигает ~88% согласия по местоположению и ~65% по аргументации. Counsel создан с использованием моделей с открытыми весами и распространяется по свободной лицензии для широкого использования сообществом, что, как мы надеемся, позволит проводить тщательные исследования и улучшать согласованность оценщиков на основе LLM для агентных систем.

English

As agentic systems tackle increasingly complex multi-step tasks, evaluating their trajectories presents a major bottleneck - human annotation of a single trajectory on popular agentic benchmarks can take hours, making it difficult to scale evaluations for measuring performance or curating training data. This has driven widespread reliance on automated approaches such as LLM-as-a-judge (LLMJ) to critique agents at the process and outcome-levels at scale, however, the soundness of LLMJ critiques often goes unmeasured. Here, we introduce Counsel, the first public dataset of meta-evaluations for agentic tasks. Counsel consists of process-level critiques from open-weight LLMJs on two agent benchmarks: tau-bench (customer support agents) and DA-Code (coding agents), and human meta-evaluations of these critiques. Human annotators label critiques on each flagged error as "spot on", "correct location but poor reasoning", or "should not have flagged", achieving reliable inter-annotator agreement (Krippendorff's alpha of 0.78). The resulting dataset stratifies LLMJ critiques by human alignment across both error location within a trajectory and reasoning quality, serving as valuable data to calibrate, improve, or train LLMJs for agents. Comparing open-weight judges, we find that more capable judge models and more reasoning effort both enabled improved human agreement, with the strongest judge reaching ~88% agreement on location and ~65% on reasoning. Counsel is generated using open-weight models and is permissively licensed for broad community use, which we hope will enable rigorous study and improved alignment of LLM-based evaluators for agentic systems.