Counsel：エージェント型タスクのためのメタ評価データセット

要旨

エージェントシステムがますます複雑な多段階タスクに取り組むにつれて、その軌跡を評価することは大きなボトルネックとなっています。一般的なエージェントベンチマークにおける単一の軌跡に対する人間によるアノテーションには数時間を要する場合があり、パフォーマンス測定や訓練データの収集のための評価を大規模に行うことが困難になっています。このため、LLM判定器（LLMJ）のような自動化アプローチに広く依存し、エージェントをプロセスレベルおよび結果レベルで大規模に批評することが一般的になりました。しかし、LLMJの批評の信頼性が測定されることはほとんどありません。本稿では、エージェントタスクのメタ評価を対象とした初の公開データセットであるCounselを紹介します。Counselは、2つのエージェントベンチマーク（カスタマーサポートエージェント向けtau-benchおよびコーディングエージェント向けDA-Code）におけるオープンウェイトLLMJからのプロセスレベルの批評と、それらの批評に対する人間によるメタ評価から構成されています。人間のアノテーターは、各指摘エラーに対して「的確」、「位置は正しいが推論が不十分」、「指摘すべきでない」のラベルを付与し、信頼性の高いアノテーター間一致（クリッペンドルフのα係数0.78）を達成しました。得られたデータセットは、軌跡内のエラー位置と推論品質の両方において人間との一致度に基づいてLLMJの批評を層別化し、エージェント向けLLMJの調整、改善、または訓練のための貴重なデータとして機能します。オープンウェイト判定器を比較した結果、より高性能な判定器モデルとより多くの推論努力の両方が人間との一致度向上に寄与し、最も強力な判定器では位置の一致度が約88%、推論の一致度が約65%に達しました。Counselはオープンウェイトモデルを用いて生成され、寛容なライセンスの下でコミュニティに広く提供されており、これによりエージェントシステム向けLLMベース評価器の厳密な研究と一致度の向上が促進されることを期待しています。

English

As agentic systems tackle increasingly complex multi-step tasks, evaluating their trajectories presents a major bottleneck - human annotation of a single trajectory on popular agentic benchmarks can take hours, making it difficult to scale evaluations for measuring performance or curating training data. This has driven widespread reliance on automated approaches such as LLM-as-a-judge (LLMJ) to critique agents at the process and outcome-levels at scale, however, the soundness of LLMJ critiques often goes unmeasured. Here, we introduce Counsel, the first public dataset of meta-evaluations for agentic tasks. Counsel consists of process-level critiques from open-weight LLMJs on two agent benchmarks: tau-bench (customer support agents) and DA-Code (coding agents), and human meta-evaluations of these critiques. Human annotators label critiques on each flagged error as "spot on", "correct location but poor reasoning", or "should not have flagged", achieving reliable inter-annotator agreement (Krippendorff's alpha of 0.78). The resulting dataset stratifies LLMJ critiques by human alignment across both error location within a trajectory and reasoning quality, serving as valuable data to calibrate, improve, or train LLMJs for agents. Comparing open-weight judges, we find that more capable judge models and more reasoning effort both enabled improved human agreement, with the strongest judge reaching ~88% agreement on location and ~65% on reasoning. Counsel is generated using open-weight models and is permissively licensed for broad community use, which we hope will enable rigorous study and improved alignment of LLM-based evaluators for agentic systems.