AgentLens: 実運用評価型軌跡レビューによるコーディングエージェント評価

要旨

我々は、対話型コードエージェント向けのプロダクション評価型ベンチマークであるAgentLensを提案する。多くのコードエージェントベンチマークは、実行結果を1ビット（タスクに合格したかどうか）に還元するが、実際にこれらのエージェントを使用するユーザーは、エージェントが指示に従い、ツールを使用し、自身の作業を検証し、ミスから回復し、その過程でユーザーと対話する、軌跡全体を体験する。AgentLensはその軌跡全体を評価する。客観的なチェックが存在する形式的検証と、LLMによる軌跡レビューおよび並行比較を組み合わせることで、各実行結果に対してスコアがその値となった理由を読みやすく説明する。これにより、AgentLensはモデルのランキング付け以上に有用となる。我々はこれを用いてモデルの振る舞いを診断し、自社エージェントのバージョン間比較を行い、ナイトリー評価パイプラインで製品の回帰を検出する。本ベンチマークはオープンソースとして https://github.com/agent-lens/agent-lens-bench で公開する。

English

We present AgentLens, a production-assessed benchmark for interactive code agents. Most code-agent benchmarks reduce a run to a single bit -- did the task pass? -- but the people who actually use these agents experience the entire trajectory: how the agent follows instructions, uses its tools, verifies its own work, recovers from mistakes, and talks to them along the way. AgentLens evaluates that whole trajectory. It pairs formal verification, where an objective check exists, with LLM-written trajectory reviews and side-by-side comparisons, so that each run yields a readable explanation of why the score is what it is. This makes AgentLens useful for more than ranking models: we use it to diagnose model behavior, compare successive versions of our own agent, and catch product regressions in a nightly evaluation pipeline. We release the benchmark as open source at https://github.com/agent-lens/agent-lens-bench.