τ^τ-Bench: エンドツーエンドの現実的エージェント構築のための環境

要旨

LLMエージェントは急速に本番運用ソフトウェアとなり、カスタマーサービスへの対応、紛争の裁定、内部システムの運用を担うために配備されつつある。特筆すべきは、そうしたエージェントの構築作業そのものも、ますますコーディングエージェントへ委ねられるようになってきていることだ。しかし既存のベンチマークは、AIシステムが実際のクライアント案件の条件下でエージェントを納品できるかどうかについては、ほとんど評価していない。本稿では、エージェント構築そのものをタスクとするベンチマークτ^τ-bench（発音：ハイパータウベンチ）を紹介する。開発者エージェントには、企業が実際に保持している記録、要件を持つクライアント、運用が必ず通る本番API、引き継ぐコードベース、そしてサービングコストとモデルの制約が与えられる。これは、実際の案件が提供するのと同じ出発点である。この開発者エージェントは、それらを基に完全なカスタマーサービスエージェントを納品しなければならない。評価は、評価用に保持されたシミュレートユーザー（held-out simulated users）に対して納品されたエージェントを配備し、その結果を採点することで行われる。4つのドメインにわたる53タスクにおいて、最も強力な構成であるClaude Code上のClaude Opus 5は、評価用シミュレーションのわずか23.9%しか成功しなかった。一方、専門家が作成した参照解による上限スコアは82.2%に達する。これらの失敗は、人間のエージェント開発者が経験する失敗と照応している。すなわち、モデルは記録を深く理解しようとせず浅いクエリを発行し、クライアントとほとんどコミュニケーションを取らず、エージェントのアーキテクチャやサービング費用の試行をほとんど行わず、最初に動作した設計をそのまま出荷してしまう。我々はτ^τ-benchによって、エージェント構築という協働作業を、コーディングエージェントにとって測定可能な対象へと変えることを目指す。

English

LLM agents are rapidly becoming production software, deployed to handle customer service, adjudicate disputes, and operate internal systems. Notably, the work of building them is increasingly handed to coding agents, yet existing benchmarks say little about whether an AI system can deliver one under the conditions of a real client engagement. We introduce τ^τ-bench (pronounced hyper-tau-bench), a benchmark that makes agent construction the task. A developer agent is given the records a business actually keeps, a client who holds requirements, a production API that operations must run through, a codebase to inherit, and limits on serving cost and models: the same starting point a real engagement provides. From these it must deliver a complete customer-service agent, scored by deploying that agent against held-out simulated users. Across 53 tasks spanning four domains, the strongest configuration, Claude Opus 5 under Claude Code, passes just 23.9% of evaluation simulations. Meanwhile, an expert-authored reference ceiling scores 82.2%. The failures mirror ones human agent developers see: models issue shallow queries in place of deep comprehension of the records, communicate almost nothing to the client, and experiment too little with agent architecture and serving spend, shipping the first design that runs. We aim for τ^τ-bench to turn the work of cooperative agent building into a measurable target for coding agents.