単発の成功は信頼性にあらず：ステートフルなビジネスワークフローにおけるエージェント向けサンドボックスおよびベンチマーク、Thinkingbox

要旨

最近のエージェントベンチマークは、コード修正からウェブナビゲーション、アプリAPI、関数呼び出しに至るまで、実行可能環境に評価の基盤を置くものが増えている。しかし、コード以外の重要な作業を完了するには、もっともらしい応答や有効なツール呼び出しを生成するだけでは不十分である。エージェントは、複数ターンにわたって欠落情報を収集し、ドメインポリシーに従い、依存関係のあるツールを調整し、副次的な影響なしに正しい永続的な状態遷移を実現しなければならない。本論文では、ツール・エージェント・ユーザー間の相互作用のためのサンドボックスであるThinkingboxを紹介する。これは、分離されたMCP互換ツールセッション、完全な実行トレース、および最終バックエンド状態に対する結果評価を提供する。このサンドボックス上に構築されたThinkingbox-benchには、小売、ホスピタリティ、自動車保険、ネオバンク社内IT、コンサルティングIT/人事サポートなど、多数のシナリオにわたる507件のポリシー条件付きワークフローが含まれる。各試行は、有効な軌道を受け入れ、誤った効果、欠落した効果、または余分な効果を拒否するタスク固有の実行可能チェックによって評価される。指定されたタスクでは、最終応答に必要な特性も追加でチェックされる。プロプライエタリモデルとオープンウェイトモデルの全体を通じて、最強モデルはpass@1で65.36%を達成するが、pass@20ではわずか25.25%しか達成しない。さらに、失敗した試行の多くはクリーンな終了と有効な状態変更アクションを示しており、応答またはツール呼び出しレベルのシグナルは、エンドツーエンドのタスク完了の明確な代理指標ではないことを示している。Thinkingbox-benchは、偶然成功軌道を見つけることと、ステートフルなビジネスタスクを確実に完了することとの間に大きなギャップがあることを明らかにしている。我々はThinkingboxとThinkingbox-Benchの両方を公開する：https://github.com/microsoft/thinkingbox

English

Recent agent benchmarks increasingly ground evaluation in executable environments, from code repair to web navigation, app APIs, and function calling. Yet completing consequential work beyond code requires more than producing a plausible response or valid tool call: agents must gather missing information over multiple turns, follow domain policies, coordinate dependent tools, and realize the correct persistent state transition without collateral effects. In this paper, we introduce Thinkingbox, a sandbox for tool-agent-user interaction that provides isolated MCP-compatible tool sessions, complete execution traces, and outcome evaluation over terminal backend state. Built on this sandbox, Thinkingbox-bench contains 507 policy-conditioned workflows across numerous scenarios, including retail, hospitality, auto insurance, neobank internal IT, and consulting IT/HR support. Each attempt is evaluated by task-specific executable checks that accept valid trajectories while rejecting wrong, missing, or extra effects; designated tasks additionally check required properties of the final response. Across proprietary and open-weight models, the strongest achieves 65.36% pass@1, but only 25.25% pass^20. Moreover, many failed trials show clean termination and valid state-changing actions, showing that response or tool-call-level signals are not clear proxies for end-to-end task completion. Thinkingbox-bench reveals a large gap between occasionally finding a successful trajectory and reliably completing stateful business tasks. We release both Thinkingbox and Thinkingbox-Bench: https://github.com/microsoft/thinkingbox