ClawProBench：実行時カバレッジと凍結ワークプレイス型ホールドアウトを備えたトレース考慮型AIエージェント評価

要旨

エージェントベンチマークは、エージェントがステートフルなランタイム上で動作する場合でも、最終的な回答のみを評価することが多い。我々は、これは評価対象の規定が不十分であると主張する。適切な評価単位は、宣言されたモデル＋ランタイム構成であり、その障害はエビデンス獲得、ランタイムルーティング、安全境界、または反復実行において発生し得る。我々は、ランタイムネイティブなエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。これはOpenClaw上に実装されている。OpenClawは、ワークスペースツールと、ブラウジング、メモリ、メッセージング、スケジューリング、スキル、サブエージェントのためのネイティブサーフェスを備えた実稼働エージェントランタイムである。ClawProBenchは2つのトラックを定義する。ライブなワークスペースとネイティブランタイムのルーティングタスクを含む102シナリオのフルプロファイルと、ロバストなランキングのためのクローズドワールドJSON出力契約を備えた固定68シナリオのホールドアウトである。試行は、正確性、プロセス品質、効率性を組み合わせた安全ゲート付きの式により実行トレースからスコアリングされ、障害エビデンスが監査のために保存される。我々の匿名アーティファクトには、ベンチマーク定義、スコアリングコード、マニフェスト、サニタイズ済みトレースが含まれる。我々はフルプロファイルで68構成、ホールドアウトで37構成を評価した。最高の安全ゲート付き平均トレーススコアは0.7671である。ネイティブランタイムタスクはワークスペースライブタスクより低い性能を示した（0.5238対0.6415）。ホールドアウトでは、pass@k-anyは厳格な3試行パスを上回り（0.6638対0.2890）、一方フルプロファイルとホールドアウトのランキングは弱い整合性を示した（スピアマン0.1300）。純粋に正確性のみに基づくランキングは、プロセスを考慮した、安全ゲート付き、厳格パスの観点と大きく異なる。最終回答のみのリーダーボードは、ネイティブサーフェスの弱点、一回限りの成功、トレース局所的なエージェント障害モードを隠す可能性がある。

English

Agent benchmarks often evaluate only final answers even when agents run on stateful runtimes. We argue this under-specifies what is being evaluated: the proper unit is a declared model-plus-runtime configuration whose failures can occur in evidence acquisition, runtime routing, safety boundaries, or repeated execution. We present ClawProBench, a trace-aware benchmark for runtime-native agent evaluation instantiated on OpenClaw, a live agent runtime with workspace tools and native surfaces for browsing, memory, messaging, scheduling, skills, and subagents. ClawProBench defines two tracks: a 102-scenario full profile with live workspace and native-runtime routing tasks, and a frozen 68-scenario holdout with closed-world JSON output contracts for robust ranking. Trials are scored from execution traces via a safety-gated formula combining correctness, process quality, and efficiency, preserving failure evidence for audit. Our anonymous artifact includes benchmark definitions, scoring code, manifests and sanitized traces. We evaluate 68 configurations on the full profile and 37 on holdout. The top safety-gated average trace score is 0.7671. Native-runtime tasks underperform workspace-live tasks (0.5238 vs. 0.6415). On holdout, pass@k-any outperforms strict three-trial pass (0.6638 vs. 0.2890), while full-profile and holdout rankings show weak alignment (Spearman 0.1300). Rankings based purely on correctness differ substantially from process-aware, safety-gated and strict-pass views. Final-answer leaderboards may hide native-surface weaknesses, one-off successes and trace-local agent failure modes.