ClawProBench: 런타임 커버리지 및 고정된 업무 환경 스타일 홀드아웃을 통한 AI 에이전트의 트레이스 기반 평가

초록

에이전트 벤치마크는 에이전트가 상태 저장 런타임에서 실행되는 경우에도 종종 최종 답변만 평가한다. 우리는 이것이 평가되는 대상을 과소 명세한다고 주장한다. 적절한 단위는 선언된 모델-플러스-런타임 구성이며, 그 실패는 증거 획득, 런타임 라우팅, 안전 경계 또는 반복 실행에서 발생할 수 있다. 본 논문은 OpenClaw에 인스턴스화된 런타임 네이티브 에이전트 평가를 위한 트레이스 인지 벤치마크인 ClawProBench를 제시한다. OpenClaw는 작업공간 도구와 브라우징, 메모리, 메시징, 스케줄링, 스킬 및 하위 에이전트를 위한 네이티브 서피스를 갖춘 라이브 에이전트 런타임이다. ClawProBench는 두 개의 트랙을 정의한다: 라이브 작업공간과 네이티브 런타임 라우팅 작업이 포함된 102개 시나리오 전체 프로파일, 그리고 강건한 순위 평가를 위한 폐쇄 세계 JSON 출력 계약이 있는 고정된 68개 시나리오 홀드아웃이다. 시험은 정확성, 프로세스 품질 및 효율성을 결합한 안전 게이트 공식을 통해 실행 트레이스로부터 채점되며, 감사 목적의 실패 증거를 보존한다. 익명 아티팩트에는 벤치마크 정의, 채점 코드, 매니페스트 및 익명화된 트레이스가 포함된다. 전체 프로파일에서 68개 구성, 홀드아웃에서 37개 구성을 평가했다. 최고 안전 게이트 평균 트레이스 점수는 0.7671이다. 네이티브 런타임 작업은 작업공간 라이브 작업보다 낮은 성과를 보였다(0.5238 대 0.6415). 홀드아웃에서 pass@k-any는 엄격한 3회 시도 통과보다 우수했으며(0.6638 대 0.2890), 전체 프로파일과 홀드아웃 순위는 약한 정렬을 보였다(스피어만 0.1300). 정확성만으로 계산된 순위는 프로세스 인지, 안전 게이트 및 엄격 통과 관점과 상당히 다르다. 최종 답변 리더보드는 네이티브 서피스 취약점, 일회성 성공 및 트레이스 국소적 에이전트 실패 모드를 숨길 수 있다.

English

Agent benchmarks often evaluate only final answers even when agents run on stateful runtimes. We argue this under-specifies what is being evaluated: the proper unit is a declared model-plus-runtime configuration whose failures can occur in evidence acquisition, runtime routing, safety boundaries, or repeated execution. We present ClawProBench, a trace-aware benchmark for runtime-native agent evaluation instantiated on OpenClaw, a live agent runtime with workspace tools and native surfaces for browsing, memory, messaging, scheduling, skills, and subagents. ClawProBench defines two tracks: a 102-scenario full profile with live workspace and native-runtime routing tasks, and a frozen 68-scenario holdout with closed-world JSON output contracts for robust ranking. Trials are scored from execution traces via a safety-gated formula combining correctness, process quality, and efficiency, preserving failure evidence for audit. Our anonymous artifact includes benchmark definitions, scoring code, manifests and sanitized traces. We evaluate 68 configurations on the full profile and 37 on holdout. The top safety-gated average trace score is 0.7671. Native-runtime tasks underperform workspace-live tasks (0.5238 vs. 0.6415). On holdout, pass@k-any outperforms strict three-trial pass (0.6638 vs. 0.2890), while full-profile and holdout rankings show weak alignment (Spearman 0.1300). Rankings based purely on correctness differ substantially from process-aware, safety-gated and strict-pass views. Final-answer leaderboards may hide native-surface weaknesses, one-off successes and trace-local agent failure modes.