StateM: 하네스 스케일링을 통한 Terminal-Bench 2.1에서의 95.3% 원시 정확도, 또는 15달러 프런티어 런 달성

초록

장기(long-horizon) 에이전트는 기반 모델이 구성 단계들을 해결할 수 있는 경우에도 실패할 수 있다. 이들은 가변 상태(mutable state)를 추적하지 못하고, 이전 실행에서 얻은 교훈을 재활성화하지 못하며, 알려진 절차를 건너뛰거나 조기에 중단할 수 있다. 우리는 모델 가중치를 변경하지 않고 에이전트 주변의 실행 시스템을 개선하는 하네스 스케일링(harness scaling)에 주목한다. 우리는 영속 상태(durable states), 단계 국소 콘텍스트(phase-local context), 검사된 전이(checked transitions), 복구 가능한 런북(recoverable runbooks), 그리고 에이전트와 사용자가 함께 검토할 수 있는 버전화된 절차적 관행(versioned procedural practices)을 중심으로 실행을 조직화하는 에이전트 네이티브 런타임(agent-native runtime)인 StateM을 소개한다. Terminal-Bench 2.1에서 StateM은 GPT-5.5 xhigh를 92.1%로 향상시키며, 이는 83.1%의 기준치와 91.9%를 기록한 GPT-5.6 Sol Ultra보다 높다. 런북은 변경 없이 GPT-5.6에 그대로 적용된다. GPT-5.6 Sol xhigh를 사용할 때, StateM은 445회 시행에서 95.3%의 원시 정확도(raw accuracy)를 달성하고 89개 과제 모두를 각각 한 번 이상 성공시킨다. 동결 프로파일은 GPT-5.6 Luna를 76.7%에서 85.4%로 끌어올리며, 이는 84.9%의 Sol xhigh 기준치를 상회한다. 동일한 런타임, 런북 구조, 황금 규칙을 사용하면 38달러 미만의 적응 비용만으로도 DeepSeek-V4 Flash를 표준 타임아웃에서 82.7%에서 88.1%로, 88개 과제 공통 핵심에서는 89.1%로 향상시킨다. 나머지 대기 시간 민감 과제에 대해서만 타임아웃을 연장하면 보고된 GPT-5.6 Sol 최대 결과인 88.8%와 일치한다. 최종 점수 달성을 위한 API 사용 비용은 약 15달러이며 GPT 기준의 경우 574.68달러였다. DeepSeek 총 지출은 52.22달러이다. BusinessBench에서 개발 세트를 기반으로 구축된 계열별 런북(family-specific runbooks)은 홀드아웃에서 매크로 0.55점과 마이크로 1.34점의 향상을 제공하며, 메커니즘이 일치하는 두 계열은 10.04점 향상된다. 구체적인 규칙은 과제가 실행 구조를 공유할 때 일반화되며, 제어 방법론은 광범위하게 적용된다. StateM은 선별된 사후 분석(postmortem) 결과를 영속적이고 실행 가능한 전제 조건과 관행으로 전환하여, 학습된 제어 수단을 상태 기반 제어(stateful controls)를 통해 명시적이고 강제 가능하게 만든다. 코드는 github.com/henryqin1997/statem에서 확인할 수 있다.

English

Long-horizon agents can fail even when their underlying models can solve the constituent steps. They may lose track of mutable state, fail to reactivate lessons from earlier executions, skip known procedures, or stop prematurely. We bet on harness scaling to improve the execution system around an agent without changing its model weights. We introduce StateM, an agent-native runtime that organizes execution around durable states, phase-local context, checked transitions, recoverable runbooks, and versioned procedural practices that agents and users can inspect together. On Terminal-Bench 2.1, StateM raises GPT-5.5 xhigh to 92.1\%, versus 83.1\% reference and GPT-5.6 Sol Ultra at 91.9\%. The runbook transfers unchanged to GPT-5.6. With GPT-5.6 Sol xhigh, StateM reaches 95.3\% raw accuracy across 445 trials and succeeds on all 89 tasks at least once. The frozen profile raises GPT-5.6 Luna from 76.7 to 85.4\%, above the 84.9\% Sol xhigh reference. Using the same runtime, runbook structure, and golden rules, less than \38 of adaptation raises DeepSeek-V4 Flash from 82.7 to 88.1% under standard timeouts and to 89.1% on an 88-task common core. Extending only the remaining latency-sensitive task matches the reported 88.8% GPT-5.6 Sol max result. Final-score API usage is about 15 versus \574.68 for the GPT reference; total DeepSeek expenditure is 52.22. On BusinessBench, family-specific runbooks built on development sets yield held-out gains of 0.55 macro and 1.34 micro points; two mechanism-matched families improve by 10.04 points. Concrete rules generalize when tasks share execution structure, while the control methodology applies broadly. StateM turns selected postmortem findings into persistent, executable preconditions and practices, making learned controls explicit and enforceable through stateful controls. Code at github.com/henryqin1997/statem.