StateM: ハーネススケーリングによるTerminal-Bench 2.1での95.3%生精度、すなわち15ドルのフロンティアラン達成

要旨

長期的なエージェントは、基盤となるモデルが構成ステップを個別に解ける場合でも失敗することがある。可変状態を見失ったり、以前の実行からの教訓を再活性化できなかったり、既知の手順を省略したり、早期に停止したりする可能性がある。我々は、モデルの重みを変更せずにエージェントの周囲の実行システムを改善するハーネススケーリングに賭ける。我々は、実行を永続的状態、フェーズローカルなコンテキスト、検証付き遷移、回復可能なランブック、そしてエージェントとユーザが一緒に検査できるバージョン管理された手続き的プラクティスの周りに編成するエージェントネイティブなランタイムであるStateMを紹介する。 Terminal-Bench 2.1では、StateMはGPT-5.5 xhighを、リファレンスの83.1%およびGPT-5.6 Sol Ultraの91.9%に対し、92.1%に引き上げる。このランブックは変更なしでGPT-5.6に転用される。GPT-5.6 Sol xhighでは、StateMは445回の試行にわたって95.3%の生精度に達し、89タスクすべてで少なくとも1回は成功する。凍結プロファイルは、GPT-5.6 Lunaを76.7%から85.4%に引き上げ、これはSol xhighリファレンスの84.9%を上回る。同じランタイム、ランブック構造、および黄金律を用いて、38ドル未満の適応により、DeepSeek-V4 Flashは標準タイムアウトで82.7%から88.1%に、88タスクの共通コアでは89.1%に向上する。残りのレイテンシー依存タスクのみを延長することで、報告されているGPT-5.6 Sol maxの88.8%に一致する。最終スコアのAPI使用量は約15ドルであり、GPTリファレンスの574.68ドルに対し、DeepSeekの総支出は52.22ドルである。 BusinessBenchでは、開発セット上で構築されたファミリー固有のランブックにより、ホールドアウトでマクロ0.55ポイント、マイクロ1.34ポイントの向上が得られる。メカニズムが一致する2つのファミリーは10.04ポイント向上する。具体的なルールは、タスクが実行構造を共有する場合に一般化し、一方で制御方法論は広く適用可能である。StateMは、選択された事後分析の知見を永続的で実行可能な前提条件およびプラクティスに変換し、学習された制御を状態保持型の制御を通じて明示的かつ強制可能にする。コードはgithub.com/henryqin1997/statemにある。

English

Long-horizon agents can fail even when their underlying models can solve the constituent steps. They may lose track of mutable state, fail to reactivate lessons from earlier executions, skip known procedures, or stop prematurely. We bet on harness scaling to improve the execution system around an agent without changing its model weights. We introduce StateM, an agent-native runtime that organizes execution around durable states, phase-local context, checked transitions, recoverable runbooks, and versioned procedural practices that agents and users can inspect together. On Terminal-Bench 2.1, StateM raises GPT-5.5 xhigh to 92.1\%, versus 83.1\% reference and GPT-5.6 Sol Ultra at 91.9\%. The runbook transfers unchanged to GPT-5.6. With GPT-5.6 Sol xhigh, StateM reaches 95.3\% raw accuracy across 445 trials and succeeds on all 89 tasks at least once. The frozen profile raises GPT-5.6 Luna from 76.7 to 85.4\%, above the 84.9\% Sol xhigh reference. Using the same runtime, runbook structure, and golden rules, less than \38 of adaptation raises DeepSeek-V4 Flash from 82.7 to 88.1% under standard timeouts and to 89.1% on an 88-task common core. Extending only the remaining latency-sensitive task matches the reported 88.8% GPT-5.6 Sol max result. Final-score API usage is about 15 versus \574.68 for the GPT reference; total DeepSeek expenditure is 52.22. On BusinessBench, family-specific runbooks built on development sets yield held-out gains of 0.55 macro and 1.34 micro points; two mechanism-matched families improve by 10.04 points. Concrete rules generalize when tasks share execution structure, while the control methodology applies broadly. StateM turns selected postmortem findings into persistent, executable preconditions and practices, making learned controls explicit and enforceable through stateful controls. Code at github.com/henryqin1997/statem.