QuoteBench：一致したスコアはいかにコマンドパスの失敗を隠し得るか

要旨

LLMコーディングエージェントは、モデル出力をシリアライズ、ラップ、再解析する可能性のあるインターフェースを通じてBashコマンドを発行する。マッチング実行スコアだけでは、コマンド生成エラーと、生成後に導入された失敗とを区別できない。QuoteBenchは、14のインシデント由来ファミリから得た56のワンショットタスクについて厳密な最終状態検証を用いてこの境界を測定し、生成契約と実行トランスポートを、意図的にエスケープされていない追加パーサを軸に交差させる。補間点でのエスケープは、再生された各応答の生パス（raw path）の結果を再現するため、開示された境界の下での回復は、モデルが生成を変更することによってのみ達成される。同一ウィンドウの8構成にわたって、同じ応答を追加パーサ経由で再生すると、成功率は55.4～73.2パーセントポイント低下する。開示により、6構成では30.4～60.7ポイント回復し、残り2構成ではゼロまたはわずかに負となる。フロンティアでは生の生成はほぼ飽和しており、モデル間を依然として分けるのは境界適応である。GPT-5.6-solのマッチングギャップは-3.6ポイントだが、その背後には-64.3ポイントの損害と+60.7ポイントの補償が隠されている。デプロイ構成はモデルの順序を変える。比較可能な26ペアのうち1つの逆転は明確であり、さらに4つは単一タスクの僅差に依存している。コマンド発行エージェントの評価では、マッチングスコアをモデルの固有の特性として扱うのではなく、モデル構成、生成契約、実行パス、動作点、最終状態検証器を報告すべきである。

English

LLM coding agents issue Bash commands through interfaces that may serialize, wrap, and reparse model output. Matched execution scores alone cannot distinguish command-generation errors from failures introduced after generation. QuoteBench measures this boundary with exact final-state validation on 56 one-shot tasks from 14 incident-derived families, crossing the generation contract with the execution transport around one deliberately unescaped added parser. Escaping at the interpolation point reproduces each replayed reply's raw-path outcome, so any recovery under a disclosed boundary must come from the model changing its generation. Across eight same-window configurations, replaying the same reply through the added parser lowers success by 55.4 to 73.2 percentage points; disclosure recovers 30.4 to 60.7 points for six configurations, and zero or slightly negative for the other two. Raw generation is nearly saturated at the frontier; boundary adaptation is what still separates models. GPT-5.6-sol's matched gap of -3.6 points hides -64.3 points of damage and +60.7 points of compensation. The deployment configuration reorders models: one reversal among 26 comparable pairs is unambiguous and four more sit on single-task margins. Evaluations of command-issuing agents should report the model configuration, generation contract, execution path, operating point, and final-state validator rather than treat a matched score as an intrinsic model property.