QuoteBench: 일치된 점수가 명령 경로 실패를 어떻게 숨길 수 있는가

초록

LLM 코딩 에이전트는 모델 출력을 직렬화, 래핑, 재파싱할 수 있는 인터페이스를 통해 Bash 명령을 실행한다. 일치된 실행 점수만으로는 명령 생성 오류와 생성 이후에 도입된 실패를 구분할 수 없다. QuoteBench는 14개의 사고 기반 계열에서 도출된 56개의 원샷 작업에 대한 정확한 최종 상태 검증을 통해 이러한 경계를 측정하며, 의도적으로 이스케이프되지 않은 추가 파서를 중심으로 생성 계약과 실행 전송을 교차시킨다. 보간 지점에서 이스케이프하면 재생된 각 응답의 원시 경로 결과가 재현되므로, 공개된 경계 하에서의 어떤 회복도 모델이 생성 방식을 변경할 때만 가능하다. 8개의 동일 창 구성에서 동일한 응답을 추가 파서를 통해 재생하면 성공률이 55.4~73.2퍼센트 포인트만큼 낮아진다. 공개는 여섯 구성에 대해 30.4~60.7포인트를 회복시키고, 나머지 두 구성에 대해서는 0 또는 약간의 음수를 보인다. 원시 생성은 최첨단에서 거의 포화 상태이며, 경계 적응이 여전히 모델을 구분한다. GPT-5.6-sol의 일치 격차 -3.6포인트는 -64.3포인트의 손상과 +60.7포인트의 보상을 숨긴다. 배포 구성은 모델 순서를 바꾼다. 26개의 비교 가능한 쌍 중 하나의 역전은 명확하고, 네 개는 단일 작업 차이의 경계에 놓여 있다. 명령 실행 에이전트의 평가는 일치 점수를 모델 고유 속성으로 취급하기보다 모델 구성, 생성 계약, 실행 경로, 작동 지점 및 최종 상태 검증기를 보고해야 한다.

English

LLM coding agents issue Bash commands through interfaces that may serialize, wrap, and reparse model output. Matched execution scores alone cannot distinguish command-generation errors from failures introduced after generation. QuoteBench measures this boundary with exact final-state validation on 56 one-shot tasks from 14 incident-derived families, crossing the generation contract with the execution transport around one deliberately unescaped added parser. Escaping at the interpolation point reproduces each replayed reply's raw-path outcome, so any recovery under a disclosed boundary must come from the model changing its generation. Across eight same-window configurations, replaying the same reply through the added parser lowers success by 55.4 to 73.2 percentage points; disclosure recovers 30.4 to 60.7 points for six configurations, and zero or slightly negative for the other two. Raw generation is nearly saturated at the frontier; boundary adaptation is what still separates models. GPT-5.6-sol's matched gap of -3.6 points hides -64.3 points of damage and +60.7 points of compensation. The deployment configuration reorders models: one reversal among 26 comparable pairs is unambiguous and four more sit on single-task margins. Evaluations of command-issuing agents should report the model configuration, generation contract, execution path, operating point, and final-state validator rather than treat a matched score as an intrinsic model property.