EarlyEval: 조기 결과 예측을 통한 저비용 에이전트 평가

초록

LLM 에이전트를 평가하는 것은 그 개발 방향을 설정하는 데 필수적이지만, 그 비용이 너무 높아져 감당하기 어렵게 되었다. 최첨단 모델 하나를 에이전트 벤치마크에서 한 번 평가하는 데 수백에서 수천 달러가 들 수 있으며, 이러한 비용은 반복적인 개발 주기 동안 여러 차례 지불된다. 벤치마크 증류(benchmark distillation)에 초점을 맞춘 기존 연구들은 평가 과제(task)의 수를 줄이지만 각 과제 실행 비용에는 변화가 없다. 본 연구는 실행 비용을 과제 내부에서 절감하는 상호보완적인 효율성 축인 조기 결과 예측(early outcome prediction)을 제안한다. 본 연구의 핵심 통찰은 에이전트의 최종 결과가 실행이 완료되기 훨씬 전에 중간 행동만으로도 분명히 드러나는 경우가 많다는 것이다. 이러한 아이디어를 구현한 EarlyEval은 행동, 텍스트, 참조 해법 특징에 대해 LightGBM 기반 성공/실패 분류기 쌍을 훈련하고, 어느 한쪽 분류기가 보정된 신뢰도 임계값을 넘어서는 순간 에이전트 실행을 중단하는 경량 프레임워크로, 단계당 추가 비용(overhead)은 무시할 수준이다. SWE-bench Verified, TerminalBench, Toolathlon의 세 벤치마크에서 EarlyEval은 89%~97%의 예측 정확도로 에이전트 단계의 13%~26%를 제거하고 입력 토큰의 최대 44.1%, 출력 토큰의 최대 29.4%를 절감하면서, 에이전트별 해결률 변화는 평균 1~2퍼센트포인트에 불과하다.

English

Evaluating LLM agents is essential for guiding their development, yet it has grown prohibitively expensive: a single pass of a frontier model over an agentic benchmark can cost hundreds to thousands of dollars, a price paid repeatedly across iterative development cycles. Prior efforts, centered on benchmark distillation, reduce the number of evaluation tasks but leave the cost of executing each retained task untouched. In this work, we introduce early outcome prediction, a complementary axis of efficiency that instead cuts cost within each task. Our key insight is that an agent's final outcome is often evident from its intermediate behavior well before execution completes. We instantiate this idea in EarlyEval, a lightweight framework that trains a pair of LightGBM success and failure classifiers over behavioral, textual, and reference-solution features, and halts an agent run the moment either classifier crosses a calibrated confidence threshold, adding negligible per-step overhead. Across three benchmarks, SWE-bench Verified, TerminalBench, and Toolathlon, EarlyEval can eliminate 13%-26% of agent steps and up to 44.1% input tokens and 29.4% output tokens at 89%-97% prediction accuracy, while perturbing per-agent resolve rates by only one to two percentage points on average.

EarlyEval: 조기 결과 예측을 통한 저비용 에이전트 평가

EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction

초록

Support