HarnessOpt-Bench: 하네스 최적화에서의 LLM 평가

초록

LLM이 에이전트 시스템에 점점 더 많이 배포됨에 따라, 그 능력은 모델 가중치뿐만 아니라 하네스, 즉 이를 둘러싼 프롬프트, 도구, 제어 흐름, 메모리 및 오케스트레이션 코드에 의존한다. 이에 따라 자동화된 하네스 최적화, 즉 AI 시스템이 하네스를 반복적으로 평가에 기반하여 개선하는 과정은 AI 시스템을 개선하는 중요한 경로이자 AI 시스템 자체에 요구되는 까다로운 능력이 된다. 그러나 커뮤니티에는 최첨단 LLM이 이 작업을 얼마나 잘 수행하는지 측정하기 위한 공통 프로토콜이 부족하다. 우리는 비용이 많이 들고 확률적인 평가 환경에서의 종단 간 하네스 최적화를 위한 벤치마크인 HarnessOpt-Bench를 소개한다. 최적화기, 즉 코딩 하네스와 결합된 LLM은 대상 에이전트의 시드 하네스, 채점된 평가 피드백, 그리고 고정된 대상 평가 예산을 입력으로 받는다. 최적화기는 하네스를 편집하고 최종 후보를 지명하며, 이 후보는 탐색 과정 내내 접근할 수 없는 분리된 테스트 파티션에서 시드 대비 정규화된 개선으로 평가된다. 신뢰 실행 환경은 평가 경계를 강제하고, 대상 에이전트의 리소스 사용량을 측정하며, 감사를 위해 후보 버전을 보존한다. 우리는 4개의 다운스트림 태스크에 걸쳐 공유 코딩 하네스와 각자의 기본 하네스에서 5개의 최첨단 LLM을 최적화기로 평가하였으며, 총 111회의 점수 매겨진 실행을 수행했다. 실험 결과는 최적화 모델 간 성능 차이가 이들이 작동하는 코딩 하네스 간 성능 차이보다 더 크며, 기본 하네스가 일관되게 우월하지 않고, 개선 효과가 태스크와 시드 체계에 걸쳐 상당히 다름을 보여준다. 이러한 결과는 하네스 최적화를 개선의 여지가 큰 측정 가능하고 변별력 있는 능력으로 확립한다.

English

As LLMs are increasingly deployed within agentic systems, their capabilities depend not only on the model weights but also on the harness: the prompts, tools, control flow, memory, and orchestration code surrounding them. This makes automated harness optimization -- the iterative and evaluation-guided improvement of a harness by an AI system -- both an important route to improving AI systems and a demanding capability for AI systems themselves. Yet the community lacks a common protocol for measuring how well frontier LLMs perform at this task. We introduce HarnessOpt-Bench, a benchmark for end-to-end harness optimization under expensive and stochastic evaluation. An optimizer, an LLM paired with a coding harness, receives a target agent's seed harness, graded evaluation feedback, and a fixed target-evaluation budget. It edits the harness and nominates a final candidate, which is scored by its normalized gain over the seed on a held-out test partition that remains inaccessible throughout search. A trusted execution environment enforces the evaluation boundary, meters target-agent resource use, and preserves candidate versions for audit. We evaluate 5 frontier LLMs as optimizers both under a shared coding harness and under their native harnesses across 4 downstream tasks, over 111 scored runs. Experiment results show that optimizer models separate more than the coding harnesses they act through, native harnesses are not consistently superior, and gains vary substantially across tasks and seed regimes. These results establish harness optimization as a measurable and discriminative capability with large space for improvement.