HarnessDev: LLM이 스스로 자신의 에이전트 하네스를 생성하고 진화시킬 수 있는가?

HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?

September 1, 2026

저자: Yuhao Wu, Jingyuan Zhang, Jiajun Shi, Xinping Lei, Qingshui Gu, Yuxuan Zhang, Zexuan Wang, Chen He, Chen Huang, Maojia Song, Zhiyuan Zeng, Shaowen Wang, Jinkai Liu, Yunfeng Shi, Jiaheng Liu, Shen Yan, Wenhao Huang, Ge Zhang, Wenxuan Zhang

cs.AI

초록

에이전트가 연구 프로토타입에서 배포 도구로 전환됨에 따라, 에이전트의 성능은 점점 더 모델 외부의 실행 인프라, 즉 일반적으로 에이전트 하네스(agent harness)라고 불리는 요소에 의존하게 된다. 모델 가중치를 고정한 채 이 하네스를 변경하면 작업 성능이 크게 달라질 수 있다. 현재의 에이전트 평가는 대개 선택된 하네스 하에서의 다운스트림 성능을 보고하며, 에이전트가 하네스 자체를 개발하는 능력은 상대적으로 충분히 탐구되지 않은 상태로 남아 있다. 본 논문에서는 평가 단위를 작업 출력에서 실행 가능한 인프라로 전환하는 벤치마크인 HarnessDev를 제안한다. HarnessDev는 두 단계로 구성된다. 생성(Creation) 단계에서 에이전트는 최소한의 시드와 소수의 사례로부터 시작하여 완전한 실행 시스템을 구축한다. 진화(Evolution) 단계에서는 스스로 만든 하네스를 출발점으로 삼아 다운스트림 실행 피드백을 활용해 하네스를 반복적으로 개선하며, 벤치마크 성능 향상을 목표로 한다. 이후 구축된 각 하네스는 성능(보류된 벤치마크에서의 과제 성공률)과 효율성(실행 토큰 비용) 측면에서 평가된다. 보고된 Creation 결과는 여섯 개의 제작 LLM, 네 개의 도메인, 총 2,207개의 고유 다운스트림 인스턴스로 구성된 다섯 개의 다운스트림 벤치마크를 대상으로 하며, 개발 과정에서는 평가 과제가 숨겨진 채 유지된다. 실험 결과, 생성된 하네스는 코드 영역과 검색·연구 영역에서 인간이 직접 설계한 완성도 높은 참조 구현에 여전히 상당히 뒤처졌으며, 글쓰기와 머신러닝 실험 영역에서는 선정된 참조 구현과 대등하거나 더 나은 성능을 보였다. 또한 실행 비용의 편차가 컸다. Evolution 단계는 일부 성능 향상을 가져왔지만 그 향상은 불안정하며, 보류된 과제로의 전이도 부분적으로만 이루어졌다. 런타임 모델을 고정한 추가 실험에서는 이러한 성능 향상이 하네스를 실행하는 모델에 크게 의존한다는 사실이 드러났으며, 이는 모델 간 전이 가능성이 제한적임을 시사한다.

English

As agents move from research prototypes to deployed tools, their capability increasingly depends on model-external execution infrastructure, commonly termed the agent harness. Changing this harness while holding model weights fixed can substantially alter task performance. Current agent evaluations typically report downstream performance under a chosen harness, leaving a model's ability to develop the harness itself comparatively underexplored. We introduce HarnessDev, a benchmark that shifts the unit of evaluation from task outputs to runnable infrastructure. HarnessDev covers two stages. In Creation, the agent starts from a minimal seed and a small number of cases, then builds a complete execution system. In Evolution, it starts from its own created harness and iteratively revises it using downstream execution feedback, with the goal of improving benchmark performance. We then evaluate each constructed harness on capability (task success on held-out benchmarks) and efficiency (execution-token cost). The reported Creation results cover six creator LLMs, four domains, and five downstream benchmarks totaling 2,207 unique downstream instances, with hidden evaluation tasks withheld from development. We find that generated harnesses remain substantially behind mature human-engineered references on code and on search and research, while matching or exceeding the selected references on writing and machine-learning experimentation, with large variation in execution cost. Evolution produces some performance gains, but they are unstable and transfer only partially to held-out tasks. Experiments with a fixed runtime model further show that the gains depend strongly on the model executing the harness, indicating limited transfer across models.