HarnessDev：LLMは自身のエージェント・ハーネスを作成し、進化させることができるか？

HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?

September 1, 2026

著者: Yuhao Wu, Jingyuan Zhang, Jiajun Shi, Xinping Lei, Qingshui Gu, Yuxuan Zhang, Zexuan Wang, Chen He, Chen Huang, Maojia Song, Zhiyuan Zeng, Shaowen Wang, Jinkai Liu, Yunfeng Shi, Jiaheng Liu, Shen Yan, Wenhao Huang, Ge Zhang, Wenxuan Zhang

cs.AI

要旨

エージェントが研究プロトタイプから実運用ツールへと移行するにつれて、その能力は、一般にエージェントハーネスと呼ばれるモデル外部の実行インフラストラクチャにますます依存するようになる。モデルの重みを固定したままこのハーネスを変更すると、タスクの性能が大幅に変化し得る。現在のエージェント評価は通常、選択したハーネスの下での下流タスク性能を報告するだけであり、ハーネス自体を開発するモデルの能力は比較的未解明のままとなっている。本稿では、評価の単位をタスク出力から実行可能なインフラストラクチャへと移すベンチマークHarnessDevを提案する。HarnessDevは2つの段階で構成される。Creation段階では、エージェントは最小限のシードと少数のケースから出発し、完全な実行システムを構築する。Evolution段階では、自身が作成したハーネスを起点として、下流タスクの実行フィードバックを用いてハーネスを反復的に改訂し、ベンチマーク性能の向上を目指す。次に、構築された各ハーネスを、能力（未見ベンチマークでのタスク成功率）と効率（実行トークンコスト）の観点から評価する。報告するCreationの結果は、6つの作成側LLM、4つのドメイン、および合計2,207件の一意な下流インスタンスを備える5つの下流ベンチマークにわたり、開発から除外された隠し評価タスクが用いられている。生成されたハーネスは、コード、検索・研究の分野では、人間が作り込んだ成熟した参照ハーネスに依然として大きく及ばない一方、文章作成と機械学習の実験の分野では選択した参照ハーネスに匹敵するかそれを上回り、実行コストには大きなばらつきが見られる。Evolutionはある程度の性能向上をもたらすが、その向上は不安定であり、未見タスクへの転移も部分的にすぎない。さらに、ランタイムモデルを固定した実験から、性能向上はハーネスを実行するモデルに強く依存し、モデル間での転移が限られることも示される。

English

As agents move from research prototypes to deployed tools, their capability increasingly depends on model-external execution infrastructure, commonly termed the agent harness. Changing this harness while holding model weights fixed can substantially alter task performance. Current agent evaluations typically report downstream performance under a chosen harness, leaving a model's ability to develop the harness itself comparatively underexplored. We introduce HarnessDev, a benchmark that shifts the unit of evaluation from task outputs to runnable infrastructure. HarnessDev covers two stages. In Creation, the agent starts from a minimal seed and a small number of cases, then builds a complete execution system. In Evolution, it starts from its own created harness and iteratively revises it using downstream execution feedback, with the goal of improving benchmark performance. We then evaluate each constructed harness on capability (task success on held-out benchmarks) and efficiency (execution-token cost). The reported Creation results cover six creator LLMs, four domains, and five downstream benchmarks totaling 2,207 unique downstream instances, with hidden evaluation tasks withheld from development. We find that generated harnesses remain substantially behind mature human-engineered references on code and on search and research, while matching or exceeding the selected references on writing and machine-learning experimentation, with large variation in execution cost. Evolution produces some performance gains, but they are unstable and transfer only partially to held-out tasks. Experiments with a fixed runtime model further show that the gains depend strongly on the model executing the harness, indicating limited transfer across models.