HarnessOpt-Bench: ハーネス最適化におけるLLMの評価

要旨

大規模言語モデル（LLM）がエージェント型システムにますます組み込まれるにつれ、その能力はモデルの重みだけでなく、ハーネス、すなわちそれらを取り巻くプロンプト、ツール、制御フロー、メモリ、およびオーケストレーションコードにも依存するようになっている。これにより、自動化されたハーネス最適化——AIシステムによる反復的かつ評価に導かれたハーネスの改善——は、AIシステムを改善するための重要な経路であると同時に、AIシステム自身にとって高度な能力要件ともなっている。それにもかかわらず、コミュニティには、最先端のLLMがこのタスクをどの程度うまく遂行するかを測定するための共通プロトコルが存在しない。本稿では、高コストで確率的な評価下でのエンドツーエンドのハーネス最適化のためのベンチマークであるHarnessOpt-Benchを紹介する。オプティマイザ（コーディング用ハーネスと組み合わせたLLM）は、対象エージェントのシードハーネス、段階的な評価フィードバック、および固定された対象評価予算を受け取る。オプティマイザはハーネスを編集し、最終候補を指名する。その最終候補は、探索全体を通じてアクセスできない保留テスト分割において、シードに対する正規化された改善度によってスコアリングされる。信頼できる実行環境が評価境界を強制し、対象エージェントのリソース使用量を測定し、監査用に候補バージョンを保存する。我々は、共有コーディングハーネスの下とネイティブハーネスの下の両方で、4つの下流タスクにわたり、111回のスコアリング済み実行において、5つの最先端LLMをオプティマイザとして評価した。実験結果は、オプティマイザモデル間の差異が、それらが作用するコーディングハーネス間の差異よりも大きいこと、ネイティブハーネスが一貫して優れているわけではないこと、および改善度がタスクとシードの体制によって大きく異なることを示している。これらの結果は、ハーネス最適化が、測定可能かつ判別可能な能力であり、改善の余地が大きいことを確立するものである。

English

As LLMs are increasingly deployed within agentic systems, their capabilities depend not only on the model weights but also on the harness: the prompts, tools, control flow, memory, and orchestration code surrounding them. This makes automated harness optimization -- the iterative and evaluation-guided improvement of a harness by an AI system -- both an important route to improving AI systems and a demanding capability for AI systems themselves. Yet the community lacks a common protocol for measuring how well frontier LLMs perform at this task. We introduce HarnessOpt-Bench, a benchmark for end-to-end harness optimization under expensive and stochastic evaluation. An optimizer, an LLM paired with a coding harness, receives a target agent's seed harness, graded evaluation feedback, and a fixed target-evaluation budget. It edits the harness and nominates a final candidate, which is scored by its normalized gain over the seed on a held-out test partition that remains inaccessible throughout search. A trusted execution environment enforces the evaluation boundary, meters target-agent resource use, and preserves candidate versions for audit. We evaluate 5 frontier LLMs as optimizers both under a shared coding harness and under their native harnesses across 4 downstream tasks, over 111 scored runs. Experiment results show that optimizer models separate more than the coding harnesses they act through, native harnesses are not consistently superior, and gains vary substantially across tasks and seed regimes. These results establish harness optimization as a measurable and discriminative capability with large space for improvement.