共進化するハーネスとモデル：オンポリシー補正は、模倣が失敗する場面でより弱いモデルの追いつきを助ける

要旨

エージェントハーネス（モデルを囲むシステムプロンプト、ツールセット、実行フック、コンテキスト管理のスキャフォールディング）は、エージェントタスク成功の決定的な規定要因である。自動化されたハーネス進化により、小規模モデルがドメイン固有タスクで良好な性能を発揮し、フロンティアモデルを用いる場合のコストの何分の一かで済むようになる。ハーネスとモデル重みの両方が振る舞いを形作るため、我々はハーネス進化と軽量ファインチューニングをどのように組み合わせるべきかを問う。7つのエンタープライズエージェントタスクを通じて、我々はまず弱いモデルを用いてハーネスを進化させ、次により強いエキスパートがしばしばそれをより効果的に使用することを見いだす。これは、エキスパートによる監督が残りのギャップを埋めうることを示唆する。しかしながら、進化したハーネスの下でエキスパートの完全な軌跡を用いて弱いモデルを訓練すると裏目に出る。Qwen3-CoderとGemma 4の両方で、7タスクすべてにおいて性能が4〜30ポイント後退する。同じ手続きが進化前のハーネスの下では役立つにもかかわらず、である。我々の分析は、模倣が知識を転移しスキャフォールドの使用を増やす一方で、モデルとハーネスの適合を損なうことを示す。弱いモデルは、それを実行する能力を欠いたままエキスパートの計画戦略を採用し、自身の本来の計画スタイルに合わせて進化したハーネスともはや適合しなくなる。したがって我々は、メタレベルMLEエージェントによって自動化されたオンポリシー・エキスパート補正パイプラインを開発する。これは、弱いモデル自身のロールアウトにおいて失敗したターンを特定し、エキスパートにそのターンのみを書き直すよう求める。これはモデルの計画スタイルを保ち、ハーネス進化とモデル適応の利得を組み合わせる。我々の結果は、ハーネス更新と重み更新の間の競合源を特定して解決し、ドメイン固有のエンタープライズタスクにおける経済的な共進化のための互換性を保つレシピをもたらす。

English

Agent harnesses (the system prompt, tool set, execution hooks, and context-management scaffolding around a model) are a critical determinant of agentic task success. Automated harness evolution can enable smaller models to perform well on domain-specific tasks at a fraction of frontier-model cost. Since both the harness and model weights shape behavior, we ask how harness evolution and lightweight fine-tuning should be combined. Across seven enterprise agent tasks, we first evolve a harness with the weaker model, then find that a stronger expert often uses it more effectively, suggesting expert supervision could close the remaining gap. However, training the weaker model on the expert's complete trajectories under the evolved harness backfires: performance regresses on all seven tasks by 4 to 30 points across Qwen3-Coder and Gemma 4, even though the same procedure helps under the unevolved harness. Our analysis shows that imitation transfers knowledge and increases scaffold usage, but disrupts model-harness fit: the weaker model adopts the expert's planning strategy without the competence to execute it and no longer matches the harness evolved around its native planning style. We therefore develop an on-policy expert-correction pipeline, automated by a meta-level MLE agent, that localizes the failing turn in the weaker model's own rollout and asks the expert to rewrite only that turn. This preserves the model's planning style and combines the gains of harness evolution and model adaptation. Our results identify and resolve a source of contention between harness and weight updates, yielding a compatibility-preserving recipe for economical co-evolution on domain-specific enterprise tasks.