StarHarness: エンタープライズ環境向け層別探索によるハーネスの進化

要旨

本稿では、モデルの重みを固定したまま環境固有のエージェントハーネスを進化させるフレームワークであるStarHarnessを提案する。進化したハーネスには、プロンプトとタスクの枠組み、ツールインターフェース、スキル、MCPベースのプロバイダー、サブエージェント構造、エージェントループ設定を含めることができる。StarHarnessは、ベースラインの失敗挙動に応じてタスクを層別化することによりコンパクトな進化プールを構築し、提案者に可視の探索タスクと提案者に非表示の選択タスクを分離し、汎化を評価するためのホールドアウトタスクを確保する。ITBench SRE、EnterpriseOps-Gym ITSM、AutomationBench Financeにおいて、ハーネスの進化により、環境あたり4〜12件の受け入れられた変更の後、デフォルトのハーネスと比較してベンチマーク全体の性能が20〜35パーセントポイント向上する。これらの改善は、進化から除外されたタスクでも持続し、GPTおよびQwenモデルファミリー間で再進化を必要とせずに転移する。トレース分析により、これらの改善はインターフェース修復、環境の慣習、探索を圧縮する運用知識に関連付けられ、いくつかの設定では偽陽性の診断が減少し、軌跡が短縮されることが示される。したがって、StarHarnessは、ツールが豊富なエンタープライズタスクにおける持続的なモデルと環境のミスマッチを軽減する実用的な方法を提供する。

English

We present StarHarness, a framework for evolving environment-specific agent harnesses while keeping model weights fixed. The evolved harness can include prompt and task framing, tool interfaces, skills, MCP-backed providers, subagent structure, and agent-loop configuration. StarHarness constructs a compact evolution pool by stratifying tasks according to baseline failure behavior, separates proposer-visible search tasks from proposer-hidden selection tasks, and reserves held-out tasks for evaluating generalization. Across ITBench SRE, EnterpriseOps-Gym ITSM, and AutomationBench Finance, harness evolution improves full-benchmark performance by 20-35 percentage points over the default harness after 4-12 accepted changes per environment. These gains persist on tasks excluded from evolution and transfer without re-evolution across GPT and Qwen model families. Trace analysis links the improvements to interface repairs, environment conventions, and operational knowledge that compresses search, with fewer false-positive diagnoses and shorter trajectories in several settings. StarHarness therefore offers a practical way to reduce persistent model-environment mismatch in tool-rich enterprise tasks.