AutoSaddler: エージェント実行トレースからの永続的更新による自動ハーネス最適化

要旨

LLMエージェントは、長期的なタスクにおいて依然として信頼性が低い。こうしたタスクでは、小さな局所的な失敗が長期間の相互作用を通じて累積し、タスク全体の失敗につながり得る。外部ハーネスは堅牢性を大幅に向上させることができるが、ハーネスの設計は依然として手作業かつ高コストなプロセスであり、プロンプト、ツール構成、制御ロジックの広大な探索空間を調べる必要がある。本稿では、ハーネスの改善をオフライン学習問題として定式化し、ミニバッチからの失敗シグナルを用いてハーネスを反復的に更新する、自動ハーネス最適化フレームワークであるAutoSaddlerを提案する。AutoSaddlerは、失敗トレース診断、ハーネスをコードとして扱う構造化パッチ生成、検証ベースの更新選択を組み合わせる。GAIA2、SWE-Bench Pro、Terminal-Bench 2.0における実験では、AutoSaddlerが対応するベースハーネスと比較してエージェントの性能を大幅に向上させ、それぞれ9.0、9.6、10.0パーセンテージポイントの改善を達成した。さらに、アブレーション研究は、効果的なハーネス最適化が以下の3つの要素から恩恵を受けることを示唆している：浅い内省ではなく深いデバッグ、制約のない編集ではなく対象を絞った修正、軌跡固有の修復ではなく汎化を考慮した選択である。これらの結果は、自動ハーネス最適化が、より高性能で信頼性の高いエージェントシステムへの有望な道であることを示している。

English

LLM agents remain unreliable on long-horizon tasks, where small local failures can compound over extended interactions and lead to overall task failure. Although external harnesses can substantially improve robustness, harness design remains a manual and expensive process that requires searching over a large space of prompts, tool configurations, and control logic. We propose AutoSaddler, an automatic harness optimization framework that formulates harness improvement as an offline learning problem and iteratively updates the harness using failure signals from mini-batches. AutoSaddler combines failure-trace diagnosis, structured patch generation that treats the harness as code, and validation-based update selection. Experiments on GAIA2, SWE-Bench Pro, and Terminal-Bench 2.0 show that AutoSaddler substantially improves agent performance over the corresponding base harnesses, achieving gains of 9.0, 9.6, and 10.0 percentage points, respectively. Ablation studies further suggest that effective harness optimization benefits from three ingredients: deep debugging rather than shallow reflection, targeted modifications rather than unconstrained editing, and generalization-aware selection rather than trajectory-specific repair. Together, these results suggest that automatic harness optimization is a promising path toward more performant and reliable agent systems.