PILOT in the Loop: 長期的エージェントのためのライブ自己改善

要旨

長期的なエージェント実行によって生成される経験は、現在の実行と将来の作業の両方を改善できる。ほとんどの自己改善手法はこの経験を実行終了後にのみ処理するため、進行中の実行を方向転換したり、そこから得られた教訓を即座に適用・検証したりすることはできない。我々は、自己改善は代わりにライブであるべきであり、生成された経験を進行中の実行の方向転換と永続的ハーネスの更新の両方に活用すべきだと主張する。既存のエージェントアーキテクチャはこの目標を完全には支持していない。単一エージェントの自己修正は、タスク実行と軌跡評価を単一のコンテキスト内で組み合わせる一方、サブエージェント委譲は実行を分離するものの、通常は進行中のサブエージェントを方向転換できない。我々は、2つの結合されたメカニズムによるライブ自己改善のためのスーパーバイザー・ワーカーハーネスであるPILOTを提案する：(1) ライブ誘導により、独立したスーパーバイザーが実行中にアクティブなワーカーを方向転換または中止できる。(2) ライブ自己進化により、実行中に明らかになる手順と失敗モードを再利用可能なスキルとメモリに蒸留する。2つの凍結バックボーンと3つのベンチマークにわたり、PILOTは6つの構成のうち5つで第1位を獲得した。Terminal-Bench 2.0では、PILOTは比較対象のハーネスを最大9.8パーセントポイント上回る。自己改善設定では、PILOTはGLM-5.1で14.6ポイント、Kimi-K2.6で12.4ポイントの向上を達成した。平均出力トークンはそれぞれ42.9%および47.4%減少し、100万出力トークンあたりの成功評価数はそれぞれ110.3%および134.0%増加した。

English

Long-horizon agent runs generate experience that can improve both the current run and future work. Most self-improvement methods process this experience only after execution ends, so they cannot redirect the active run or immediately apply and validate lessons learned from it. We argue that self-improvement should instead be live, using emerging experience both to redirect the active run and to update the persistent harness. Existing agent architectures do not fully support this goal. Single-agent self-correction combines task execution and trajectory assessment within one context, while subagent delegation separates execution but typically cannot redirect an active subagent. We present PILOT, a supervisor-worker harness for live self-improvement through two coupled mechanisms: (1) live steering lets a separate supervisor redirect or abort the active worker during execution; and (2) live self-evolution distils procedures and failure modes revealed during execution into reusable skills and memory. Across two frozen backbones and three benchmarks, PILOT ranks first in five of six configurations. On Terminal-Bench 2.0, PILOT outperforms counterpart harnesses by up to 9.8 percentage points. In the self-improvement setting, PILOT gains 14.6 points with GLM-5.1 and 12.4 points with Kimi-K2.6. Mean output tokens fall by 42.9% and 47.4%, while successful evaluations per million output tokens rise by 110.3% and 134.0%, respectively.