階層的自己改善：タスク特化型進化可能エージェントハーネスのためのフレームワーク

要旨

現代のLLMエージェントは、プロンプトやツール、ワークフローを手動で変更することによって改善されることが多い一方、モデルを取り巻く実行可能な足場、すなわちハーネスは、通常、デプロイ後は固定された成果物として扱われる。本研究では、ハーネスがタスク固有かつ継続的に進化可能であるという代替アプローチを検討する。各タスクファミリーは独自のハーネスを維持し、そのハーネスは固定されたタスク注入シームを介して反復間でホットスワップされ、環境フィードバックを用いて書き換えられる。我々は、階層的自己改善(HSI)を導入する。これは、単一の凍結LLM Mが、タスクを実行するタスクハーネスH、Hを書き換える進化器、そして凍結された外部アンカーの下で進化器の戦略コードを書き換えるメタ進化器という3つの階層的スコープにわたって動作するフレームワークである。思考オン/オフ設計により、タスク実行中の推論を無効化し、自己修正中は有効化することで、ハーネス進化の寄与を分離する。HSIは2つの要因によって制約される。すなわち、進化が選択を導くために情報量の多い報酬信号を必要とするというフィードバック忠実度の限界と、ハーネスの再設計が凍結モデルの限界を克服できないというバックボーン能力の限界である。凍結バックボーンとしてDeepSeek-V4-Flash-Previewを使用したBALROGにおいて、HSIは中程度の難易度のタスクで初期ハーネスに対して一貫した改善を達成した(BabyAIで+39.3、Crafterで+33.0、TextWorldで+25.0、MiniHackで+15.0、すべて生の% Progress)。さらに、BabaIsAIサブスイートでは強い未見データ汎化を獲得した(20%の未見分割からBreakStopで最高テスト0.98、GoToで1.00)。バックボーンの能力を超えるタスク(NLE)では、ハーネス進化は改善をもたらさない。これらの結果は、明確な経験的限界の下で、凍結LLMエージェントを改善するための有効な軸としてタスク固有のハーネス進化を示している。コードは https://github.com/TailinZhou/hsi で入手可能である。

English

Modern LLM agents are often improved by modifying prompts, tools, or workflows manually, while the executable scaffold surrounding the model---the harness---is typically treated as a fixed artifact after deployment. This work studies an alternative where the harness is task-specific and continuously evolvable: each task family maintains its own harness, which is hot-swapped across iterations through a fixed task-injection seam and rewritten using environment feedback. We introduce Hierarchical Self-Improvement (HSI), a framework in which a single frozen LLM M operates across three hierarchical scopes: a task harness H that executes tasks, an evolver that rewrites H, and a meta-evolver that rewrites the evolver's strategy code under a frozen outer anchor. A thinking-on/off design isolates the contribution of harness evolution by disabling reasoning during task execution while enabling it during self-modification. HSI is bounded by two factors: a feedback-fidelity bound, since evolution requires informative reward signals to guide selection, and a backbone capability bound, since harness redesign cannot overcome limitations of the frozen model. On BALROG with DeepSeek-V4-Flash-Preview as the frozen backbone, HSI achieves consistent gains over the initial harness on moderate-difficulty tasks (+39.3 on BabyAI, +33.0 on Crafter, +25.0 on TextWorld, and +15.0 on MiniHack, all in raw \% Progress), while obtaining strong held-out generalization on BabaIsAI sub-suites (0.98 best-test on BreakStop and 1.00 on GoTo from a 20% unseen split). On tasks beyond the backbone's capability (NLE), harness evolution provides no improvement. These results demonstrate task-specific harness evolution as a viable axis for improving frozen LLM agents under clear empirical limits. Code is available at https://github.com/TailinZhou/hsi.