Agentic ESOpt: 最小限のGPU要件による長期的LLMエージェントのファインチューニング

要旨

強化学習（RL）は、シングルターンのLLMファインチューニングにおいて有望である。しかし、長期的なエージェント推論は、ますます分岐する相互作用と疎な報酬をもたらし、RLのいくつかの限界を浮き彫りにする。すなわち、RLの重量級のバックプロパゲーションに基づくトレーニングスタックは、より大規模なLLMのファインチューニングを非現実的なものにし、さらに長いホライズンの軌道はRLにおける信用割当を大幅に困難にする。本稿は、進化戦略（ES）が長期的なLLMエージェントのファインチューニングにおいてより良い選択肢となり得ると主張する。エージェントRLと比較して、ESは次の3つの重要な利点を提供する。1) モデルスケーラビリティ：ESは、最小限の推論レベルのGPUメモリのみで全パラメータ最適化を可能にし、大規模LLMのファインチューニングを実現する。2) 柔軟性：ESの軽量でブラックボックスなフィードバックインターフェースにより、ESファインチューニングはプロンプト空間の進化（例：スキル最適化やテスト時計算）と容易に組み合わせることができる。3) 長期的スケーラビリティ：ESは報酬をホライズン間で分解することなく軌道レベルのパラメータ帰属を行うため、ホライズン長が増大するにつれてエージェントRLよりも優れたスケーラビリティを発揮する。この洞察に基づき、我々は柔軟なパラメータ・コンテキスト共進化に特化した全パラメータのエージェントファインチューニングフレームワークであるAgentic ESOptを提案する。各ステップで、Agentic ESOptは現在のLLMパラメータの周囲に摂動をサンプリングし、得られたエージェントを報酬で評価し、オンラインの報酬重み付け更新を適用する。探索と適応のトレードオフを改善するため、Agentic ESOptはさらに摂動スケールσのコサイン減衰スケジュールを導入する。WebArena-Lite上で、Qwen-3.5-27Bの全パラメータ最適化はNo Skillベースラインを6.69%改善する。テスト時自動ヒューリスティック設計において、Agentic ESOptはオンラインのプロンプト・パラメータ共進化を実行し、36設定中28設定で対応するベースラインを改善する。

English

Reinforcement Learning (RL) has been promising in single-turn LLM fine-tuning. However, long-horizon agentic reasoning introduces increasingly branching interactions and sparse rewards, exposing several limitations of RL: its heavyweight backpropagation-based training stack makes it impractical to fine-tune larger LLMs, and longer-horizon trajectories make credit assignment in RL substantially harder. This paper argues that evolution strategies (ES) can be a better choice for fine-tuning long-horizon LLM agents. Compared with agentic RL, ES offers three key advantages: 1) Model Scalability: ES enables full-parameter optimization with only minimal, inference-level GPU memory, making it possible to fine-tune large LLMs. 2) Flexibility: its lightweight, black-box feedback interface makes ES fine-tuning easy to compose with prompt-space evolution (e.g., skill optimization & test-time compute); and 3) Long-Horizon Scalability: ES performs trajectory-level parameter attribution without decomposing rewards across horizons, yielding better scalability than Agentic RL as the horizon length grows. Based on this insight, we propose Agentic ESOpt, a full-parameter agentic fine-tuning framework tailored to flexible parameter--context co-evolution. At each step, Agentic ESOpt samples perturbations around the current LLM parameters, evaluates the resulting agents with rewards, and applies an online reward-weighted update. To improve the exploration--adaptation trade-off, Agentic ESOpt further introduces a cosine decay schedule of the perturbation scale σ. On WebArena-Lite, full-parameter optimization of Qwen-3.5-27B improves the No Skill baseline by 6.69%. In test-time automatic heuristic design, Agentic ESOpt performs online prompt--parameter co-evolution, improving its matched baseline in 28 of 36 settings.