EnvACE：エージェント型強化学習のためのワールドリハーサルによる環境ダイナミクスの内部化

要旨

長期的なツール使用を行う大規模言語モデルエージェントの訓練は、通常、構築と検証にコストがかかる実環境または合成された実行可能環境とのインタラクション、あるいは現実世界に結びつけることが難しい外部シミュレータに依存している。本稿では、訓練中の外部環境とのインタラクションを世界リハーサルに置き換えるエージェンティック強化学習手法であるEnvACEを提案する。方策は行動とリハーサルを交互に行う。すなわち、まずツール呼び出しを生成し、次に環境の役割を担ってその行動によって誘発される応答を生成し、リハーサルされた応答に基づいてその後の決定を条件付ける。両方の役割は、タスク成功報酬を用いてエンドツーエンドで共同最適化される。世界リハーサルを通じて、方策は行動と環境応答の関係をそのパラメータに内在化し、意思決定を直接支援するエージェント世界モデルを獲得する。BFCL-v4、tau^2-Bench、VitaBench、FinMCP-Benchにわたり、EnvACEは強力で転移可能な性能を達成し、総合評価では環境スケーリングベースラインを上回る。さらに、対照実験により、世界リハーサルがモデル規模を問わず方策学習を一貫して改善することが示された。テスト時には、内在化された世界モデルにより、確定実行の前に内部リハーサルを行うことができ、中程度のリハーサル予算のもとで、追加の外部インタラクションなしにさらなる性能向上が得られる。本研究の知見は、外部環境の制約を超えたLLMエージェント訓練のスケーリングに向けた新たな道として世界リハーサルを確立するものである。コードはhttps://github.com/Within-yao/EnvACEで公開している。

English

Training large language model agents for long-horizon tool use typically relies on interactions with real or synthesized executable environments, whose construction and verification are costly, or on external simulators that are difficult to ground. We introduce EnvACE, an agentic reinforcement learning method that replaces external environment interaction during training with world rehearsal. The policy alternates between acting and rehearsal: it first generates a tool call, then plays the role of the environment to produce the response induced by that action, and conditions subsequent decisions on the rehearsed response. Both roles are jointly optimized end-to-end using task-success rewards. Through world rehearsal, the policy internalizes the relationship between actions and their environment responses in its parameters, yielding an agent world model that directly supports decision making. Across BFCL-v4, tau^2-Bench, VitaBench, and FinMCP-Bench, EnvACE achieves strong and transferable performance, outperforming environment-scaling baselines in the overall evaluation. Controlled studies further show that world rehearsal consistently improves policy learning across model scales. At test time, the internalized world model enables private rehearsal before committed execution, yielding further gains under a moderate rehearsal budget without additional external interaction. Our findings establish world rehearsal as a new path toward scaling LLM agent training beyond the constraints of external environments. Our code is publicly available at https://github.com/Within-yao/EnvACE.