EnvHarness: エージェント学習のための静的環境の覚醒

要旨

LLMエージェントは環境との相互作用を通じて学習するが、これらの環境は手作業で構築された静的なものであり、エージェントの弱点を認識できず、エージェントが向上するにつれて急速に取り残されてしまう。近年の環境生成手法はこの問題に対処しようとしているものの、ドメイン固有のパイプラインを必要とし、高コストまたは信頼性の低い検証器に依存しており、依然として静的な環境しか生成できない。環境をゼロから再構築する工学的負担を軽減するため、我々はEnvironment Harness（EnvHarness）を提案する。EnvHarnessは、基盤となるロジックを変更することなく静的環境の挙動を再形成する、プラグインコンポーネントからなるプログラム可能な層である。EnvHarnessは標準インターフェースを介して動作し、多様なドメインに適用可能でありながら、再形成されたすべての環境が元の検証器を保持することを保証する。このプロセスを自動化するために、我々はEnvRiggerを導入する。EnvRiggerは対象方策をブラックボックスとして扱い、その実行軌跡を観察して、診断された欠陥を標的とするEnvHarnessコンポーネントを合成し、新規のロールアウトを通じて検証する。4つのドメインにわたる5つのベンチマークにおいて、EnvHarnessは元の環境とドメイン固有の環境生成パイプラインの両方を上回り、ホールドアウトインスタンスで最大9.0ポイントの改善を達成し、実行ステップ数を9.8%削減した。さらに、EnvHarnessは強化学習に対して優れた最適化信号を提供し、方策とその環境の継続的かつ標的を絞った共進化を可能にする。

English

LLM agents learn by interacting with environments, yet these environments are hand-built and static: blind to an agent's weaknesses, and quickly left behind as it improves. While recent environment generation methods attempt to address this, they require domain-specific pipelines, rely on expensive or unreliable verifiers, and still produce static environments. To alleviate the engineering burden of rebuilding environments from scratch, we propose Environment Harness (EnvHarness), a programmable layer of plug-in components that wraps a static environment to reshape its behavior without modifying the underlying logic. Operating through standard interfaces, EnvHarness applies across diverse domains while ensuring every reshaped environment retains its original verifier. To automate this process, we introduce EnvRigger, which treats the target policy as a black box, observing its execution trajectories to synthesize EnvHarness components targeting diagnosed flaws, and validating them via fresh rollouts. Across five benchmarks in four domains, EnvHarness outperforms both original environments and domain-specific environment generation pipelines, achieving up to a 9.0-point improvement on held-out instances with 9.8% fewer execution steps. Furthermore, EnvHarness provides a superior optimization signal for reinforcement learning, enabling continuous, targeted co-evolution of the policy and its environment.