EnvHarness: 에이전트 학습을 위한 정적 세계 깨우기

초록

LLM 에이전트는 환경과 상호작용하며 학습하지만, 이러한 환경은 수작업으로 구축되고 정적이다. 에이전트의 약점을 인식하지 못하며, 에이전트가 향상됨에 따라 빠르게 뒤처진다. 최근의 환경 생성 방법들이 이를 해결하려 시도하지만, 도메인별 파이프라인이 필요하고, 비용이 많이 들거나 신뢰할 수 없는 검증기에 의존하며, 여전히 정적인 환경을 생성한다. 환경을 처음부터 다시 구축해야 하는 엔지니어링 부담을 줄이기 위해, 우리는 Environment Harness(EnvHarness)를 제안한다. EnvHarness는 플러그인 구성 요소들의 프로그래밍 가능한 계층으로, 기본 로직을 수정하지 않고 정적 환경을 감싸 그 동작을 재구성한다. EnvHarness는 표준 인터페이스를 통해 작동하여 재구성된 모든 환경이 원래 검증기를 유지하도록 보장하면서 다양한 도메인에 적용된다. 이 과정을 자동화하기 위해 우리는 EnvRigger를 도입한다. EnvRigger는 대상 정책을 블랙박스로 취급하고, 그 실행 궤적을 관찰하여 진단된 결함을 대상으로 하는 EnvHarness 구성 요소를 합성하고, 새로운 롤아웃을 통해 이를 검증한다. 네 가지 도메인의 다섯 가지 벤치마크에서 EnvHarness는 원래 환경과 도메인별 환경 생성 파이프라인을 모두 능가하며, 보류된 인스턴스에서 최대 9.0포인트의 성능 향상을 달성하고 실행 단계를 9.8% 줄인다. 또한 EnvHarness는 강화 학습을 위한 우수한 최적화 신호를 제공하여, 정책과 그 환경의 지속적이고 표적화된 공동 진화를 가능하게 한다.

English

LLM agents learn by interacting with environments, yet these environments are hand-built and static: blind to an agent's weaknesses, and quickly left behind as it improves. While recent environment generation methods attempt to address this, they require domain-specific pipelines, rely on expensive or unreliable verifiers, and still produce static environments. To alleviate the engineering burden of rebuilding environments from scratch, we propose Environment Harness (EnvHarness), a programmable layer of plug-in components that wraps a static environment to reshape its behavior without modifying the underlying logic. Operating through standard interfaces, EnvHarness applies across diverse domains while ensuring every reshaped environment retains its original verifier. To automate this process, we introduce EnvRigger, which treats the target policy as a black box, observing its execution trajectories to synthesize EnvHarness components targeting diagnosed flaws, and validating them via fresh rollouts. Across five benchmarks in four domains, EnvHarness outperforms both original environments and domain-specific environment generation pipelines, achieving up to a 9.0-point improvement on held-out instances with 9.8% fewer execution steps. Furthermore, EnvHarness provides a superior optimization signal for reinforcement learning, enabling continuous, targeted co-evolution of the policy and its environment.