SPADE: 적응형 합성 실행 환경에서의 자기 대결

초록

지속적 자기 개선(continuous self-improvement)에는 자체 생성되고 다양하며 적응적인 목표의 지속적으로 확장되는 풀이 필요하다. 언어 에이전트의 경우, 기존의 훈련 환경 풀(수작업 선별, 정적 합성, 또는 고정 검증기 기반)은 학습자가 확장됨에 따라 목표 분포를 고정된 상태로 유지한다. 우리는 SPADE(적응형 합성 실행 환경에서의 셀프플레이, Self-Play in Adaptive Synthetic Executable Environments)를 제안한다. SPADE는 단일 LLM이 두 역할을 수행하는 셀프플레이 RL 프레임워크이다: OpenAI Gym 스타일의 reset()/step() 인터페이스를 갖춘 실행 가능한 코드로 완전한 장기(long-horizon) 훈련 환경을 작성하는 환경 설계자(Environment Designer)와, 그 환경에서 행동을 학습하는 추론 에이전트(Reasoning Agent). 각각은 상태 기반의 다중 턴 환경(상태 전이, 보상 함수, 검증 코드)이므로, 하나의 인터페이스가 추론 문제와 다단계 에이전트 도구 사용을 모두 포괄한다. 추론 에이전트의 후회(regret)는 특권 힌트(privileged hint)의 유무에 따른 보상 차이를 사용하여 추정된다. 이 후회 신호를 최적화함으로써 환경 설계자는 에이전트의 역량 경계에 있는 환경을 목표로 하면서도 실행 가능성을 유지하는 방법을 학습한다. 광범위한 실험을 통해 우리는 성공에 중요한 여러 구성 요소를 발견했다: 환경 설계자를 대규모 사전학습 말뭉치에서 샘플링된 문서에 근거시키는 것과, 환경 메모리를 축적하여 제공하는 것이다. 300억 파라미터 모델로 확장했을 때, SPADE는 여덟 개의 보류된 수학, 과학, 코드, 추론 벤치마크에서 평균 +5.3으로 가장 강력한 고정 환경 기준선을 능가하며, BFCL-v4 다중 턴에서 +5.7, ACEBench-Agent에서 +13.9로 도구 사용 설정을 향상시킨다. 게임 설정에서는 가장 강력한 기준선 대비 격차가 모델 규모에 따라 증가한다. 환경 설계 자체를 학습 가능한 구성 요소로 만듦으로써, SPADE는 개방형 자기 개선(open-ended self-improvement)을 향한 구체적인 한 걸음을 내딛는다.

English

Continuous self-improvement requires an ever-expanding pool of self-generated, diverse, adaptive goals. For language agents, existing training environment pools (hand-curated, statically synthesized, or frozen-verifier) keep the goal distribution fixed as the learner scales. We introduce SPADE (Self-Play in Adaptive Synthetic Executable Environments), a self-play RL framework in which a single LLM plays two roles: an Environment Designer that writes complete, long-horizon training environments as executable code with an OpenAI Gym-style reset()/step() interface, and a Reasoning Agent that learns to act in them. Each is a stateful, multi-turn environment (state transitions, reward functions, and verification code), so one interface spans reasoning problems and multi-step agentic tool use. The Reasoning Agent's regret is estimated using the gap between its reward with and without privileged hints; in optimizing this regret signal the Environment Designer learns to target environments at the edge of the agent's capabilities while keeping them feasible. Through extensive experimentation, we find several components critical to success: grounding the Environment Designer on documents sampled from a large pretraining corpus, and giving it an accumulated environment memory. Scaling to 30B-parameter models, SPADE improves over the strongest fixed-environment baseline by +5.3 on average across eight held-out math, science, code, and reasoning benchmarks, and lifts the tool-use setting by +5.7 on BFCL-v4 multi-turn and +13.9 on ACEBench-Agent; on the games setting, the margin over the strongest baseline grows with model scale. By making environment design itself a learnable component, SPADE takes a concrete step toward open-ended self-improvement.