Echoverse: 컴퓨터 사용 에이전트의 대규모 훈련을 위한 심층적이고 진화하는 환경

초록

컴퓨터 사용 에이전트는 자신의 행동이 바꾸는 것에서 학습하므로, 에이전트를 훈련하려면 에이전트가 작동시키고, 고장 내고, 재설정할 수 있는 애플리케이션이 필요하다. 가장 중요한 애플리케이션은 로그인이 필요하고 상태를 가지므로, 합성 환경이 그 역할을 대신한다. 최근 파이프라인은 이러한 환경을 대량으로 생성함으로써 병목 지점을 ‘환경이 얼마나 많이 존재하는가’에서 ‘각 환경 내부에 무엇이 있는가’로 이동시킨다. 우리가 발견한 성과는 세 가지 속성에서 비롯된다: 환경이 지니는 행동적 깊이, 에이전트가 실제로 실패하는 상호작용을 겨냥하는지 여부, 그리고 모델과 함께 개선되는지 여부. 우리는 Echoverse를 제시한다. Echoverse는 명세를 애플리케이션 자체 데이터베이스에 대해 태스크가 채점되는 상태 저장 애플리케이션으로 컴파일하며, 채점된 모든 롤아웃을 두 가지 용도로 읽는 공진화 루프를 갖춘다. 즉, 환경과 그 태스크, 검증기를 수리하는 데, 그리고 모델의 훈련 신호로 사용하는 데 활용한다. 이러한 환경 12개로 훈련된 9B 모델은 14개 평가 분할에서 36.5%에서 67.1%로 향상되었으며, 자신을 가르친 훨씬 더 큰 프런티어 모델과 14포인트 이내의 성능을 보였다. 우리는 각 속성을 차례로 검토한다. 동일한 도메인에서 얕은 환경은 실제 사이트 정확도를 기준 모델 아래로 떨어뜨리지만(80.0에서 75.0으로), 깊은 환경은 이를 끌어올린다(80.0에서 85.0으로, 그리고 48.0에서 65.0으로). 여러 렌더링에 걸쳐 하나의 인터페이스 컨트롤을 집중 훈련하는 것은 보류된 위젯 패밀리와 공개 웹으로 전이된다. 또한 단일 환경을 수리하면 그 환경으로 훈련된 모델이 16.2%에서 38.5%로 향상된다. 동일한 세계는 강화학습 환경으로도 사용되는데, 근거 기반 검증기와 조밀한 단계별 판정기를 결합한 보상이 보류 점수를 58.8%에서 68.0%로 끌어올린다. 우리는 네 가지 환경을 벤치마크로 공개하며, 해당 애플리케이션, 시드 데이터, 근거 기반 채점기를 함께 제공한다. 코드: https://aka.ms/echoverse

English

Computer-use agents learn from what their actions change, so training one needs applications it can act on, break and reset. The applications that matter most are login-gated and stateful, so synthetic environments stand in for them. Recent pipelines generate such environments in bulk, which moves the bottleneck from how many exist to what is inside each one. The returns, we find, come from three properties: how much behavioural depth an environment carries, whether it targets the interaction an agent actually fails, and whether it improves alongside the model. We present Echoverse, which compiles specifications into stateful applications whose tasks are graded against the application's own database, and a co-evolution loop that reads every graded rollout twice: as repairs to the environment, its tasks and its verifier, and as training signal for the model. Trained on twelve such environments, a 9B model improves from 36.5% to 67.1% across fourteen evaluation splits, within fourteen points of the much larger frontier model that taught it. We examine each property in turn. On the same domains, shallow environments push live-site accuracy below the base model (80.0 to 75.0) while deep ones raise it (80.0 to 85.0 and 48.0 to 65.0); drilling one interface control across many renderings transfers to held-out widget families and to the open web; and repairing a single environment lifts the model trained on it from 16.2% to 38.5%. The same worlds serve as reinforcement-learning environments, where a reward combining the grounded verifier with a dense per-step judge raises held-out score from 58.8% to 68.0%. We release four environments as a benchmark, with their applications, seed data and grounded graders. Code: https://aka.ms/echoverse