Echoverse：大規模なコンピュータ使用エージェントの訓練のための、深く進化する環境

要旨

コンピュータ利用エージェントは、自身の行動によって変化するものから学習する。したがって、その訓練には、操作・破壊・リセットが可能なアプリケーションが必要となる。最も重要なアプリケーションはログイン必須かつステートフルであるため、合成環境がその代替となる。近年のパイプラインはそのような環境を大量に生成するため、ボトルネックは「どれだけ存在するか」から「それぞれの内部に何があるか」へと移る。我々の見いだしたところでは、その効果は三つの特性に由来する。すなわち、環境がどれほどの行動的深さを備えているか、エージェントが実際に失敗するインタラクションを対象としているか、そしてモデルと共に改善されるかである。我々はEchoverseを提案する。これは、仕様をステートフルなアプリケーションへとコンパイルし、そのタスクをアプリケーション自身のデータベースに照らして採点するものである。また、採点済みのすべてのロールアウトを二重に利用する共進化ループを導入する。すなわち、環境・タスク・検証器への修復として、そしてモデルへの訓練信号としてである。そのような12環境で訓練された9Bモデルは、14の評価分割にわたって36.5%から67.1%へと改善し、その教師であるはるかに大規模なフロンティアモデルとの差を14ポイント以内にまで縮める。以下、各特性を順に検証する。同じドメインでは、浅い環境は実サイト精度をベースモデル未満に押し下げるが（80.0から75.0）、深い環境はそれを引き上げる（80.0から85.0、および48.0から65.0）。多数のレンダリングにわたって一つのインターフェースコントロールを集中的に訓練すると、その効果は未見のウィジェット群やオープンウェブに転移する。また、単一の環境を修復するだけで、その環境で訓練されたモデルは16.2%から38.5%に向上する。同じ環境群は強化学習環境としても機能する。そこでは、データベースに基づく検証器とステップごとの密な判定器を組み合わせた報酬が、未見スコアを58.8%から68.0%へと引き上げる。我々は、アプリケーション、シードデータ、データベースに基づく採点器を備えた4つの環境をベンチマークとして公開する。コード: https://aka.ms/echoverse

English

Computer-use agents learn from what their actions change, so training one needs applications it can act on, break and reset. The applications that matter most are login-gated and stateful, so synthetic environments stand in for them. Recent pipelines generate such environments in bulk, which moves the bottleneck from how many exist to what is inside each one. The returns, we find, come from three properties: how much behavioural depth an environment carries, whether it targets the interaction an agent actually fails, and whether it improves alongside the model. We present Echoverse, which compiles specifications into stateful applications whose tasks are graded against the application's own database, and a co-evolution loop that reads every graded rollout twice: as repairs to the environment, its tasks and its verifier, and as training signal for the model. Trained on twelve such environments, a 9B model improves from 36.5% to 67.1% across fourteen evaluation splits, within fourteen points of the much larger frontier model that taught it. We examine each property in turn. On the same domains, shallow environments push live-site accuracy below the base model (80.0 to 75.0) while deep ones raise it (80.0 to 85.0 and 48.0 to 65.0); drilling one interface control across many renderings transfers to held-out widget families and to the open web; and repairing a single environment lifts the model trained on it from 16.2% to 38.5%. The same worlds serve as reinforcement-learning environments, where a reward combining the grounded verifier with a dense per-step judge raises held-out score from 58.8% to 68.0%. We release four environments as a benchmark, with their applications, seed data and grounded graders. Code: https://aka.ms/echoverse