Qwen-AgentWorld: 言語世界モデルによる汎用エージェント

要旨

世界モデルは、現在の観測と行動に基づいて環境のダイナミクスを予測し、推論や計画の中核的な認知メカニズムとして機能する。本研究では、言語モデルに基づく世界モデリングが、汎用エージェントの限界をさらに押し広げる方法を調査する。(i) まず、エージェント環境シミュレーションのための基盤モデル構築に注力する。我々は、Qwen-AgentWorld-35B-A3B および Qwen-AgentWorld-397B-A17B を導入する。これらは、長いチェーン・オブ・ソート推論を通じて7つのドメインをカバーするエージェント環境をシミュレートできる初の言語世界モデルである。実環境における7ドメインの1,000万以上の環境インタラクション軌跡を活用し、3段階のトレーニングパイプラインを通じて Qwen-AgentWorld を開発した。CPT は状態遷移ダイナミクスと拡張された専門コーパスから汎用的な世界モデリング能力を注入し、SFT は次状態予測推論を活性化し、RL はハイブリッドな評価基準とルール報酬を用いた調整済みフレームワークによりシミュレーションの忠実度を高める。言語世界モデルを評価するために、我々は AgentWorldBench を提示する。これは、5つのフロンティアモデルによる9つの確立されたベンチマーク上の実世界インタラクションから構築された包括的なベンチマークである。実験結果は、Qwen-AgentWorld が既存のフロンティアモデルを大幅に上回ることを示している。(ii) 基盤モデルを超えて、世界モデリングが汎用エージェントを強化する2つの補完的なパラダイムをさらに調査する。第一に、分離された環境シミュレータとして、Qwen-AgentWorld はエージェント強化学習のために数千の実環境のスケーラブルで制御可能なシミュレーションをサポートし、実環境トレーニング単独を超える利得をもたらす。第二に、統一エージェント基盤モデルとして、世界モデルのトレーニングは非常に効果的なウォームアップとして機能し、7つのエージェントベンチマークにおける下流性能を向上させる。コード: https://github.com/QwenLM/Qwen-AgentWorld

English

A world model predicts environment dynamics based on current observations and actions, serving as a core cognitive mechanism for reasoning and planning. In this work, we investigate how world modeling based on language models can further push the boundaries of general agents. (i) We first focus on building foundation models for agentic environment simulation. We introduce Qwen-AgentWorld-35B-A3B and Qwen-AgentWorld-397B-A17B, the first language world models capable of simulating agentic environments covering 7 domains via long chain-of-thought reasoning. Leveraging more than 10M environment interaction trajectories of 7 domains in real-world environments, we develop Qwen-AgentWorld through a three-stage training pipeline: CPT injects general-purpose world modeling capabilities from the state transition dynamics and augmented professional corpora, SFT activates next-state-prediction reasoning, and RL sharpens simulation fidelity through a tailored framework with hybrid rubric-and-rule rewards. To evaluate language world models, we present AgentWorldBench, a comprehensive benchmark constructed from real-world interactions of 5 frontier models on 9 established benchmarks. Empirical results demonstrate that Qwen-AgentWorld significantly outperforms existing frontier models. (ii) Beyond foundation models, we further investigate two complementary paradigms through which world modeling enhances general agents. First, as a decoupled environment simulator, Qwen-AgentWorld supports scalable and controllable simulation of thousands of real-world environments for agentic RL, yielding gains that surpass real-environment training alone. Second, as a unified agent foundation model, world-model training acts as a highly effective warm-up that improves downstream performance across 7 agentic benchmarks. Code: https://github.com/QwenLM/Qwen-AgentWorld