Qwen-AgentWorld : Modèles du monde linguistiques pour agents généraux

Résumé

Un modèle du monde prédit les dynamiques de l'environnement à partir des observations et actions courantes, servant de mécanisme cognitif central pour le raisonnement et la planification. Dans ce travail, nous étudions comment la modélisation du monde basée sur des modèles de langage peut repousser davantage les limites des agents généraux. (i) Nous nous concentrons d'abord sur la construction de modèles fondamentaux pour la simulation d'environnements agentiques. Nous présentons Qwen-AgentWorld-35B-A3B et Qwen-AgentWorld-397B-A17B, les premiers modèles du monde langagiers capables de simuler des environnements agentiques couvrant 7 domaines via un raisonnement par longue chaîne de pensée. En exploitant plus de 10 millions de trajectoires d'interaction avec l'environnement issues de 7 domaines dans des environnements réels, nous développons Qwen-AgentWorld grâce à un pipeline d'entraînement en trois étapes : le CPT injecte des capacités généralistes de modélisation du monde à partir des dynamiques de transition d'état et de corpus professionnels augmentés, le SFT active le raisonnement par prédiction du prochain état, et le RL affine la fidélité de simulation via un cadre sur mesure combinant des récompenses hybrides basées sur des rubriques et des règles. Pour évaluer les modèles du monde langagiers, nous présentons AgentWorldBench, un benchmark complet construit à partir d'interactions réelles de 5 modèles de pointe sur 9 benchmarks établis. Les résultats empiriques montrent que Qwen-AgentWorld surpasse significativement les modèles de pointe existants. (ii) Au-delà des modèles fondamentaux, nous étudions également deux paradigmes complémentaires par lesquels la modélisation du monde améliore les agents généraux. Premièrement, en tant que simulateur d'environnement découplé, Qwen-AgentWorld prend en charge une simulation scalable et contrôlable de milliers d'environnements réels pour le RL agentique, produisant des gains qui surpassent l'entraînement en environnement réel seul. Deuxièmement, en tant que modèle fondamental d'agent unifié, l'entraînement au modèle du monde agit comme un échauffement très efficace qui améliore les performances en aval sur 7 benchmarks agentiques. Code : https://github.com/QwenLM/Qwen-AgentWorld

English

A world model predicts environment dynamics based on current observations and actions, serving as a core cognitive mechanism for reasoning and planning. In this work, we investigate how world modeling based on language models can further push the boundaries of general agents. (i) We first focus on building foundation models for agentic environment simulation. We introduce Qwen-AgentWorld-35B-A3B and Qwen-AgentWorld-397B-A17B, the first language world models capable of simulating agentic environments covering 7 domains via long chain-of-thought reasoning. Leveraging more than 10M environment interaction trajectories of 7 domains in real-world environments, we develop Qwen-AgentWorld through a three-stage training pipeline: CPT injects general-purpose world modeling capabilities from the state transition dynamics and augmented professional corpora, SFT activates next-state-prediction reasoning, and RL sharpens simulation fidelity through a tailored framework with hybrid rubric-and-rule rewards. To evaluate language world models, we present AgentWorldBench, a comprehensive benchmark constructed from real-world interactions of 5 frontier models on 9 established benchmarks. Empirical results demonstrate that Qwen-AgentWorld significantly outperforms existing frontier models. (ii) Beyond foundation models, we further investigate two complementary paradigms through which world modeling enhances general agents. First, as a decoupled environment simulator, Qwen-AgentWorld supports scalable and controllable simulation of thousands of real-world environments for agentic RL, yielding gains that surpass real-environment training alone. Second, as a unified agent foundation model, world-model training acts as a highly effective warm-up that improves downstream performance across 7 agentic benchmarks. Code: https://github.com/QwenLM/Qwen-AgentWorld