Qwen-AgentWorld: Modelos de Mundo de Linguagem para Agentes Gerais

Resumo

Um modelo de mundo prevê a dinâmica do ambiente com base em observações e ações atuais, servindo como um mecanismo cognitivo central para raciocínio e planejamento. Neste trabalho, investigamos como a modelagem de mundo baseada em modelos de linguagem pode expandir ainda mais os limites de agentes gerais. (i) Primeiramente, focamos na construção de modelos fundacionais para simulação de ambientes agentivos. Apresentamos o Qwen-AgentWorld-35B-A3B e o Qwen-AgentWorld-397B-A17B, os primeiros modelos de mundo de linguagem capazes de simular ambientes agentivos abrangendo 7 domínios por meio de raciocínio de cadeia de pensamento longa. Utilizando mais de 10 milhões de trajetórias de interação com ambientes reais em 7 domínios, desenvolvemos o Qwen-AgentWorld por meio de um pipeline de treinamento em três estágios: o CPT injeta capacidades gerais de modelagem de mundo a partir da dinâmica de transição de estados e de corpora profissionais aumentados; o SFT ativa o raciocínio de predição do próximo estado; e o RL aprimora a fidelidade da simulação por meio de uma estrutura personalizada com recompensas híbridas baseadas em rubricas e regras. Para avaliar modelos de mundo de linguagem, apresentamos o AgentWorldBench, um benchmark abrangente construído a partir de interações reais de 5 modelos de fronteira em 9 benchmarks estabelecidos. Resultados empíricos demonstram que o Qwen-AgentWorld supera significativamente os modelos de fronteira existentes. (ii) Além dos modelos fundacionais, investigamos ainda dois paradigmas complementares por meio dos quais a modelagem de mundo aprimora agentes gerais. Primeiro, como um simulador de ambiente desacoplado, o Qwen-AgentWorld suporta a simulação escalável e controlável de milhares de ambientes reais para RL agentivo, gerando ganhos que superam o treinamento apenas em ambiente real. Segundo, como um modelo fundacional de agente unificado, o treinamento do modelo de mundo atua como um aquecimento altamente eficaz que melhora o desempenho downstream em 7 benchmarks agentivos. Código: https://github.com/QwenLM/Qwen-AgentWorld

English

A world model predicts environment dynamics based on current observations and actions, serving as a core cognitive mechanism for reasoning and planning. In this work, we investigate how world modeling based on language models can further push the boundaries of general agents. (i) We first focus on building foundation models for agentic environment simulation. We introduce Qwen-AgentWorld-35B-A3B and Qwen-AgentWorld-397B-A17B, the first language world models capable of simulating agentic environments covering 7 domains via long chain-of-thought reasoning. Leveraging more than 10M environment interaction trajectories of 7 domains in real-world environments, we develop Qwen-AgentWorld through a three-stage training pipeline: CPT injects general-purpose world modeling capabilities from the state transition dynamics and augmented professional corpora, SFT activates next-state-prediction reasoning, and RL sharpens simulation fidelity through a tailored framework with hybrid rubric-and-rule rewards. To evaluate language world models, we present AgentWorldBench, a comprehensive benchmark constructed from real-world interactions of 5 frontier models on 9 established benchmarks. Empirical results demonstrate that Qwen-AgentWorld significantly outperforms existing frontier models. (ii) Beyond foundation models, we further investigate two complementary paradigms through which world modeling enhances general agents. First, as a decoupled environment simulator, Qwen-AgentWorld supports scalable and controllable simulation of thousands of real-world environments for agentic RL, yielding gains that surpass real-environment training alone. Second, as a unified agent foundation model, world-model training acts as a highly effective warm-up that improves downstream performance across 7 agentic benchmarks. Code: https://github.com/QwenLM/Qwen-AgentWorld