Co-treinamento de Política e Modelagem do Mundo para Agentes de Linguagem

Resumo

A aprendizagem por reforço (RL) melhora agentes baseados em modelos de linguagem de grande porte (LLMs) ao ensinar quais ações geram altas recompensas, mas fornece pouca supervisão sobre o que essas ações causam no ambiente. A modelagem de mundo (WM) pode preencher essa lacuna, porém abordagens existentes frequentemente exigem simuladores separados, etapas adicionais de treinamento ou computação extra durante a inferência. Observamos que os rollouts de RL on-policy já contêm o sinal necessário: cada transição emparelha uma ação com a observação resultante subsequente. Com base nessa observação, propomos PaW, uma estrutura de co-treinamento de política e modelagem de mundo que adiciona supervisão auxiliar de WM à mesma política durante a RL, sem alterar o paradigma de inferência. Para tornar a supervisão auxiliar de WM informativa e estável, o PaW introduz três componentes: seleção de dados de WM baseada em entropia de ação, perda de WM tolerante a ruído e balanceamento adaptativo de perda baseado em recompensa. Experimentos em três conjuntos de tarefas agentivas mostram melhorias consistentes em relação a fortes linhas de base de RL em diferentes modelos e algoritmos de RL. Esses resultados sugerem que rollouts padrão de RL são uma fonte prática de supervisão de WM para o treinamento de agentes linguísticos.

English

Reinforcement learning (RL) improves large language model (LLM) agents by teaching them which actions lead to high rewards, but provides little supervision on what those actions do to the environment. World modeling (WM) can fill this gap, yet existing approaches often require separate simulators, extra training stages, or additional inference-time computation. We observe that on-policy RL rollouts already contain the needed signal: each transition pairs an action with its resulting next observation. Based on this observation, we propose PaW, a Policy and World modeling co-training framework that adds auxiliary WM supervision to the same policy during RL, without changing the inference paradigm. To make auxiliary WM supervision informative and stable, PaW introduces three components: action-entropy-based WM data selection, noise-tolerant WM loss, and reward-adaptive loss balancing. Experiments on three agentic task benchmarks show consistent improvements over strong RL baselines across models and RL algorithms. These results suggest that standard RL rollouts are a practical source of WM supervision for language-agent training.