Co-entraînement de la politique et de la modélisation du monde pour les agents de langage

Résumé

L'apprentissage par renforcement (RL) améliore les agents basés sur de grands modèles de langage (LLM) en leur apprenant quelles actions mènent à des récompenses élevées, mais fournit peu de supervision sur ce que ces actions provoquent dans l'environnement. La modélisation du monde (WM) peut combler cette lacune, mais les approches existantes nécessitent souvent des simulateurs distincts, des étapes d'entraînement supplémentaires ou un calcul de raisonnement en temps d'inférence additionnel. Nous observons que les déploiements RL sur politique contiennent déjà le signal nécessaire : chaque transition associe une action à l'observation suivante qui en résulte. Sur la base de cette observation, nous proposons PaW, un cadre d'apprentissage conjoint de la politique et du modèle du monde qui ajoute une supervision WM auxiliaire à la même politique pendant le RL, sans modifier le paradigme d'inférence. Pour rendre cette supervision WM auxiliaire informative et stable, PaW introduit trois composants : une sélection de données WM basée sur l'entropie d'action, une perte WM tolérante au bruit, et un équilibrage adaptatif de la perte en fonction des récompenses. Des expériences sur trois bancs d'essai de tâches agentiques montrent des améliorations cohérentes par rapport à des bases de référence RL solides, à travers différents modèles et algorithmes RL. Ces résultats suggèrent que les déploiements RL standard constituent une source pratique de supervision WM pour l'entraînement des agents langagiers.

English

Reinforcement learning (RL) improves large language model (LLM) agents by teaching them which actions lead to high rewards, but provides little supervision on what those actions do to the environment. World modeling (WM) can fill this gap, yet existing approaches often require separate simulators, extra training stages, or additional inference-time computation. We observe that on-policy RL rollouts already contain the needed signal: each transition pairs an action with its resulting next observation. Based on this observation, we propose PaW, a Policy and World modeling co-training framework that adds auxiliary WM supervision to the same policy during RL, without changing the inference paradigm. To make auxiliary WM supervision informative and stable, PaW introduces three components: action-entropy-based WM data selection, noise-tolerant WM loss, and reward-adaptive loss balancing. Experiments on three agentic task benchmarks show consistent improvements over strong RL baselines across models and RL algorithms. These results suggest that standard RL rollouts are a practical source of WM supervision for language-agent training.