Co-training van beleid en wereldmodellering voor taalagenten

Samenvatting

Reinforcement learning (RL) verbetert grote taalmodellen (large language models, LLMs) als agenten door hen te leren welke acties tot hoge beloningen leiden, maar biedt weinig toezicht op wat die acties met de omgeving doen. Wereldmodellering (world modeling, WM) kan deze leemte opvullen, maar bestaande benaderingen vereisen vaak aparte simulatoren, extra trainingsfasen of extra rekenwerk tijdens de inferentie. We merken op dat on-policy RL-rollouts reeds het benodigde signaal bevatten: elke transitie koppelt een actie aan de resulterende volgende waarneming. Op basis van deze waarneming introduceren we PaW, een gezamenlijk trainingsraamwerk voor policy- en wereldmodellering (Policy and World modeling co-training) dat tijdens RL extra WM-supervisie toevoegt aan hetzelfde beleid, zonder het inferentieparadigma te veranderen. Om deze extra WM-supervisie informatief en stabiel te maken, bevat PaW drie componenten: actie-entropiegebaseerde WM-dataselectie, een ruistolerante WM-verliesfunctie en een beloning-adaptieve verliesbalancering. Experimenten op drie agentische taakbenchmarks laten consistente verbeteringen zien ten opzichte van sterke RL-baselines, zowel voor verschillende modellen als RL-algoritmen. Deze resultaten suggereren dat standaard RL-rollouts een praktische bron van WM-supervisie vormen voor de training van taalagenten.

English

Reinforcement learning (RL) improves large language model (LLM) agents by teaching them which actions lead to high rewards, but provides little supervision on what those actions do to the environment. World modeling (WM) can fill this gap, yet existing approaches often require separate simulators, extra training stages, or additional inference-time computation. We observe that on-policy RL rollouts already contain the needed signal: each transition pairs an action with its resulting next observation. Based on this observation, we propose PaW, a Policy and World modeling co-training framework that adds auxiliary WM supervision to the same policy during RL, without changing the inference paradigm. To make auxiliary WM supervision informative and stable, PaW introduces three components: action-entropy-based WM data selection, noise-tolerant WM loss, and reward-adaptive loss balancing. Experiments on three agentic task benchmarks show consistent improvements over strong RL baselines across models and RL algorithms. These results suggest that standard RL rollouts are a practical source of WM supervision for language-agent training.