Verbeelden-dan-Plannen: Agentleren via Adaptieve Vooruitkijken met Wereldmodellen

Imagine-then-Plan: Agent Learning from Adaptive Lookahead with World Models

January 13, 2026

Auteurs: Youwei Liu, Jian Wang, Hanlin Wang, Beichen Guo, Wenjie Li

cs.AI

Samenvatting

Recente vooruitgang in wereldmodellen toont belofte voor het modelleren van toekomstige dynamieken van omgevingstoestanden, waardoor agents kunnen redeneren en handelen zonder toegang tot echte omgevingen. Huidige methoden voeren voornamelijk enkelstaps- of vaste-horizonrollouts uit, waardoor hun potentieel voor complexe taakplanning onderbenut blijft. Wij stellen Imagine-then-Plan (ITP) voor, een uniform raamwerk voor agentleren via vooruitziende verbeelding, waarbij het beleidsmodel van een agent interageert met het geleerde wereldmodel, wat meerstaps "verbeelde" trajecten oplevert. Aangezien de verbeeldingshorizon kan variëren per taak en fase, introduceren we een nieuw adaptief vooruitziend mechanisme door het ultieme doel en de taakvoortgang af te wegen. De resulterende verbeelde trajecten bieden rijke signalen over toekomstige gevolgen, zoals behaalde voortgang en potentiële conflicten, welke worden gefuseerd met huidige observaties, waardoor een gedeeltelijk observeerbaar en verbeeldbaar Markov-beslissingsproces wordt geformuleerd om beleidsleren te sturen. We concretiseren ITP met zowel trainingsvrije als door reinforcement getrainde varianten. Uitgebreide experimenten over representatieve agentbenchmarks tonen aan dat ITP aanzienlijk beter presteert dan competitieve baseline-methoden. Verdere analyses valideren dat ons adaptieve vooruitziend mechanisme het redeneervermogen van agents grotendeels verbetert, wat waardevolle inzichten biedt voor het aanpakken van bredere, complexe taken.

English

Recent advances in world models have shown promise for modeling future dynamics of environmental states, enabling agents to reason and act without accessing real environments. Current methods mainly perform single-step or fixed-horizon rollouts, leaving their potential for complex task planning under-exploited. We propose Imagine-then-Plan (ITP), a unified framework for agent learning via lookahead imagination, where an agent's policy model interacts with the learned world model, yielding multi-step ``imagined'' trajectories. Since the imagination horizon may vary by tasks and stages, we introduce a novel adaptive lookahead mechanism by trading off the ultimate goal and task progress. The resulting imagined trajectories provide rich signals about future consequences, such as achieved progress and potential conflicts, which are fused with current observations, formulating a partially observable and imaginable Markov decision process to guide policy learning. We instantiate ITP with both training-free and reinforcement-trained variants. Extensive experiments across representative agent benchmarks demonstrate that ITP significantly outperforms competitive baselines. Further analyses validate that our adaptive lookahead largely enhances agents' reasoning capability, providing valuable insights into addressing broader, complex tasks.