Imaginar-y-Planificar: Aprendizaje de Agentes mediante la Anticipación Adaptativa con Modelos del Mundo

Imagine-then-Plan: Agent Learning from Adaptive Lookahead with World Models

January 13, 2026

Autores: Youwei Liu, Jian Wang, Hanlin Wang, Beichen Guo, Wenjie Li

cs.AI

Resumen

Los recientes avances en modelos del mundo han mostrado potencial para modelar la dinámica futura de estados ambientales, permitiendo que los agentes razonen y actúen sin acceder a entornos reales. Los métodos actuales realizan principalmente simulaciones de un solo paso o con horizontes fijos, dejando sin explotar su potencial para la planificación de tareas complejas. Proponemos Imagine-then-Plan (ITP), un marco unificado para el aprendizaje de agentes mediante la imaginación prospectiva, donde el modelo de política de un agente interactúa con el modelo del mundo aprendido, generando trayectorias "imaginadas" multi-paso. Dado que el horizonte de imaginación puede variar según las tareas y etapas, introducimos un novedoso mecanismo adaptativo de prospectiva mediante la compensación entre el objetivo final y el progreso de la tarea. Las trayectorias imaginadas resultantes proporcionan señales ricas sobre consecuencias futuras, como el progreso logrado y los conflictos potenciales, que se fusionan con las observaciones actuales, formulando un proceso de decisión de Markov parcialmente observable e imaginable para guiar el aprendizaje de políticas. Instanciamos ITP con variantes libres de entrenamiento y entrenadas por refuerzo. Experimentos exhaustivos en benchmarks representativos de agentes demuestran que ITP supera significativamente a los baselines competitivos. Análisis adicionales validan que nuestra prospectiva adaptativa mejora sustancialmente la capacidad de razonamiento de los agentes, proporcionando insights valiosos para abordar tareas complejas más amplias.

English

Recent advances in world models have shown promise for modeling future dynamics of environmental states, enabling agents to reason and act without accessing real environments. Current methods mainly perform single-step or fixed-horizon rollouts, leaving their potential for complex task planning under-exploited. We propose Imagine-then-Plan (ITP), a unified framework for agent learning via lookahead imagination, where an agent's policy model interacts with the learned world model, yielding multi-step ``imagined'' trajectories. Since the imagination horizon may vary by tasks and stages, we introduce a novel adaptive lookahead mechanism by trading off the ultimate goal and task progress. The resulting imagined trajectories provide rich signals about future consequences, such as achieved progress and potential conflicts, which are fused with current observations, formulating a partially observable and imaginable Markov decision process to guide policy learning. We instantiate ITP with both training-free and reinforcement-trained variants. Extensive experiments across representative agent benchmarks demonstrate that ITP significantly outperforms competitive baselines. Further analyses validate that our adaptive lookahead largely enhances agents' reasoning capability, providing valuable insights into addressing broader, complex tasks.