WALL-E 2.0: Выравнивание мира через нейросимволическое обучение улучшает агентов на основе языковых моделей с мировыми моделями

WALL-E 2.0: World Alignment by NeuroSymbolic Learning improves World Model-based LLM Agents

April 22, 2025

Авторы: Siyu Zhou, Tianyi Zhou, Yijun Yang, Guodong Long, Deheng Ye, Jing Jiang, Chengqi Zhang

cs.AI

Аннотация

Можем ли мы построить точные модели мира на основе больших языковых моделей (LLM)? Как модели мира могут улучшить агентов на основе LLM? Разрыв между априорными знаниями LLM и динамикой конкретной среды обычно ограничивает их производительность в качестве моделей мира. Чтобы преодолеть этот разрыв, мы предлагаем метод "выравнивания мира" без обучения, который извлекает символические знания о среде, дополняющие LLM. Эти символические знания включают правила действий, графы знаний и графы сцен, которые извлекаются LLM из траекторий исследования и кодируются в исполняемый код для регулирования политик агентов LLM. Мы также предлагаем агента "WALL-E 2.0", основанного на модели и не требующего обучения с подкреплением (RL), в рамках модели прогнозирующего управления (MPC). В отличие от классического MPC, требующего дорогостоящей оптимизации в реальном времени, мы используем агента LLM в качестве эффективного оптимизатора будущих шагов, взаимодействующего с нейросимволической моделью мира. Хотя сильные эвристики агента LLM делают его эффективным планировщиком в MPC, качество его запланированных действий также обеспечивается точными прогнозами выровненной модели мира. Вместе они значительно повышают эффективность обучения в новой среде. В открытых задачах в среде Mars (подобной Minecraft) и ALFWorld (воплощенные внутренние среды) WALL-E 2.0 значительно превосходит существующие методы, например, превышая базовые показатели в Mars на 16,1%-51,6% по успешности и как минимум на 61,7% по баллам. В ALFWorld он достигает нового рекорда — 98% успешности всего за 4 итерации.

English

Can we build accurate world models out of large language models (LLMs)? How can world models benefit LLM agents? The gap between the prior knowledge of LLMs and the specified environment's dynamics usually bottlenecks LLMs' performance as world models. To bridge the gap, we propose a training-free "world alignment" that learns an environment's symbolic knowledge complementary to LLMs. The symbolic knowledge covers action rules, knowledge graphs, and scene graphs, which are extracted by LLMs from exploration trajectories and encoded into executable codes to regulate LLM agents' policies. We further propose an RL-free, model-based agent "WALL-E 2.0" through the model-predictive control (MPC) framework. Unlike classical MPC requiring costly optimization on the fly, we adopt an LLM agent as an efficient look-ahead optimizer of future steps' actions by interacting with the neurosymbolic world model. While the LLM agent's strong heuristics make it an efficient planner in MPC, the quality of its planned actions is also secured by the accurate predictions of the aligned world model. They together considerably improve learning efficiency in a new environment. On open-world challenges in Mars (Minecraft like) and ALFWorld (embodied indoor environments), WALL-E 2.0 significantly outperforms existing methods, e.g., surpassing baselines in Mars by 16.1%-51.6% of success rate and by at least 61.7% in score. In ALFWorld, it achieves a new record 98% success rate after only 4 iterations.