WALL-E: Выравнивание мира посредством обучения правил улучшает модель мира на основе LLM агентов

WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents

October 9, 2024

Авторы: Siyu Zhou, Tianyi Zhou, Yijun Yang, Guodong Long, Deheng Ye, Jing Jiang, Chengqi Zhang

cs.AI

Аннотация

Могут ли большие языковые модели (LLM) непосредственно служить мощными моделями мира для агентов, основанных на моделях? Хотя разрывы между предварительными знаниями LLM и динамикой указанной среды существуют, наше исследование показывает, что эти разрывы могут быть преодолены путем выравнивания LLM с развернутой средой, и такое "выравнивание мира" может быть эффективно достигнуто путем обучения правилам на LLM. Учитывая богатые предварительные знания LLM, лишь несколько дополнительных правил достаточны для выравнивания прогнозов LLM с динамикой указанной среды. В этом контексте мы предлагаем нейросимволический подход к обучению этих правил без градиента через LLM, путем индукции, обновления и обрезки правил на основе сравнений траекторий, исследуемых агентом, и прогнозов модели мира. Получившаяся модель мира состоит из LLM и выученных правил. Наш воплощенный агент LLM "WALL-E" построен на модельно-предиктивном управлении (MPC). Оптимизируя действия с просмотром вперед на основе точной модели мира, MPC значительно улучшает эффективность исследования и обучения. По сравнению с существующими агентами LLM, рассуждения WALL-E требуют лишь нескольких основных правил, а не многословных буферизированных траекторий, включенных во вход LLM. На вызовах в открытом мире в Minecraft и ALFWorld WALL-E достигает более высоких показателей успеха, чем существующие методы, с более низкими затратами на время перепланирования и количество использованных токенов для рассуждений. В Minecraft WALL-E превосходит базовые значения на 15-30% в показателях успеха, при этом требуя на 8-20 меньше раундов перепланирования и всего лишь 60-80% токенов. В ALFWorld его показатель успеха взлетает до нового рекордного значения 95% уже после 6 итераций.

English

Can large language models (LLMs) directly serve as powerful world models for model-based agents? While the gaps between the prior knowledge of LLMs and the specified environment's dynamics do exist, our study reveals that the gaps can be bridged by aligning an LLM with its deployed environment and such "world alignment" can be efficiently achieved by rule learning on LLMs. Given the rich prior knowledge of LLMs, only a few additional rules suffice to align LLM predictions with the specified environment dynamics. To this end, we propose a neurosymbolic approach to learn these rules gradient-free through LLMs, by inducing, updating, and pruning rules based on comparisons of agent-explored trajectories and world model predictions. The resulting world model is composed of the LLM and the learned rules. Our embodied LLM agent "WALL-E" is built upon model-predictive control (MPC). By optimizing look-ahead actions based on the precise world model, MPC significantly improves exploration and learning efficiency. Compared to existing LLM agents, WALL-E's reasoning only requires a few principal rules rather than verbose buffered trajectories being included in the LLM input. On open-world challenges in Minecraft and ALFWorld, WALL-E achieves higher success rates than existing methods, with lower costs on replanning time and the number of tokens used for reasoning. In Minecraft, WALL-E exceeds baselines by 15-30% in success rate while costing 8-20 fewer replanning rounds and only 60-80% of tokens. In ALFWorld, its success rate surges to a new record high of 95% only after 6 iterations.