WALL-E : Alignement mondial par l'apprentissage de règles améliore les agents LLM basés sur le modèle mondial

WALL-E: World Alignment by Rule Learning Improves World Model-based LLM Agents

October 9, 2024

Auteurs: Siyu Zhou, Tianyi Zhou, Yijun Yang, Guodong Long, Deheng Ye, Jing Jiang, Chengqi Zhang

cs.AI

Résumé

Les grands modèles de langage (GML) peuvent-ils directement servir de puissants modèles du monde pour les agents basés sur des modèles ? Bien que des écarts existent entre les connaissances antérieures des GML et la dynamique de l'environnement spécifié, notre étude révèle que ces écarts peuvent être comblés en alignant un GML avec son environnement déployé, et un tel "alignement mondial" peut être efficacement réalisé en apprenant des règles sur les GML. Compte tenu des riches connaissances antérieures des GML, seules quelques règles supplémentaires suffisent pour aligner les prédictions des GML avec la dynamique de l'environnement spécifié. À cette fin, nous proposons une approche neurosymbolique pour apprendre ces règles sans gradient à travers les GML, en induisant, mettant à jour et élaguant des règles basées sur des comparaisons entre les trajectoires explorées par l'agent et les prédictions du modèle du monde. Le modèle du monde résultant est composé du GML et des règles apprises. Notre agent GML incarné "WALL-E" est construit sur un contrôle prédictif de modèle (CPM). En optimisant les actions de prévision en fonction du modèle du monde précis, le CPM améliore significativement l'efficacité de l'exploration et de l'apprentissage. Comparé aux agents GML existants, le raisonnement de WALL-E ne nécessite que quelques règles principales plutôt que des trajectoires tampon verbeuses incluses en entrée du GML. Sur des défis en monde ouvert dans Minecraft et ALFWorld, WALL-E atteint des taux de réussite plus élevés que les méthodes existantes, avec des coûts moindres en termes de temps de replanification et du nombre de jetons utilisés pour le raisonnement. Dans Minecraft, WALL-E dépasse les références de 15 à 30 % en taux de réussite tout en nécessitant de 8 à 20 rounds de replanification en moins et seulement 60 à 80 % des jetons. Dans ALFWorld, son taux de réussite atteint un nouveau record de 95 % seulement après 6 itérations.

English

Can large language models (LLMs) directly serve as powerful world models for model-based agents? While the gaps between the prior knowledge of LLMs and the specified environment's dynamics do exist, our study reveals that the gaps can be bridged by aligning an LLM with its deployed environment and such "world alignment" can be efficiently achieved by rule learning on LLMs. Given the rich prior knowledge of LLMs, only a few additional rules suffice to align LLM predictions with the specified environment dynamics. To this end, we propose a neurosymbolic approach to learn these rules gradient-free through LLMs, by inducing, updating, and pruning rules based on comparisons of agent-explored trajectories and world model predictions. The resulting world model is composed of the LLM and the learned rules. Our embodied LLM agent "WALL-E" is built upon model-predictive control (MPC). By optimizing look-ahead actions based on the precise world model, MPC significantly improves exploration and learning efficiency. Compared to existing LLM agents, WALL-E's reasoning only requires a few principal rules rather than verbose buffered trajectories being included in the LLM input. On open-world challenges in Minecraft and ALFWorld, WALL-E achieves higher success rates than existing methods, with lower costs on replanning time and the number of tokens used for reasoning. In Minecraft, WALL-E exceeds baselines by 15-30% in success rate while costing 8-20 fewer replanning rounds and only 60-80% of tokens. In ALFWorld, its success rate surges to a new record high of 95% only after 6 iterations.