Carte Cognitive pour les Modèles de Langage : Planification Optimale via la Représentation Verbale du Modèle du Monde

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

Auteurs: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

Résumé

Les modèles de langage ont démontré des capacités impressionnantes dans diverses tâches de traitement du langage naturel, mais ils peinent à accomplir des tâches de planification nécessitant des simulations en plusieurs étapes. Inspiré par les processus cognitifs humains, cet article explore la puissance de planification optimale des modèles de langage capables de construire une carte cognitive d'un environnement donné. Nos expériences montrent que la carte cognitive améliore significativement les performances des modèles, tant en génération de plans optimaux qu'en génération de plans réalisables, dans la tâche de planification de trajectoire dans un environnement Gridworld. Nous observons que notre méthode présente deux caractéristiques clés similaires à la cognition humaine : la généralisation de sa capacité de planification à des environnements extrapolés et une adaptation rapide avec un nombre limité de données d'entraînement. Nous espérons que nos résultats dans la tâche Gridworld fournissent des insights pour modéliser les processus cognitifs humains dans les modèles de langage, ouvrant potentiellement la voie au développement de systèmes plus avancés et robustes qui ressemblent davantage à la cognition humaine.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.