Mapa Cognitivo para Modelos de Linguagem: Planejamento Ótimo por meio da Representação Verbal do Modelo do Mundo

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

Autores: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

Resumo

Os modelos de linguagem têm demonstrado impressionantes capacidades em várias tarefas de processamento de linguagem natural, no entanto, enfrentam dificuldades com tarefas de planejamento que exigem simulações de vários passos. Inspirado nos processos cognitivos humanos, este artigo investiga o poder de planejamento ótimo de modelos de linguagem que podem construir um mapa cognitivo de um ambiente dado. Nossos experimentos demonstram que o mapa cognitivo melhora significativamente o desempenho da capacidade de geração de planejamento ótimo e alcançável na tarefa de planejamento de caminho do Gridworld. Observamos que nosso método apresenta duas características-chave semelhantes à cognição humana: generalização de sua capacidade de planejamento para ambientes extrapolados e adaptação rápida com dados de treinamento limitados. Esperamos que nossas descobertas na tarefa do Gridworld forneçam insights sobre a modelagem dos processos cognitivos humanos em modelos de linguagem, potencialmente levando ao desenvolvimento de sistemas mais avançados e robustos que se assemelhem melhor à cognição humana.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.