Когнитивная карта для языковых моделей: оптимальное планирование с помощью вербального представления модели мира.

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

Авторы: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

Аннотация

Языковые модели продемонстрировали впечатляющие возможности в различных задачах обработки естественного языка, однако они испытывают затруднения с планированием задач, требующих многошаговых симуляций. Вдохновленные человеческими когнитивными процессами, в данной статье исследуется оптимальная планировочная мощность языковых моделей, способных строить когнитивную карту данной среды. Наши эксперименты показывают, что когнитивная карта значительно улучшает производительность как оптимальной, так и достижимой генерации планирования в задаче планирования пути в Gridworld. Мы наблюдаем, что наш метод демонстрирует две ключевые характеристики, сходные с человеческим когнитивным процессом: обобщение своей планировочной способности на экстраполированные среды и быструю адаптацию с ограниченными данными обучения. Мы надеемся, что наши результаты в задаче Gridworld предоставят понимание моделирования человеческих когнитивных процессов в языковых моделях, что потенциально приведет к разработке более продвинутых и надежных систем, лучше соответствующих человеческому когнитивному процессу.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.