언어 모델을 위한 인지 지도: 세계 모델의 언어적 표현을 통한 최적 계획

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

저자: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

초록

언어 모델은 다양한 자연어 처리 작업에서 인상적인 능력을 보여왔지만, 다단계 시뮬레이션이 필요한 계획 작업에는 어려움을 겪습니다. 인간의 인지 과정에서 영감을 받아, 본 논문은 주어진 환경의 인지 지도를 구성할 수 있는 언어 모델의 최적 계획 능력을 탐구합니다. 우리의 실험은 인지 지도가 Gridworld 경로 계획 작업에서 최적 및 도달 가능한 계획 생성 능력을 크게 향상시킨다는 것을 보여줍니다. 우리의 방법은 인간의 인지와 유사한 두 가지 주요 특성을 보여줍니다: 외삽된 환경으로의 계획 능력 일반화와 제한된 훈련 데이터로의 빠른 적응입니다. 우리는 Gridworld 작업에서의 연구 결과가 언어 모델에서 인간의 인지 과정을 모델링하는 데 통찰을 제공하고, 궁극적으로 인간의 인지와 더 유사한 더 발전적이고 견고한 시스템 개발로 이어지기를 바랍니다.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.