言語モデルのための認知地図：世界モデルを言語的に表現することによる最適計画

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

著者: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

要旨

言語モデルは様々な自然言語処理タスクにおいて印象的な能力を発揮してきたが、多段階のシミュレーションを必要とする計画タスクには苦戦している。人間の認知プロセスに着想を得て、本論文では与えられた環境の認知地図を構築できる言語モデルの最適計画能力を調査する。Gridworld経路計画タスクにおける実験では、認知地図が最適計画と到達可能計画の生成能力の両方を大幅に向上させることが実証された。我々の手法は、人間の認知と類似した2つの重要な特性を示していることが観察された：計画能力の外挿環境への一般化と、限られた訓練データでの迅速な適応である。Gridworldタスクにおける我々の発見が、言語モデルにおける人間の認知プロセスのモデル化に洞察を提供し、人間の認知により近い、より高度で堅牢なシステムの開発につながることを期待する。

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.