Kognitive Karte für Sprachmodelle: Optimale Planung durch verbale Darstellung des Weltmodells

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

Autoren: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

Zusammenfassung

Sprachmodelle haben beeindruckende Fähigkeiten in verschiedenen natürlichen Sprachverarbeitungsaufgaben gezeigt, kämpfen jedoch mit Planungsaufgaben, die mehrstufige Simulationen erfordern. Inspiriert von menschlichen kognitiven Prozessen untersucht diese Arbeit die optimale Planungsfähigkeit von Sprachmodellen, die eine kognitive Karte einer gegebenen Umgebung erstellen können. Unsere Experimente zeigen, dass die kognitive Karte die Leistung sowohl der optimalen als auch der erreichbaren Planungsfähigkeit bei der Pfadplanung in der Gridworld signifikant verbessert. Wir beobachten, dass unsere Methode zwei Schlüsselmerkmale ähnlich der menschlichen Kognition aufweist: die Verallgemeinerung der Planungsfähigkeit auf extrapolierte Umgebungen und die schnelle Anpassung mit begrenzten Trainingsdaten. Wir hoffen, dass unsere Erkenntnisse in der Gridworld-Aufgabe Einblicke in die Modellierung menschlicher kognitiver Prozesse in Sprachmodellen liefern und möglicherweise zur Entwicklung fortschrittlicherer und robusterer Systeme führen, die der menschlichen Kognition besser ähneln.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.