Mappa Cognitiva per Modelli Linguistici: Pianificazione Ottimale attraverso la Rappresentazione Verbale del Modello del Mondo

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

Autori: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

Abstract

I modelli linguistici hanno dimostrato capacità impressionanti in vari compiti di elaborazione del linguaggio naturale, ma incontrano difficoltà nei compiti di pianificazione che richiedono simulazioni multi-step. Ispirandosi ai processi cognitivi umani, questo articolo indaga il potere di pianificazione ottimale dei modelli linguistici in grado di costruire una mappa cognitiva di un determinato ambiente. I nostri esperimenti dimostrano che la mappa cognitiva migliora significativamente le prestazioni sia nella generazione di pianificazioni ottimali che raggiungibili nel compito di pianificazione del percorso in Gridworld. Osserviamo che il nostro metodo mostra due caratteristiche chiave simili alla cognizione umana: la generalizzazione della sua capacità di pianificazione a ambienti estrapolati e un rapido adattamento con dati di addestramento limitati. Speriamo che i nostri risultati nel compito di Gridworld forniscano intuizioni sulla modellazione dei processi cognitivi umani nei modelli linguistici, potenzialmente portando allo sviluppo di sistemi più avanzati e robusti che assomiglino meglio alla cognizione umana.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.