Cognitieve Kaart voor Taalmodellen: Optimale Planning door Verbale Representatie van het Wereldmodel

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

Auteurs: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

Samenvatting

Taalmodellen hebben indrukwekkende prestaties getoond bij diverse taken binnen natuurlijke taalverwerking, maar ze hebben moeite met planningsopdrachten die multi-stapsimulaties vereisen. Geïnspireerd door menselijke cognitieve processen, onderzoekt dit artikel het optimale planningsvermogen van taalmodellen die een cognitieve kaart van een gegeven omgeving kunnen construeren. Onze experimenten tonen aan dat een cognitieve kaart de prestaties aanzienlijk verbetert bij zowel het genereren van optimale als bereikbare plannen in de Gridworld-padplanningsopdracht. We observeren dat onze methode twee belangrijke kenmerken vertoont die vergelijkbaar zijn met menselijke cognitie: generalisatie van het planningsvermogen naar geëxtrapoleerde omgevingen en snelle aanpassing met beperkte trainingsdata. We hopen dat onze bevindingen in de Gridworld-opdracht inzichten bieden in het modelleren van menselijke cognitieve processen in taalmodellen, wat mogelijk kan leiden tot de ontwikkeling van geavanceerdere en robuustere systemen die meer lijken op menselijke cognitie.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.