Mapa Cognitivo para Modelos de Lenguaje: Planificación Óptima mediante la Representación Verbal del Modelo del Mundo

Cognitive Map for Language Models: Optimal Planning via Verbally Representing the World Model

June 21, 2024

Autores: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo

cs.AI

Resumen

Los modelos de lenguaje han demostrado capacidades impresionantes en diversas tareas de procesamiento del lenguaje natural, pero enfrentan dificultades en tareas de planificación que requieren simulaciones de múltiples pasos. Inspirados por los procesos cognitivos humanos, este artículo investiga el poder de planificación óptima de los modelos de lenguaje que pueden construir un mapa cognitivo de un entorno dado. Nuestros experimentos demuestran que el mapa cognitivo mejora significativamente el rendimiento tanto en la generación de planificación óptima como alcanzable en la tarea de planificación de rutas en Gridworld. Observamos que nuestro método exhibe dos características clave similares a la cognición humana: la generalización de su capacidad de planificación a entornos extrapolados y la rápida adaptación con datos de entrenamiento limitados. Esperamos que nuestros hallazgos en la tarea de Gridworld proporcionen insights para modelar procesos cognitivos humanos en modelos de lenguaje, lo que podría conducir al desarrollo de sistemas más avanzados y robustos que se asemejen mejor a la cognición humana.

English

Language models have demonstrated impressive capabilities across various natural language processing tasks, yet they struggle with planning tasks requiring multi-step simulations. Inspired by human cognitive processes, this paper investigates the optimal planning power of language models that can construct a cognitive map of a given environment. Our experiments demonstrate that cognitive map significantly enhances the performance of both optimal and reachable planning generation ability in the Gridworld path planning task. We observe that our method showcases two key characteristics similar to human cognition: generalization of its planning ability to extrapolated environments and rapid adaptation with limited training data. We hope our findings in the Gridworld task provide insights into modeling human cognitive processes in language models, potentially leading to the development of more advanced and robust systems that better resemble human cognition.