ALPINE: Revelando la Capacidad de Planificación en el Aprendizaje Autoregresivo de Modelos de Lenguaje

ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models

May 15, 2024

Autores: Siwei Wang, Yifei Shen, Shi Feng, Haoran Sun, Shang-Hua Teng, Wei Chen

cs.AI

Resumen

En este artículo, presentamos los hallazgos de nuestro Proyecto ALPINE, que significa "Aprendizaje Autoregresivo para la Planificación en Redes" (Autoregressive Learning for Planning In NEtworks). El Proyecto ALPINE inicia una investigación teórica sobre el desarrollo de capacidades de planificación en modelos de lenguaje basados en Transformers a través de sus mecanismos de aprendizaje autoregresivo, con el objetivo de identificar posibles limitaciones en sus habilidades de planificación. Abstraemos la planificación como una tarea de búsqueda de rutas en redes, donde el objetivo es generar una ruta válida desde un nodo de origen especificado hasta un nodo de destino designado. En términos de expresividad, demostramos que el Transformer es capaz de ejecutar la búsqueda de rutas al incrustar las matrices de adyacencia y alcanzabilidad dentro de sus pesos. Nuestro análisis teórico de la dinámica de aprendizaje basada en gradientes del Transformer revela que este es capaz de aprender tanto la matriz de adyacencia como una forma limitada de la matriz de alcanzabilidad. Estas ideas teóricas se validan posteriormente mediante experimentos, que demuestran que el Transformer efectivamente aprende la matriz de adyacencia y una matriz de alcanzabilidad incompleta, lo que coincide con las predicciones de nuestro análisis teórico. Además, al aplicar nuestra metodología a un benchmark de planificación del mundo real, llamado Blocksworld, nuestras observaciones se mantienen consistentes. Nuestros análisis teóricos y empíricos también revelan una posible limitación del Transformer en la búsqueda de rutas: no puede identificar relaciones de alcanzabilidad a través de la transitividad y, por lo tanto, fallaría cuando se necesita concatenar rutas para generar una ruta. En resumen, nuestros hallazgos arrojan nueva luz sobre cómo los mecanismos internos del aprendizaje autoregresivo permiten la planificación en redes. Este estudio puede contribuir a nuestra comprensión de las capacidades generales de planificación en otros dominios relacionados.

English

In this paper, we present the findings of our Project ALPINE which stands for ``Autoregressive Learning for Planning In NEtworks." Project ALPINE initiates a theoretical investigation into the development of planning capabilities in Transformer-based language models through their autoregressive learning mechanisms, aiming to identify any potential limitations in their planning abilities. We abstract planning as a network path-finding task where the objective is to generate a valid path from a specified source node to a designated target node. In terms of expressiveness, we show that the Transformer is capable of executing path-finding by embedding the adjacency and reachability matrices within its weights. Our theoretical analysis of the gradient-based learning dynamic of the Transformer reveals that the Transformer is capable of learning both the adjacency matrix and a limited form of the reachability matrix. These theoretical insights are then validated through experiments, which demonstrate that the Transformer indeed learns the adjacency matrix and an incomplete reachability matrix, which aligns with the predictions made in our theoretical analysis. Additionally, when applying our methodology to a real-world planning benchmark, called Blocksworld, our observations remain consistent. Our theoretical and empirical analyses further unveil a potential limitation of Transformer in path-finding: it cannot identify reachability relationships through transitivity, and thus would fail when path concatenation is needed to generate a path. In summary, our findings shed new light on how the internal mechanisms of autoregressive learning enable planning in networks. This study may contribute to our understanding of the general planning capabilities in other related domains.