ALPINE: Revelando a Capacidade de Planejamento em Modelos de Linguagem com Aprendizado Autoregressivo

ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models

May 15, 2024

Autores: Siwei Wang, Yifei Shen, Shi Feng, Haoran Sun, Shang-Hua Teng, Wei Chen

cs.AI

Resumo

Neste artigo, apresentamos os resultados do nosso Projeto ALPINE, que significa "Aprendizado Autoregressivo para Planejamento em Redes" (Autoregressive Learning for Planning In NEtworks). O Projeto ALPINE inicia uma investigação teórica sobre o desenvolvimento de capacidades de planejamento em modelos de linguagem baseados em Transformers por meio de seus mecanismos de aprendizado autoregressivo, com o objetivo de identificar possíveis limitações em suas habilidades de planejamento. Abstraímos o planejamento como uma tarefa de encontrar caminhos em redes, onde o objetivo é gerar um caminho válido de um nó de origem especificado para um nó de destino designado. Em termos de expressividade, mostramos que o Transformer é capaz de executar a busca de caminhos ao incorporar as matrizes de adjacência e alcançabilidade em seus pesos. Nossa análise teórica da dinâmica de aprendizado baseada em gradientes do Transformer revela que o Transformer é capaz de aprender tanto a matriz de adjacência quanto uma forma limitada da matriz de alcançabilidade. Esses insights teóricos são então validados por meio de experimentos, que demonstram que o Transformer de fato aprende a matriz de adjacência e uma matriz de alcançabilidade incompleta, o que está alinhado com as previsões feitas em nossa análise teórica. Além disso, ao aplicar nossa metodologia a um benchmark de planejamento do mundo real, chamado Blocksworld, nossas observações permanecem consistentes. Nossas análises teóricas e empíricas também revelam uma potencial limitação do Transformer na busca de caminhos: ele não consegue identificar relações de alcançabilidade por transitividade e, portanto, falharia quando a concatenação de caminhos for necessária para gerar um caminho. Em resumo, nossas descobertas lançam nova luz sobre como os mecanismos internos do aprendizado autoregressivo permitem o planejamento em redes. Este estudo pode contribuir para nossa compreensão das capacidades gerais de planejamento em outros domínios relacionados.

English

In this paper, we present the findings of our Project ALPINE which stands for ``Autoregressive Learning for Planning In NEtworks." Project ALPINE initiates a theoretical investigation into the development of planning capabilities in Transformer-based language models through their autoregressive learning mechanisms, aiming to identify any potential limitations in their planning abilities. We abstract planning as a network path-finding task where the objective is to generate a valid path from a specified source node to a designated target node. In terms of expressiveness, we show that the Transformer is capable of executing path-finding by embedding the adjacency and reachability matrices within its weights. Our theoretical analysis of the gradient-based learning dynamic of the Transformer reveals that the Transformer is capable of learning both the adjacency matrix and a limited form of the reachability matrix. These theoretical insights are then validated through experiments, which demonstrate that the Transformer indeed learns the adjacency matrix and an incomplete reachability matrix, which aligns with the predictions made in our theoretical analysis. Additionally, when applying our methodology to a real-world planning benchmark, called Blocksworld, our observations remain consistent. Our theoretical and empirical analyses further unveil a potential limitation of Transformer in path-finding: it cannot identify reachability relationships through transitivity, and thus would fail when path concatenation is needed to generate a path. In summary, our findings shed new light on how the internal mechanisms of autoregressive learning enable planning in networks. This study may contribute to our understanding of the general planning capabilities in other related domains.