ALPINE: Svelare la Capacità di Pianificazione nell'Apprendimento Autoregressivo dei Modelli Linguistici

ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models

May 15, 2024

Autori: Siwei Wang, Yifei Shen, Shi Feng, Haoran Sun, Shang-Hua Teng, Wei Chen

cs.AI

Abstract

In questo articolo, presentiamo i risultati del nostro Progetto ALPINE, acronimo di "Autoregressive Learning for Planning In NEtworks". Il Progetto ALPINE avvia un'indagine teorica sullo sviluppo delle capacità di pianificazione nei modelli linguistici basati su Transformer attraverso i loro meccanismi di apprendimento autoregressivo, con l'obiettivo di identificare eventuali limitazioni nelle loro abilità di pianificazione. Astraiamo la pianificazione come un'attività di ricerca di percorsi in una rete, in cui l'obiettivo è generare un percorso valido da un nodo sorgente specificato a un nodo target designato. In termini di espressività, dimostriamo che il Transformer è in grado di eseguire la ricerca di percorsi incorporando le matrici di adiacenza e raggiungibilità all'interno dei suoi pesi. La nostra analisi teorica della dinamica di apprendimento basata sui gradienti del Transformer rivela che il Transformer è in grado di apprendere sia la matrice di adiacenza che una forma limitata della matrice di raggiungibilità. Queste intuizioni teoriche vengono poi validate attraverso esperimenti, che dimostrano che il Transformer apprende effettivamente la matrice di adiacenza e una matrice di raggiungibilità incompleta, in linea con le previsioni fatte nella nostra analisi teorica. Inoltre, applicando la nostra metodologia a un benchmark di pianificazione del mondo reale, chiamato Blocksworld, le nostre osservazioni rimangono coerenti. Le nostre analisi teoriche ed empiriche rivelano ulteriormente una potenziale limitazione del Transformer nella ricerca di percorsi: non è in grado di identificare relazioni di raggiungibilità attraverso la transitività e quindi fallirebbe quando è necessaria la concatenazione di percorsi per generare un percorso. In sintesi, i nostri risultati gettano nuova luce su come i meccanismi interni dell'apprendimento autoregressivo abilitano la pianificazione nelle reti. Questo studio può contribuire alla nostra comprensione delle capacità generali di pianificazione in altri domini correlati.

English

In this paper, we present the findings of our Project ALPINE which stands for ``Autoregressive Learning for Planning In NEtworks." Project ALPINE initiates a theoretical investigation into the development of planning capabilities in Transformer-based language models through their autoregressive learning mechanisms, aiming to identify any potential limitations in their planning abilities. We abstract planning as a network path-finding task where the objective is to generate a valid path from a specified source node to a designated target node. In terms of expressiveness, we show that the Transformer is capable of executing path-finding by embedding the adjacency and reachability matrices within its weights. Our theoretical analysis of the gradient-based learning dynamic of the Transformer reveals that the Transformer is capable of learning both the adjacency matrix and a limited form of the reachability matrix. These theoretical insights are then validated through experiments, which demonstrate that the Transformer indeed learns the adjacency matrix and an incomplete reachability matrix, which aligns with the predictions made in our theoretical analysis. Additionally, when applying our methodology to a real-world planning benchmark, called Blocksworld, our observations remain consistent. Our theoretical and empirical analyses further unveil a potential limitation of Transformer in path-finding: it cannot identify reachability relationships through transitivity, and thus would fail when path concatenation is needed to generate a path. In summary, our findings shed new light on how the internal mechanisms of autoregressive learning enable planning in networks. This study may contribute to our understanding of the general planning capabilities in other related domains.