ALPINE : Révéler la capacité de planification dans l'apprentissage autorégressif des modèles de langage

ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models

May 15, 2024

Auteurs: Siwei Wang, Yifei Shen, Shi Feng, Haoran Sun, Shang-Hua Teng, Wei Chen

cs.AI

Résumé

Dans cet article, nous présentons les résultats de notre projet ALPINE, qui signifie « Apprentissage Autoregressif pour la Planification dans les Réseaux ». Le projet ALPINE initie une investigation théorique sur le développement des capacités de planification dans les modèles de langage basés sur les Transformateurs, à travers leurs mécanismes d'apprentissage autoregressif, dans le but d'identifier d'éventuelles limitations dans leurs aptitudes à planifier. Nous modélisons la planification comme une tâche de recherche de chemin dans un réseau, où l'objectif est de générer un chemin valide d'un nœud source spécifié à un nœud cible désigné. En termes d'expressivité, nous montrons que le Transformer est capable d'exécuter la recherche de chemin en intégrant les matrices d'adjacence et d'accessibilité dans ses poids. Notre analyse théorique de la dynamique d'apprentissage basée sur les gradients du Transformer révèle que celui-ci est capable d'apprendre à la fois la matrice d'adjacence et une forme limitée de la matrice d'accessibilité. Ces insights théoriques sont ensuite validés par des expériences, qui démontrent que le Transformer apprend effectivement la matrice d'adjacence et une matrice d'accessibilité incomplète, ce qui correspond aux prédictions de notre analyse théorique. De plus, lorsque nous appliquons notre méthodologie à un benchmark de planification du monde réel, appelé Blocksworld, nos observations restent cohérentes. Nos analyses théoriques et empiriques révèlent également une limitation potentielle du Transformer dans la recherche de chemin : il ne peut pas identifier les relations d'accessibilité par transitivité, et échoue donc lorsque la concaténation de chemins est nécessaire pour générer un chemin. En résumé, nos résultats apportent un nouvel éclairage sur la manière dont les mécanismes internes de l'apprentissage autoregressif permettent la planification dans les réseaux. Cette étude pourrait contribuer à notre compréhension des capacités générales de planification dans d'autres domaines connexes.

English

In this paper, we present the findings of our Project ALPINE which stands for ``Autoregressive Learning for Planning In NEtworks." Project ALPINE initiates a theoretical investigation into the development of planning capabilities in Transformer-based language models through their autoregressive learning mechanisms, aiming to identify any potential limitations in their planning abilities. We abstract planning as a network path-finding task where the objective is to generate a valid path from a specified source node to a designated target node. In terms of expressiveness, we show that the Transformer is capable of executing path-finding by embedding the adjacency and reachability matrices within its weights. Our theoretical analysis of the gradient-based learning dynamic of the Transformer reveals that the Transformer is capable of learning both the adjacency matrix and a limited form of the reachability matrix. These theoretical insights are then validated through experiments, which demonstrate that the Transformer indeed learns the adjacency matrix and an incomplete reachability matrix, which aligns with the predictions made in our theoretical analysis. Additionally, when applying our methodology to a real-world planning benchmark, called Blocksworld, our observations remain consistent. Our theoretical and empirical analyses further unveil a potential limitation of Transformer in path-finding: it cannot identify reachability relationships through transitivity, and thus would fail when path concatenation is needed to generate a path. In summary, our findings shed new light on how the internal mechanisms of autoregressive learning enable planning in networks. This study may contribute to our understanding of the general planning capabilities in other related domains.