АЛЬПИЙ: Раскрывая планировочные возможности авторегрессионного обучения в языковых моделях

ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models

May 15, 2024

Авторы: Siwei Wang, Yifei Shen, Shi Feng, Haoran Sun, Shang-Hua Teng, Wei Chen

cs.AI

Аннотация

В данной статье мы представляем результаты нашего проекта ALPINE, что означает "Авторегрессивное обучение для планирования в сетях". Проект ALPINE начинает теоретическое исследование развития планировочных возможностей в языковых моделях на основе трансформеров через их механизмы авторегрессивного обучения, с целью выявить любые потенциальные ограничения в их планировочных способностях. Мы абстрагируем планирование как задачу поиска пути в сети, где целью является генерация допустимого пути от указанного исходного узла к назначенному целевому узлу. В терминах выразительности мы показываем, что Трансформер способен выполнять поиск пути, внедряя матрицы смежности и достижимости в свои веса. Наше теоретическое анализ градиентного обучающего динамика Трансформера показывает, что Трансформер способен изучать как матрицу смежности, так и ограниченную форму матрицы достижимости. Эти теоретические идеи затем подтверждаются через эксперименты, которые демонстрируют, что Трансформер действительно изучает матрицу смежности и неполную матрицу достижимости, что соответствует предсказаниям, сделанным в нашем теоретическом анализе. Кроме того, применяя наш метод к реальной бенчмарк-среде планирования, называемой Blocksworld, наши наблюдения остаются согласованными. Наши теоретические и эмпирические анализы дополнительно раскрывают потенциальное ограничение Трансформера в поиске пути: он не способен идентифицировать отношения достижимости через транзитивность и, следовательно, не сможет успешно выполнить конкатенацию путей для генерации пути. В итоге, наши результаты проливают новый свет на то, как внутренние механизмы авторегрессивного обучения обеспечивают планирование в сетях. Это исследование может способствовать нашему пониманию общих планировочных возможностей в других связанных областях.

English

In this paper, we present the findings of our Project ALPINE which stands for ``Autoregressive Learning for Planning In NEtworks." Project ALPINE initiates a theoretical investigation into the development of planning capabilities in Transformer-based language models through their autoregressive learning mechanisms, aiming to identify any potential limitations in their planning abilities. We abstract planning as a network path-finding task where the objective is to generate a valid path from a specified source node to a designated target node. In terms of expressiveness, we show that the Transformer is capable of executing path-finding by embedding the adjacency and reachability matrices within its weights. Our theoretical analysis of the gradient-based learning dynamic of the Transformer reveals that the Transformer is capable of learning both the adjacency matrix and a limited form of the reachability matrix. These theoretical insights are then validated through experiments, which demonstrate that the Transformer indeed learns the adjacency matrix and an incomplete reachability matrix, which aligns with the predictions made in our theoretical analysis. Additionally, when applying our methodology to a real-world planning benchmark, called Blocksworld, our observations remain consistent. Our theoretical and empirical analyses further unveil a potential limitation of Transformer in path-finding: it cannot identify reachability relationships through transitivity, and thus would fail when path concatenation is needed to generate a path. In summary, our findings shed new light on how the internal mechanisms of autoregressive learning enable planning in networks. This study may contribute to our understanding of the general planning capabilities in other related domains.