АЛЬПИЙ: Раскрывая планировочные возможности авторегрессионного обучения в языковых моделяхALPINE: Unveiling the Planning Capability of Autoregressive Learning in
Language Models
В данной статье мы представляем результаты нашего проекта ALPINE, что означает "Авторегрессивное обучение для планирования в сетях". Проект ALPINE начинает теоретическое исследование развития планировочных возможностей в языковых моделях на основе трансформеров через их механизмы авторегрессивного обучения, с целью выявить любые потенциальные ограничения в их планировочных способностях. Мы абстрагируем планирование как задачу поиска пути в сети, где целью является генерация допустимого пути от указанного исходного узла к назначенному целевому узлу. В терминах выразительности мы показываем, что Трансформер способен выполнять поиск пути, внедряя матрицы смежности и достижимости в свои веса. Наше теоретическое анализ градиентного обучающего динамика Трансформера показывает, что Трансформер способен изучать как матрицу смежности, так и ограниченную форму матрицы достижимости. Эти теоретические идеи затем подтверждаются через эксперименты, которые демонстрируют, что Трансформер действительно изучает матрицу смежности и неполную матрицу достижимости, что соответствует предсказаниям, сделанным в нашем теоретическом анализе. Кроме того, применяя наш метод к реальной бенчмарк-среде планирования, называемой Blocksworld, наши наблюдения остаются согласованными. Наши теоретические и эмпирические анализы дополнительно раскрывают потенциальное ограничение Трансформера в поиске пути: он не способен идентифицировать отношения достижимости через транзитивность и, следовательно, не сможет успешно выполнить конкатенацию путей для генерации пути. В итоге, наши результаты проливают новый свет на то, как внутренние механизмы авторегрессивного обучения обеспечивают планирование в сетях. Это исследование может способствовать нашему пониманию общих планировочных возможностей в других связанных областях.