Крупные языковые модели как универсальные машины для работы с паттернами

Large Language Models as General Pattern Machines

July 10, 2023

Авторы: Suvir Mirchandani, Fei Xia, Pete Florence, Brian Ichter, Danny Driess, Montserrat Gonzalez Arenas, Kanishka Rao, Dorsa Sadigh, Andy Zeng

cs.AI

Аннотация

Мы наблюдаем, что предварительно обученные большие языковые модели (LLM) способны авторегрессивно завершать сложные последовательности токенов — начиная от произвольных последовательностей, сгенерированных процедурно с использованием вероятностных контекстно-свободных грамматик (PCFG), и заканчивая более богатыми пространственными паттернами, обнаруженными в наборе данных Abstract Reasoning Corpus (ARC), общем тесте на искусственный интеллект, представленном в стиле ASCII-арта. Удивительно, но способность к завершению паттернов частично сохраняется даже в случаях, когда последовательности выражены с использованием токенов, случайно выбранных из словаря. Эти результаты позволяют предположить, что без дополнительного обучения LLM могут выступать в роли универсальных моделей последовательностей, управляемых обучением в контексте. В данной работе мы исследуем, как эти возможности в режиме "zero-shot" могут быть применены к задачам в робототехнике — от экстраполяции последовательностей чисел, представляющих состояния во времени, для завершения простых движений, до подхода "от меньшего к большему" (least-to-most prompting) для траекторий, обусловленных наградой, которые могут обнаруживать и представлять замкнутые политики (например, стабилизирующий контроллер для задачи CartPole). Хотя сегодня развертывание таких подходов для реальных систем затруднено из-за задержек, ограничений на размер контекста и вычислительных затрат, использование LLM для управления низкоуровневым контролем может дать захватывающее представление о том, как паттерны среди слов могут быть перенесены на действия.

English

We observe that pre-trained large language models (LLMs) are capable of autoregressively completing complex token sequences -- from arbitrary ones procedurally generated by probabilistic context-free grammars (PCFG), to more rich spatial patterns found in the Abstract Reasoning Corpus (ARC), a general AI benchmark, prompted in the style of ASCII art. Surprisingly, pattern completion proficiency can be partially retained even when the sequences are expressed using tokens randomly sampled from the vocabulary. These results suggest that without any additional training, LLMs can serve as general sequence modelers, driven by in-context learning. In this work, we investigate how these zero-shot capabilities may be applied to problems in robotics -- from extrapolating sequences of numbers that represent states over time to complete simple motions, to least-to-most prompting of reward-conditioned trajectories that can discover and represent closed-loop policies (e.g., a stabilizing controller for CartPole). While difficult to deploy today for real systems due to latency, context size limitations, and compute costs, the approach of using LLMs to drive low-level control may provide an exciting glimpse into how the patterns among words could be transferred to actions.