Бросьте кости и оглянитесь перед прыжком: Выход за пределы творческих ограничений предсказания следующего токена

Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction

April 21, 2025

Авторы: Vaishnavh Nagarajan, Chen Henry Wu, Charles Ding, Aditi Raghunathan

cs.AI

Аннотация

Мы разработали набор минималистичных алгоритмических задач, которые являются свободной абстракцией открытых задач реального мира. Это позволяет нам четко и контролируемо оценить творческие ограничения современных языковых моделей. Подобно реальным задачам, требующим творческого, дальновидного скачка мысли, наши задачи предполагают неявный, открытый стохастический шаг планирования, который либо (а) обнаруживает новые связи в абстрактном графе знаний (как в игре слов, проведении аналогий или исследованиях), либо (б) создает новые паттерны (как в разработке математических задач или новых белков). В этих задачах мы эмпирически и концептуально показываем, что обучение на основе предсказания следующего токена является близоруким и чрезмерно полагается на запоминание; в то время как подходы, основанные на множестве токенов, такие как обучение без учителя и диффузионные модели, превосходно справляются с созданием разнообразного и оригинального результата. Во-вторых, в наших задачах мы обнаруживаем, что для извлечения случайности из Transformer без ущерба для связности лучше вносить шум непосредственно на уровне входного слоя (с помощью метода, который мы называем хэш-кондиционированием), а не полагаться на температурную выборку на уровне выходного слоя. Таким образом, наша работа предлагает принципиальную, минималистичную тестовую среду для анализа открытых творческих навыков и предоставляет новые аргументы в пользу выхода за рамки обучения на основе следующего токена и выборки на основе softmax. Часть кода доступна по адресу: https://github.com/chenwu98/algorithmic-creativity.

English

We design a suite of minimal algorithmic tasks that are a loose abstraction of open-ended real-world tasks. This allows us to cleanly and controllably quantify the creative limits of the present-day language model. Much like real-world tasks that require a creative, far-sighted leap of thought, our tasks require an implicit, open-ended stochastic planning step that either (a) discovers new connections in an abstract knowledge graph (like in wordplay, drawing analogies, or research) or (b) constructs new patterns (like in designing math problems or new proteins). In these tasks, we empirically and conceptually argue how next-token learning is myopic and memorizes excessively; comparatively, multi-token approaches, namely teacherless training and diffusion models, excel in producing diverse and original output. Secondly, in our tasks, we find that to elicit randomness from the Transformer without hurting coherence, it is better to inject noise right at the input layer (via a method we dub hash-conditioning) rather than defer to temperature sampling from the output layer. Thus, our work offers a principled, minimal test-bed for analyzing open-ended creative skills, and offers new arguments for going beyond next-token learning and softmax-based sampling. We make part of the code available under https://github.com/chenwu98/algorithmic-creativity