Мягкие токены, суровая правда

Аннотация

Использование непрерывных, а не дискретных токенов на этапе рассуждений с цепочкой мыслей (Chain-of-Thought, CoT) в больших языковых моделях (LLM) привлекло внимание в последнее время, основываясь на интуиции, что непрерывная смесь дискретных токенов может моделировать суперпозицию нескольких путей рассуждения одновременно. Теоретические результаты формально доказали, что непрерывные токены обладают значительно большей выразительностью и могут решать определённые задачи более эффективно. Однако практическое использование непрерывных токенов ограничивается серьёзными трудностями в обучении: предыдущие работы либо используют непрерывные токены только на этапе вывода в предварительно обученной модели с дискретными токенами, либо должны дистиллировать непрерывную CoT из эталонных дискретных CoT, сталкиваясь с вычислительными затратами, которые ограничивают CoT очень малым количеством токенов. Это первая работа, представляющая масштабируемый метод обучения непрерывных CoT с использованием обучения с подкреплением (RL), без дистилляции из эталонных дискретных CoT. Мы используем "мягкие" токены: смеси токенов вместе с шумом на входных эмбеддингах для обеспечения исследования в RL. Вычислительные накладные расходы минимальны, что позволяет нам обучать непрерывные CoT с сотнями токенов. На бенчмарках математических рассуждений с моделями Llama и Qwen до 8B, обучение с непрерывными CoT соответствует дискретным токенам CoT по метрике pass@1 и превосходит их по pass@32, демонстрируя большее разнообразие CoT. В систематических сравнениях наилучшие результаты достигаются при обучении с непрерывными токенами CoT и последующем использовании дискретных токенов для вывода, что означает возможность развёртывания "мягких" моделей стандартным способом. Наконец, мы показываем, что обучение непрерывных CoT с RL лучше сохраняет предсказания базовой модели на задачах вне домена, обеспечивая более мягкое воздействие на базовую модель.

English

The use of continuous instead of discrete tokens during the Chain-of-Thought (CoT) phase of reasoning LLMs has garnered attention recently, based on the intuition that a continuous mixture of discrete tokens could simulate a superposition of several reasoning paths simultaneously. Theoretical results have formally proven that continuous tokens have much greater expressivity and can solve specific problems more efficiently. However, practical use of continuous tokens has been limited by strong training difficulties: previous works either just use continuous tokens at inference time on a pre-trained discrete-token model, or must distill the continuous CoT from ground-truth discrete CoTs and face computational costs that limit the CoT to very few tokens. This is the first work introducing a scalable method to learn continuous CoTs via reinforcement learning (RL), without distilling from reference discrete CoTs. We use "soft" tokens: mixtures of tokens together with noise on the input embedding to provide RL exploration. Computational overhead is minimal, enabling us to learn continuous CoTs with hundreds of tokens. On math reasoning benchmarks with Llama and Qwen models up to 8B, training with continuous CoTs match discrete-token CoTs for pass@1 and surpass them for pass@32, showing greater CoT diversity. In systematic comparisons, the best-performing scenario is to train with continuous CoT tokens then use discrete tokens for inference, meaning the "soft" models can be deployed in a standard way. Finally, we show continuous CoT RL training better preserves the predictions of the base model on out-of-domain tasks, thus providing a softer touch to the base model.

Мягкие токены, суровая правда

Soft Tokens, Hard Truths

Аннотация

Support