Прямое декодирование нескольких токенов

Аннотация

Трансформеры с декодером стали стандартной архитектурой для больших языковых моделей (LLM) благодаря их высокой производительности. Недавние исследования показывают, что в предобученных LLM ранние, средние и поздние слои могут выполнять различные функции: ранние слои сосредоточены на понимании контекста входных данных, средние слои обрабатывают задачи, специфичные для конкретной задачи, а поздние слои преобразуют абстрактные представления в выходные токены. Мы предполагаем, что после обработки представлений ранними и средними слоями, полученные скрытые состояния могут содержать достаточно информации для генерации нескольких токенов с использованием только поздних слоев, устраняя необходимость повторного прохождения через ранние и средние слои. Мы называем этот подход к выводу Direct Multi-Token Decoding (DMTD). В отличие от спекулятивного декодирования, наш метод не вводит дополнительных параметров, вспомогательных процедур или проверки после генерации. Несмотря на обучение на ограниченном наборе данных, доработанная модель DMTD Qwen3-4B уже показала многообещающие результаты, достигнув ускорения до 2x с незначительной потерей производительности. Более того, как показано в нашем анализе масштабирования, её производительность, как ожидается, будет улучшаться с увеличением объемов обучающих данных.

English

Decoder-only transformers have become the standard architecture for large language models (LLMs) due to their strong performance. Recent studies suggest that, in pre-trained LLMs, early, middle, and late layers may serve distinct roles: Early layers focus on understanding the input context, middle layers handle task-specific processing, and late layers convert abstract representations into output tokens. We hypothesize that once representations have been processed by the early and middle layers, the resulting hidden states may encapsulate sufficient information to support the generation of multiple tokens using only the late layers, eliminating the need to repeatedly traverse the early and middle layers. We refer to this inference paradigm as Direct Multi-Token Decoding (DMTD). Unlike speculative decoding, our method introduces no additional parameters, auxiliary routines, or post-generation verification. Despite being trained on a limited dataset, a fine-tuned DMTD Qwen3-4B model has already demonstrated promising results, achieving up to a 2x speedup with only minor performance loss. Moreover, as shown in our scaling analysis, its performance is expected to further improve with larger training datasets.