Спекулятивное потоковое выполнение: Быстрый вывод в больших языковых моделях без вспомогательных моделей
Speculative Streaming: Fast LLM Inference without Auxiliary Models
February 16, 2024
Авторы: Nikhil Bhendawade, Irina Belousova, Qichen Fu, Henry Mason, Mohammad Rastegari, Mahyar Najibi
cs.AI
Аннотация
Спекулятивное декодирование — это известный метод ускорения вывода большой целевой языковой модели на основе предсказаний вспомогательной черновой модели. Хотя этот метод эффективен, в задачах, специфичных для конкретных приложений, он часто требует тонкой настройки как черновой, так и целевой моделей для достижения высоких показателей принятия предсказаний. С увеличением числа задач это приводит к значительному усложнению систем вывода. Мы предлагаем метод **Speculative Streaming** — подход к спекулятивному декодированию с использованием одной модели, который интегрирует процесс создания черновика в целевую модель, изменяя цель тонкой настройки с предсказания следующего токена на предсказание будущих n-грамм. Speculative Streaming ускоряет декодирование в 1,8–3,1 раза в различных задачах, таких как суммаризация, структурированные запросы и представление смысла, без ущерба для качества генерации. Кроме того, Speculative Streaming является параметрически эффективным. Он достигает сопоставимых или более высоких показателей ускорения по сравнению с архитектурами в стиле Medusa, используя при этом примерно в 10 000 раз меньше дополнительных параметров, что делает его подходящим для устройств с ограниченными ресурсами.
English
Speculative decoding is a prominent technique to speed up the inference of a
large target language model based on predictions of an auxiliary draft model.
While effective, in application-specific settings, it often involves
fine-tuning both draft and target models to achieve high acceptance rates. As
the number of downstream tasks grows, these draft models add significant
complexity to inference systems. We propose Speculative Streaming, a
single-model speculative decoding method that fuses drafting into the target
model by changing the fine-tuning objective from next token prediction to
future n-gram prediction. Speculative Streaming speeds up decoding by 1.8 -
3.1X in a diverse set of tasks, such as Summarization, Structured Queries, and
Meaning Representation, without sacrificing generation quality. Additionally,
Speculative Streaming is parameter-efficient. It achieves on-par/higher
speed-ups than Medusa-style architectures while using ~10000X fewer extra
parameters, making it well-suited for resource-constrained devices.