POSS: Специалист по позициям создает более качественный черновик для спекулятивного декодирования

POSS: Position Specialist Generates Better Draft for Speculative Decoding

June 4, 2025

Авторы: Langlin Huang, Chengsong Huang, Jixuan Leng, Di Huang, Jiaxin Huang

cs.AI

Аннотация

Спекулятивное декодирование ускоряет вывод в больших языковых моделях (LLM) за счет использования небольшой черновой модели для предсказания нескольких токенов и крупной целевой модели для их параллельной проверки. Недавние исследования используют скрытое состояние целевой модели для повышения точности предсказаний черновой модели. Однако существующие методы страдают от снижения качества предсказаний токенов на более поздних позициях из-за накопления ошибок в признаках, генерируемых черновой моделью. В данной статье мы предлагаем подход Position Specialists (PosS), который включает несколько специализированных слоев черновой модели для генерации токенов на назначенных позициях. Специалисты по позициям значительно повышают уровень принятия токенов на более поздних позициях за каждый раунд чернового прогнозирования, так как каждый специалист сосредоточен на обработке определенного уровня отклонений признаков черновой модели. Результаты экспериментов на моделях Llama-3-8B-Instruct и Llama-2-13B-chat на шести наборах данных демонстрируют, что PosS эффективно улучшает базовые показатели по средней длине принятия и коэффициенту ускорения. Наш код доступен по адресу https://github.com/shrango/PosS.

English

Speculative decoding accelerates Large Language Model (LLM) inference by using a small draft model to predict multiple tokens, and a large target model to verify these tokens in parallel. Recent studies leverage the hidden state of the target model to enhance draft model prediction accuracy. However, existing methods suffer from the degrading quality of draft token predictions at later positions, due to error accumulation in draft model generated features. In this paper, we propose Position Specialists (PosS), which consist of multiple position-specialized draft layers to generate tokens at assigned position(s). Position specialists greatly improve token acceptance rate at later positions per drafting round, as each specialist only needs to focus on handling a certain level of draft model feature deviation. Experiment results on Llama-3-8B-Instruct and Llama-2-13B-chat across six datasets demonstrate that PosS effectively improves over baselines on average acceptance length and speed-up ratio. Our codebase is available at https://github.com/shrango/PosS.