Зеркальное спекулятивное декодирование: преодоление последовательного барьера в выводе больших языковых моделей

Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference

October 15, 2025

Авторы: Nikhil Bhendawade, Kumari Nishu, Arnav Kundu, Chris Bartels, Minsik Cho, Irina Belousova

cs.AI

Аннотация

Спекулятивное декодирование ускоряет вывод в больших языковых моделях (LLM) за счет использования черновой модели для предварительного просмотра, но выигрыш ограничен затратами на авторегрессивное создание черновика: увеличение размера черновика повышает уровень принятия, но вводит дополнительную задержку, усугубляя компромисс между скоростью и точностью. Предыдущие методы (Medusa, Hydra, EAGLE) частично снижают затраты на черновик, но либо ухудшают уровень принятия, либо вводят накладные расходы, ограничивающие масштабируемость. Мы представляем Mirror Speculative Decoding (Mirror-SD) — алгоритм вывода, который преодолевает компромисс между задержкой и уровнем принятия. Mirror-SD запускает полные ветви прогнозов на основе сигналов раннего выхода параллельно с суффиксом целевой модели и явно распределяет вычисления между гетерогенными ускорителями (GPU и NPU), чтобы использовать параллелизм между устройствами. Черновик спекулирует продолжения для проверки целевой моделью, в то время как целевая модель одновременно спекулирует пути коррекции для черновика, превращая спекуляцию в два взаимодополняющих конвейера выполнения. Чтобы дополнительно сократить задержку черновика без ослабления семантики принятия, мы добавляем спекулятивное потоковое воспроизведение, позволяя черновику выдавать несколько токенов за шаг. Эта двойная стратегия параллельного гетерогенного выполнения и многотокенного спекулятивного потокового воспроизведения приближает спекулятивное декодирование к идеальному режиму высокого уровня принятия с низкими накладными расходами. На SpecBench с серверными моделями от 14B до 66B параметров Mirror-SD демонстрирует стабильные сквозные улучшения, достигая ускорения времени выполнения в 2,8–5,8 раз для различных задач и среднего относительного улучшения на 30% по сравнению с самым сильным базовым методом, EAGLE3.

English

Speculative decoding accelerates LLM inference by using a draft model to look ahead, but gains are capped by the cost of autoregressive draft generation: increasing draft size elevates acceptance rates but introduces additional latency overhead exacerbating the speed-accuracy tradeoff. Prior methods (Medusa, Hydra, EAGLE) partially reduce draft cost but either degrade acceptance or introduce overheads that limit scaling. We present Mirror Speculative Decoding (Mirror-SD), an inference algorithm that breaks the latency-acceptance tradeoff. Mirror-SD launches branch-complete rollouts from early-exit signals in parallel with the target model's suffix and explicitly maps computation across heterogeneous accelerators (GPU and NPU) to exploit cross-device parallelism. The draft speculates forward continuations for the target to verify, while the target simultaneously speculates correction paths for the draft, converting speculation into two complementary execution pipelines. To further cut draft latency without weakening acceptance semantics, we add speculative streaming so the draft emits multiple tokens per step. This dual strategy of parallel heterogeneous execution plus multi-token speculative streaming pushes speculative decoding toward its ideal regime of high acceptance with low overhead. On SpecBench with server-scale models from 14B to 66B parameters, Mirror-SD delivers consistent end-to-end gains, achieving 2.8x-5.8x wall-time speedups across diverse tasks and a 30% average relative improvement over the strongest baseline, EAGLE3.