Кактус: Ускорение авторегрессионного декодирования с помощью ограниченного спекулятивного сэмплирования с принятием

Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling

April 5, 2026

Авторы: Yongchang Hao, Lili Mou

cs.AI

Аннотация

Спекулятивная выборка (SpS) успешно ускоряет пропускную способность декодирования авторегрессионных больших языковых моделей за счет использования меньших черновых моделей. SpS строго обеспечивает соответствие генерируемого распределения распределению верификатора (LLM). Это избыточно ограничительно, поскольку незначительные вариации распределения верификатора, такие как выборка с top-k или температурой, также были бы допустимы. Типичная выборочная приемка (TAS) смягчает эту проблему, принимая больше токенов с использованием эвристик на основе энтропии. Однако этот подход искажает распределение верификатора, потенциально ухудшая качество вывода, когда верификатор кодирует критически важную информацию. В данной работе мы формализуем алгоритм спекулятивной выборки через призму задач условной оптимизации. На основе этой формулировки мы предлагаем Cactus (constrained acceptance speculative sampling — спекулятивная выборка с ограниченной приемкой) — метод, который гарантирует контролируемое отклонение от распределения верификатора и увеличение коэффициентов приемки. Эмпирические результаты, полученные на широком наборе тестов, подтверждают эффективность нашего подхода.

English

Speculative sampling (SpS) has been successful in accelerating the decoding throughput of auto-regressive large language models by leveraging smaller draft models. SpS strictly enforces the generated distribution to match that of the verifier LLM. This is unnecessarily restrictive as slight variations of the verifier's distribution, such as sampling with top-k or temperature, would also be acceptable. Typical acceptance sampling (TAS) alleviates this issue by accepting more tokens using entropy-based heuristics. However, this approach distorts the verifier distribution, potentially degrading output quality when the verifier encodes critical information. In this work, we formalize the speculative sampling algorithm through the lens of constrained optimization. Based on this formulation, we propose Cactus (constrained acceptance speculative sampling), a method that guarantees controlled divergence from the verifier distribution and increasing acceptance rates. Empirical results across a wide range of benchmarks confirm the effectiveness of our approach.