投機的デコードにおける損失を伴う検証の再訪：メカニズム、トレードオフ、および失敗モード

要旨

投機的デコーディング（SD）は、軽量なドラフトモデルがトークンを提案し、その後により大きなターゲットモデルが並列に検証することを可能にすることで、大規模言語モデルの推論を高速化する。近年のアプローチでは、厳密な分布一致を緩和することにより効率をさらに向上させるために、非可逆検証方式を導入している。しかし、そのような緩和はデコーディング分布を暗黙に書き換え、結果として得られる高速化は、不安定で、時には深刻に劣化した生成品質という代償を伴うことがある。本研究では、非可逆検証手法によって誘起される分布の原理的分析を提示する。我々は、多くの一見異なるアプローチが表面的にしか異ならず、トランケーションに基づく検証と協調的検証という2つのカテゴリに分類できることを示す。さらに、厳選されたベンチマークにわたる診断的評価フレームワークを構築する。トランケーションに基づく手法については、根本的な落とし穴を特定する：分布の歪みにより、真のトランケーションサンプリングのベースラインと比較して性能が大幅に低下し得る。協調的検証については、重要な原理を明らかにする：ターゲット確率に対するドラフト確率のオーバーシュートを制御することが、低品質な出力を防ぐために不可欠である。我々のコードは https://github.com/ZhouYuxuanYX/Fast-HSD で公開されている。

English

Speculative Decoding (SD) accelerates large language model inference by allowing a lightweight draft model to propose tokens that are subsequently verified in parallel by a larger target model. Recent approaches introduce lossy verification schemes to further improve efficiency by relaxing strict distributional matching. Yet such relaxation silently rewrites the decoding distribution, and the resulting acceleration can come at the cost of unstable, sometimes severely degraded generation quality. In this work, we present a principled analysis of the distributions induced by lossy verification methods. We show that many seemingly distinct approaches differ only superficially and can be classified into two categories: truncation-based verification and collaborative verification. We further construct a diagnostic evaluation framework across curated benchmarks. For truncation-based methods, we identify a fundamental pitfall: performance can degrade significantly compared to the true truncation sampling baseline due to distributional distortion. For collaborative verification, we uncover a key principles: controlling the overshoot of draft probabilities relative to target probabilities is essential to prevent low-quality outputs. Our code is available at https://github.com/ZhouYuxuanYX/Fast-HSD.