추측 디코딩에서 손실 검증의 재검토: 메커니즘, 트레이드오프 및 실패 모드

초록

추측 디코딩(Speculative Decoding, SD)은 가벼운 드래프트 모델이 토큰을 제안하고, 이후 더 큰 대상 모델이 이를 병렬로 검증함으로써 대규모 언어 모델 추론을 가속화한다. 최근 접근법들은 엄격한 분포 일치를 완화하여 효율성을 더욱 개선하기 위해 손실성 검증 방식을 도입한다. 그러나 이러한 완화는 디코딩 분포를 암묵적으로 재작성하며, 그로 인한 가속화는 불안정하고 때로는 심각하게 저하된 생성 품질이라는 비용을 수반할 수 있다. 본 연구에서는 손실성 검증 방법들이 유도하는 분포에 대한 원리적인 분석을 제시한다. 겉보기에는 서로 다른 많은 접근법들이 실질적으로는 절단 기반 검증과 협력적 검증이라는 두 범주로 분류될 수 있음을 보인다. 또한 선별된 벤치마크에 걸친 진단 평가 프레임워크를 구축한다. 절단 기반 방법의 경우, 분포 왜곡으로 인해 실제 절단 샘플링 기준선 대비 성능이 크게 저하될 수 있다는 근본적인 함정을 식별한다. 협력적 검증의 경우, 드래프트 확률이 대상 확률을 초과하는 오버슈트를 제어하는 것이 저품질 출력을 방지하는 데 필수적이라는 핵심 원리를 밝혀낸다. 코드는 https://github.com/ZhouYuxuanYX/Fast-HSD에서 확인할 수 있다.

English

Speculative Decoding (SD) accelerates large language model inference by allowing a lightweight draft model to propose tokens that are subsequently verified in parallel by a larger target model. Recent approaches introduce lossy verification schemes to further improve efficiency by relaxing strict distributional matching. Yet such relaxation silently rewrites the decoding distribution, and the resulting acceleration can come at the cost of unstable, sometimes severely degraded generation quality. In this work, we present a principled analysis of the distributions induced by lossy verification methods. We show that many seemingly distinct approaches differ only superficially and can be classified into two categories: truncation-based verification and collaborative verification. We further construct a diagnostic evaluation framework across curated benchmarks. For truncation-based methods, we identify a fundamental pitfall: performance can degrade significantly compared to the true truncation sampling baseline due to distributional distortion. For collaborative verification, we uncover a key principles: controlling the overshoot of draft probabilities relative to target probabilities is essential to prevent low-quality outputs. Our code is available at https://github.com/ZhouYuxuanYX/Fast-HSD.