Cactus : Accélération du décodage autorégressif par échantillonnage spéculatif à acceptation contrainte
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
April 5, 2026
Auteurs: Yongchang Hao, Lili Mou
cs.AI
Résumé
L'échantillonnage spéculatif (SpS) a permis d'accélérer avec succès le débit de décodage des grands modèles de langage auto-régressifs en exploitant des modèles ébauches plus petits. SpS impose strictement que la distribution générée corresponde à celle du LLM vérificateur. Cette contrainte est inutilement restrictive car des variations légères de la distribution du vérificateur, comme l'échantillonnage avec top-k ou un paramètre de température, seraient également acceptables. L'échantillonnage d'acceptation typique (TAS) atténue ce problème en acceptant davantage de tokens à l'aide d'heuristiques basées sur l'entropie. Cependant, cette approche déforme la distribution du vérificateur, risquant de dégrader la qualité de la sortie lorsque le vérificateur encode des informations critiques. Dans ce travail, nous formalisons l'algorithme d'échantillonnage spéculatif sous l'angle de l'optimisation sous contraintes. Sur la base de cette formulation, nous proposons Cactus (constrained acceptance speculative sampling), une méthode qui garantit une divergence contrôlée par rapport à la distribution du vérificateur tout en augmentant les taux d'acceptation. Les résultats empiriques sur un large éventail de benchmarks confirment l'efficacité de notre approche.
English
Speculative sampling (SpS) has been successful in accelerating the decoding throughput of auto-regressive large language models by leveraging smaller draft models. SpS strictly enforces the generated distribution to match that of the verifier LLM. This is unnecessarily restrictive as slight variations of the verifier's distribution, such as sampling with top-k or temperature, would also be acceptable. Typical acceptance sampling (TAS) alleviates this issue by accepting more tokens using entropy-based heuristics. However, this approach distorts the verifier distribution, potentially degrading output quality when the verifier encodes critical information. In this work, we formalize the speculative sampling algorithm through the lens of constrained optimization. Based on this formulation, we propose Cactus (constrained acceptance speculative sampling), a method that guarantees controlled divergence from the verifier distribution and increasing acceptance rates. Empirical results across a wide range of benchmarks confirm the effectiveness of our approach.