Cactus: Versnelling van Auto-regressief Decoderen met Beperkte Acceptatie Speculatieve Sampling
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
April 5, 2026
Auteurs: Yongchang Hao, Lili Mou
cs.AI
Samenvatting
Speculatief bemonsteren (SpS) is succesvol gebleken in het versnellen van de doorvoersnelheid bij decodering van auto-regressieve grote taalmodellen door gebruik te maken van kleinere draft-modellen. SpS handhaaft strikt dat de gegenereerde distributie overeenkomt met die van de verifier-LLM. Dit is onnodig restrictief, aangecht lichte variaties van de verifier-distributie, zoals bemonstering met top-k of temperatuur, eveneens acceptabel zouden zijn. Typische acceptatiebemonstering (TAS) verlicht dit probleem door meer tokens te accepteren op basis van op entropie gebaseerde heuristieken. Deze aanpak vervormt echter de verifier-distributie, wat de uitvoerkwaliteit kan aantasten wanneer de verifier kritieke informatie bevat. In dit werk formaliseren we het speculatieve bemonsteringsalgoritme vanuit het perspectief van constrained optimization. Gebaseerd op deze formulering stellen we Cactus (constrained acceptance speculative sampling) voor, een methode die een gecontroleerde divergentie van de verifier-distributie garandeert en de acceptatiepercentages verhoogt. Empirische resultaten over een breed scala aan benchmarks bevestigen de effectiviteit van onze aanpak.
English
Speculative sampling (SpS) has been successful in accelerating the decoding throughput of auto-regressive large language models by leveraging smaller draft models. SpS strictly enforces the generated distribution to match that of the verifier LLM. This is unnecessarily restrictive as slight variations of the verifier's distribution, such as sampling with top-k or temperature, would also be acceptable. Typical acceptance sampling (TAS) alleviates this issue by accepting more tokens using entropy-based heuristics. However, this approach distorts the verifier distribution, potentially degrading output quality when the verifier encodes critical information. In this work, we formalize the speculative sampling algorithm through the lens of constrained optimization. Based on this formulation, we propose Cactus (constrained acceptance speculative sampling), a method that guarantees controlled divergence from the verifier distribution and increasing acceptance rates. Empirical results across a wide range of benchmarks confirm the effectiveness of our approach.