Kaktus: Beschleunigung des autoregressiven Dekodierens mittels spekulativer Abtastung mit eingeschränkter Akzeptanz
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
April 5, 2026
Autoren: Yongchang Hao, Lili Mou
cs.AI
Zusammenfassung
Spekulatives Sampling (SpS) hat sich erfolgreich zur Beschleunigung des Dekodierdurchsatzes von autoregressiven Large Language Models eingesetzt, indem kleinere Draft-Modelle genutzt werden. SpS erzwingt strikt, dass die erzeugte Verteilung mit der des verifizierenden LLMs übereinstimmt. Dies ist unnötig restriktiv, da geringfügige Abweichungen von der Verteilung des Verifizierers, wie Sampling mit Top-k oder Temperatur, ebenfalls akzeptabel wären. Typisches Akzeptanz-Sampling (TAS) mildert dieses Problem, indem es durch entropiebasierte Heuristiken mehr Tokens akzeptiert. Dieser Ansatz verzerrt jedoch die Verteilung des Verifizierers, was die Ausgabequalität potenziell verschlechtert, wenn der Verifizierer kritische Informationen kodiert. In dieser Arbeit formalisieren wir den spekulativen Sampling-Algorithmus aus der Perspektive der optimierungsbeschränkten Optimierung. Basierend auf dieser Formulierung schlagen wir Cactus (Constrained Acceptance Speculative Sampling) vor, eine Methode, die eine kontrollierte Abweichung von der Verteilung des Verifizierers garantiert und gleichzeitig die Akzeptanzraten erhöht. Empirische Ergebnisse über eine breite Palette von Benchmarks bestätigen die Wirksamkeit unseres Ansatzes.
English
Speculative sampling (SpS) has been successful in accelerating the decoding throughput of auto-regressive large language models by leveraging smaller draft models. SpS strictly enforces the generated distribution to match that of the verifier LLM. This is unnecessarily restrictive as slight variations of the verifier's distribution, such as sampling with top-k or temperature, would also be acceptable. Typical acceptance sampling (TAS) alleviates this issue by accepting more tokens using entropy-based heuristics. However, this approach distorts the verifier distribution, potentially degrading output quality when the verifier encodes critical information. In this work, we formalize the speculative sampling algorithm through the lens of constrained optimization. Based on this formulation, we propose Cactus (constrained acceptance speculative sampling), a method that guarantees controlled divergence from the verifier distribution and increasing acceptance rates. Empirical results across a wide range of benchmarks confirm the effectiveness of our approach.