Cactus: Aceleración de la Decodificación Autoregresiva con Muestreo Especulativo de Aceptación Restringida

Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling

April 5, 2026

Autores: Yongchang Hao, Lili Mou

cs.AI

Resumen

El muestreo especulativo (SpS) ha logrado acelerar el rendimiento de decodificación de los modelos de lenguaje auto-regresivos mediante el uso de modelos borradores más pequeños. El SpS aplica estrictamente que la distribución generada coincida con la del modelo de lenguaje grande (LLM) verificador. Esta restricción es innecesariamente severa, ya que ligeras variaciones de la distribución del verificador, como el muestreo con top-k o temperatura, también serían aceptables. El muestreo de aceptación típico (TAS) mitiga este problema aceptando más tokens mediante heurísticas basadas en entropía. Sin embargo, este enfoque distorsiona la distribución del verificador, pudiendo degradar la calidad de la salida cuando el verificador codifica información crítica. En este trabajo, formalizamos el algoritmo de muestreo especulativo desde la perspectiva de la optimización con restricciones. Basándonos en esta formulación, proponemos Cactus (muestreo especulativo con aceptación restringida), un método que garantiza una divergencia controlada de la distribución del verificador y aumenta las tasas de aceptación. Los resultados empíricos en una amplia gama de benchmarks confirman la efectividad de nuestro enfoque.

English

Speculative sampling (SpS) has been successful in accelerating the decoding throughput of auto-regressive large language models by leveraging smaller draft models. SpS strictly enforces the generated distribution to match that of the verifier LLM. This is unnecessarily restrictive as slight variations of the verifier's distribution, such as sampling with top-k or temperature, would also be acceptable. Typical acceptance sampling (TAS) alleviates this issue by accepting more tokens using entropy-based heuristics. However, this approach distorts the verifier distribution, potentially degrading output quality when the verifier encodes critical information. In this work, we formalize the speculative sampling algorithm through the lens of constrained optimization. Based on this formulation, we propose Cactus (constrained acceptance speculative sampling), a method that guarantees controlled divergence from the verifier distribution and increasing acceptance rates. Empirical results across a wide range of benchmarks confirm the effectiveness of our approach.