ConFu: Contemplar el Futuro para un Muestreo Especulativo Mejorado
ConFu: Contemplate the Future for Better Speculative Sampling
March 9, 2026
Autores: Zongyue Qin, Raghavv Goel, Mukul Gagrani, Risheek Garrepalli, Mingu Lee, Yizhou Sun
cs.AI
Resumen
La decodificación especulativa ha surgido como un enfoque poderoso para acelerar la inferencia de modelos de lenguaje grandes (LLM) mediante el uso de modelos de borrador ligeros que proponen tokens candidatos que posteriormente son verificados por el modelo objetivo. La efectividad de este paradigma depende críticamente de la calidad del modelo de borrador. Si bien avances recientes como la serie EAGLE logran una aceleración de vanguardia, los modelos de borrador existentes siguen limitados por la acumulación de errores: se condicionan únicamente en el prefijo actual, lo que hace que sus predicciones se desvíen del modelo objetivo a lo largo de los pasos. En este trabajo, proponemos ConFu (Contemplate the Future), un novedoso marco de decodificación especulativa que permite a los modelos de borrador anticipar la dirección futura de la generación. ConFu introduce (i) *tokens de contemplación* y *prompts blandos* que permiten al modelo de borrador aprovechar señales orientadas al futuro del modelo objetivo a un costo negligible, (ii) un mecanismo dinámico de tokens de contemplación con MoE (*Mixture of Experts*) para permitir una predicción futura consciente del contexto, y (iii) un marco de entrenamiento con muestreo de tokens ancla y replicación de predicción futura que aprende una predicción futura robusta. Los experimentos demuestran que ConFu mejora las tasas de aceptación de tokens y la velocidad de generación respecto a EAGLE-3 en un 8-11% en diversas tareas posteriores con los modelos Llama-3 3B y 8B. Creemos que nuestro trabajo es el primero en conectar la decodificación especulativa con tokens de razonamiento continuo, ofreciendo una nueva dirección para acelerar la inferencia de LLM.
English
Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.