ConFu: Contemplare il Futuro per un Campionamento Speculativo Migliore
ConFu: Contemplate the Future for Better Speculative Sampling
March 9, 2026
Autori: Zongyue Qin, Raghavv Goel, Mukul Gagrani, Risheek Garrepalli, Mingu Lee, Yizhou Sun
cs.AI
Abstract
Il decoding speculativo è emerso come un potente approccio per accelerare l'inferenza dei grandi modelli linguistici (LLM) impiegando modelli draft leggeri per proporre token candidati che vengono successivamente verificati dal modello target. L'efficacia di questo paradigma dipende criticamente dalla qualità del modello draft. Sebbene progressi recenti come la serie EAGLE raggiungano un'accelerazione allo stato dell'arte, i modelli draft esistenti rimangono limitati dall'accumulo di errori: essi si basano solo sul prefisso corrente, causando una deriva delle loro previsioni rispetto al modello target nel corso dei passaggi. In questo lavoro, proponiamo ConFu (Contemplate the Future), un nuovo framework di decoding speculativo che consente ai modelli draft di anticipare la direzione futura della generazione. ConFu introduce (i) token contemplativi e prompt soft che permettono al modello draft di sfruttare segnali orientati al futuro dal modello target a un costo trascurabile, (ii) un meccanismo dinamico di token contemplativi con MoE per abilitare previsioni future consapevoli del contesto, e (iii) un framework di addestramento con campionamento di token di ancoraggio e replicazione della previsione futura che apprende una previsione futura robusta. Gli esperimenti dimostrano che ConFu migliora i tassi di accettazione dei token e la velocità di generazione rispetto a EAGLE-3 dell'8–11% su varie attività downstream con i modelli Llama-3 da 3B e 8B. Riteniamo che il nostro lavoro sia il primo a collegare il decoding speculativo con i token di ragionamento continuo, offrendo una nuova direzione per accelerare l'inferenza degli LLM.
English
Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.