ConFu: Contempleer de Toekomst voor Beter Speculatief Samplen
ConFu: Contemplate the Future for Better Speculative Sampling
March 9, 2026
Auteurs: Zongyue Qin, Raghavv Goel, Mukul Gagrani, Risheek Garrepalli, Mingu Lee, Yizhou Sun
cs.AI
Samenvatting
Speculatief decoderen is naar voren gekomen als een krachtige benadering om de inferentie van grote taalmodellen (LLM's) te versnellen door gebruik te maken van lichtgewicht conceptmodellen die kandidaat-tokens voorstellen, die vervolgens worden geverifieerd door het doelmodel. De effectiviteit van dit paradigma hangt kritisch af van de kwaliteit van het conceptmodel. Hoewel recente vorderingen, zoals de EAGLE-reeks, state-of-the-art versnelling bereiken, worden bestaande conceptmodellen nog steeds beperkt door foutaccumulatie: ze baseren zich alleen op het huidige voorvoegsel, waardoor hun voorspellingen na verloop van stappen afdrijven van het doelmodel. In dit werk stellen we ConFu (Contemplate the Future) voor, een nieuw speculatief decoderingsraamwerk dat conceptmodellen in staat stelt de toekomstige richting van de generatie te anticiperen. ConFu introduceert (i) *contemplate tokens* en zachte prompts die het conceptmodel in staat stellen tegen verwaarloosbare kosten toekomstgerichte signalen van het doelmodel te benutten, (ii) een dynamisch *contemplate token*-mechanisme met MoE (Mixture of Experts) om contextbewuste toekomstvoorspelling mogelijk te maken, en (iii) een trainingsraamwerk met *anchor token sampling* en toekomstvoorspellingsreplicatie dat robuuste toekomstvoorspelling aanleert. Experimenten tonen aan dat ConFu de tokenacceptatiegraad en generatiesnelheid verbetert ten opzichte van EAGLE-3 met 8–11% over verschillende downstreamtaken met Llama-3 3B- en 8B-modellen. Wij zijn van mening dat ons werk de eerste is die speculatief decoderen verbindt met continue redeneertokens, en zo een nieuwe richting biedt voor het versnellen van LLM-inferentie.
English
Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.