ConFu : Contempler le futur pour un échantillonnage spéculatif plus performant
ConFu: Contemplate the Future for Better Speculative Sampling
March 9, 2026
Auteurs: Zongyue Qin, Raghavv Goel, Mukul Gagrani, Risheek Garrepalli, Mingu Lee, Yizhou Sun
cs.AI
Résumé
Le décodage spéculatif est apparu comme une approche puissante pour accélérer l'inférence des grands modèles de langage (LLM) en utilisant des modèles d'ébauche légers pour proposer des tokens candidats qui sont ensuite vérifiés par le modèle cible. L'efficacité de ce paradigme dépend crucialement de la qualité du modèle d'ébauche. Bien que des avancées récentes comme la série EAGLE obtiennent une accélération de pointe, les modèles d'ébauche existants restent limités par l'accumulation d'erreurs : ils se conditionnent uniquement sur le préfixe actuel, ce qui entraîne une divergence de leurs prédictions par rapport au modèle cible au fil des étapes. Dans ce travail, nous proposons ConFu (Contemplate the Future), un nouveau cadre de décodage spéculatif qui permet aux modèles d'ébauche d'anticiper la direction future de la génération. ConFu introduit (i) des tokens de contemplation et des prompts souples qui permettent au modèle d'ébauche d'exploiter des signaux orientés vers le futur provenant du modèle cible à un coût négligeable, (ii) un mécanisme dynamique de tokens de contemplation avec MoE pour permettre une prédiction future adaptative au contexte, et (iii) un cadre d'entraînement avec échantillonnage de tokens d'ancrage et réplication des prédictions futures qui apprend une prédiction future robuste. Les expériences démontrent que ConFu améliore les taux d'acceptation des tokens et la vitesse de génération par rapport à EAGLE-3 de 8 à 11 % sur diverses tâches en aval avec les modèles Llama-3 3B et 8B. Nous pensons que notre travail est le premier à faire le lien entre le décodage spéculatif et les tokens de raisonnement continu, offrant une nouvelle direction pour accélérer l'inférence des LLM.
English
Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.