ConFu: Contemplar o Futuro para uma Amostragem Especulativa Mais Eficaz
ConFu: Contemplate the Future for Better Speculative Sampling
March 9, 2026
Autores: Zongyue Qin, Raghavv Goel, Mukul Gagrani, Risheek Garrepalli, Mingu Lee, Yizhou Sun
cs.AI
Resumo
A descodificação especulativa emergiu como uma abordagem poderosa para acelerar a inferência de grandes modelos de linguagem (LLMs), utilizando modelos de rascunho leves para propor tokens candidatos que são subsequentemente verificados pelo modelo alvo. A eficácia deste paradigma depende criticamente da qualidade do modelo de rascunho. Embora avanços recentes, como a série EAGLE, atinjam acelerações de última geração, os modelos de rascunho existentes permanecem limitados pela acumulação de erros: eles condicionam-se apenas ao prefixo atual, fazendo com que as suas previsões se desviem do modelo alvo ao longo dos passos. Neste trabalho, propomos o ConFu (Contemplate the Future), um novo quadro de descodificação especulativa que permite aos modelos de rascunho antecipar a direção futura da geração. O ConFu introduz (i) *tokens de contemplação* e *prompts suaves* que permitem ao modelo de rascunho aproveitar sinais orientados para o futuro do modelo alvo a um custo negligenciável, (ii) um mecanismo dinâmico de *tokens de contemplação* com MoE (*Mixture of Experts*) para permitir uma previsão futura consciente do contexto, e (iii) um quadro de treino com amostragem de *tokens âncora* e replicação de previsão futura que aprende uma previsão futura robusta. Experiências demonstram que o ConFu melhora as taxas de aceitação de tokens e a velocidade de geração em 8-11% em relação ao EAGLE-3 em várias tarefas *downstream* com os modelos Llama-3 3B e 8B. Acreditamos que o nosso trabalho é o primeiro a ligar a descodificação especulativa com *tokens* de raciocínio contínuo, oferecendo uma nova direção para acelerar a inferência de LLMs.
English
Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.