ConFu: Осмысление будущего для улучшения спекулятивного сэмплирования

ConFu: Contemplate the Future for Better Speculative Sampling

March 9, 2026

Авторы: Zongyue Qin, Raghavv Goel, Mukul Gagrani, Risheek Garrepalli, Mingu Lee, Yizhou Sun

cs.AI

Аннотация

Спекулятивное декодирование стало мощным подходом для ускорения вывода больших языковых моделей (LLM), использующим легковесные черновые модели для предложения кандидатных токенов, которые впоследствии проверяются целевой моделью. Эффективность этой парадигмы критически зависит от качества черновой модели. Хотя последние достижения, такие как серия EAGLE, демонстрируют наилучшее ускорение, существующие черновые модели остаются ограниченными из-за накопления ошибок: они учитывают только текущий префикс, что приводит к расхождению их предсказаний с предсказаниями целевой модели на последующих шагах. В данной работе мы предлагаем ConFu (Contemplate the Future) — новую структуру спекулятивного декодирования, которая позволяет черновым моделям предвосхищать будущее направление генерации. ConFu вводит (i) токены-размышления и мягкие промпты, позволяющие черновой модели использовать ориентированные на будущее сигналы от целевой модели с незначительными затратами, (ii) механизм динамических токенов-размышлений с MoE для обеспечения контекстно-зависимого предсказания будущего и (iii) структуру обучения с выборкой якорных токенов и репликацией предсказания будущего, которая обучает надежному прогнозированию. Эксперименты показывают, что ConFu улучшает процент принятия токенов и скорость генерации на 8–11% по сравнению с EAGLE-3 в различных downstream-задачах с моделями Llama-3 3B и 8B. Мы считаем, что наша работа первой объединяет спекулятивное декодирование с токенами непрерывного рассуждения, предлагая новое направление для ускорения вывода LLM.

English

Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.