ConFu: 더 나은 사전 샘플링을 위한 미래 예측

초록

추측 디코딩(speculative decoding)은 경량 드래프트 모델을 활용해 후보 토큰을 생성하고 이를 대상 모델이 검증하는 방식으로 대규모 언어 모델(LLM) 추론 속도를 가속화하는 강력한 접근법으로 부상했습니다. 이 패러다임의 효과는 드래프트 모델의 품질에 크게 좌우됩니다. EAGLE 시리즈와 같은 최근 발전은 최첨단 속도 향상을 달성했지만, 기존 드래프트 모델은 오류 누적에 제한을 받습니다: 기존 모델들은 현재 접두사(prefix)에만 조건을 두기 때문에 예측이 단계를 거치며 대상 모델에서 점점 벗어나는 문제가 있습니다. 본 연구에서는 드래프트 모델이 생성의 미래 방향을 예측할 수 있게 하는 새로운 추측 디코딩 프레임워크인 ConFu(Contemplate the Future)를 제안합니다. ConFu는 (i) 드래프트 모델이 대상 모델로부터 미래 지향적 신호를 무시할 수 있는 수준의 비용으로 활용할 수 있는 고려 토큰(contemplate tokens)과 소프트 프롬프트, (ii) 문맥을 인지한 미래 예측을 가능하게 하는 MoE 기반 동적 고려 토큰 메커니즘, (iii) 강건한 미래 예측을 학습하는 앵커 토큰 샘플링 및 미래 예측 복제 훈련 프레임워크를 도입합니다. 실험 결과, ConFu는 Llama-3 3B 및 8B 모델을 사용한 다양한 다운스트림 작업에서 EAGLE-3 대비 토큰 수용률과 생성 속도를 8-11% 향상시켰습니다. 우리는 본 연구가 추측 디코딩과 연속 추론 토큰(continuous reasoning tokens)을 연결한 최초의 사례로, LLM 추론 가속화를 위한 새로운 방향을 제시한다고 믿습니다.

English

Speculative decoding has emerged as a powerful approach to accelerate large language model (LLM) inference by employing lightweight draft models to propose candidate tokens that are subsequently verified by the target model. The effectiveness of this paradigm critically depends on the quality of the draft model. While recent advances such as the EAGLE series achieve state-of-the-art speedup, existing draft models remain limited by error accumulation: they condition only on the current prefix, causing their predictions to drift from the target model over steps. In this work, we propose ConFu (Contemplate the Future), a novel speculative decoding framework that enables draft models to anticipate the future direction of generation. ConFu introduces (i) contemplate tokens and soft prompts that allow the draft model to leverage future-oriented signals from the target model at negligible cost, (ii) a dynamic contemplate token mechanism with MoE to enable context-aware future prediction, and (iii) a training framework with anchor token sampling and future prediction replication that learns robust future prediction. Experiments demonstrate that ConFu improves token acceptance rates and generation speed over EAGLE-3 by 8--11% across various downstream tasks with Llama-3 3B and 8B models. We believe our work is the first to bridge speculative decoding with continuous reasoning tokens, offering a new direction for accelerating LLM inference.

ConFu: 더 나은 사전 샘플링을 위한 미래 예측

ConFu: Contemplate the Future for Better Speculative Sampling

초록

Support