Skalierung von spekulativer Dekodierung mit Lookahead-Reasoning
Scaling Speculative Decoding with Lookahead Reasoning
June 24, 2025
Autoren: Yichao Fu, Rui Ge, Zelei Shao, Zhijie Deng, Hao Zhang
cs.AI
Zusammenfassung
Reasoning-Modelle zeichnen sich dadurch aus, dass sie lange Ketten von Gedankengängen erzeugen, aber die Dekodierung der daraus resultierenden Tausenden von Tokens ist langsam. Token-level spekulative Dekodierung (SD) hilft dabei, aber ihr Nutzen ist begrenzt, da die Wahrscheinlichkeit, dass ein gesamter Gamma-Token-Rateversuch korrekt ist, exponentiell abnimmt, wenn Gamma wächst. Dies bedeutet, dass die Zuweisung von mehr Rechenleistung für längere Token-Entwürfe auf eine algorithmische Obergrenze stößt – was die Beschleunigung bescheiden und hardwareunabhängig macht. Wir heben diese Grenze mit Lookahead Reasoning an, das eine zweite, schrittweise Ebene von Parallelität nutzt. Unsere zentrale Erkenntnis ist, dass Reasoning-Modelle schrittweise arbeiten und jeder Schritt nur semantisch korrekt sein muss, nicht exakt tokenübereinstimmend. Bei Lookahead Reasoning schlägt ein leichtgewichtiges Entwurfsmodell mehrere zukünftige Schritte vor; das Zielmodell erweitert jeden Vorschlag in einem gebündelten Durchlauf, und ein Verifizierer behält semantisch korrekte Schritte bei, während das Zielmodell alle fehlgeschlagenen Schritte neu generiert. Token-level SD arbeitet weiterhin innerhalb jedes Reasoning-Schritts, sodass sich die beiden Ebenen der Parallelität multiplizieren. Wir zeigen, dass Lookahead Reasoning den maximalen Beschleunigungsfaktor von SD sowohl theoretisch als auch empirisch erhöht. Über GSM8K, AIME und andere Benchmarks hinweg verbessert Lookahead Reasoning die Beschleunigung von SD von 1,4x auf 2,1x, während die Antwortqualität erhalten bleibt, und seine Beschleunigung skaliert besser mit zusätzlicher GPU-Durchsatzleistung. Unser Code ist verfügbar unter https://github.com/hao-ai-lab/LookaheadReasoning.
English
Reasoning models excel by generating long chain-of-thoughts, but decoding the
resulting thousands of tokens is slow. Token-level speculative decoding (SD)
helps, but its benefit is capped, because the chance that an entire
gamma-token guess is correct falls exponentially as gamma grows. This
means allocating more compute for longer token drafts faces an algorithmic
ceiling -- making the speedup modest and hardware-agnostic. We raise this
ceiling with Lookahead Reasoning, which exploits a second, step-level layer of
parallelism. Our key insight is that reasoning models generate step-by-step,
and each step needs only to be semantically correct, not exact token matching.
In Lookahead Reasoning, a lightweight draft model proposes several future
steps; the target model expands each proposal in one batched pass, and a
verifier keeps semantically correct steps while letting the target regenerate
any that fail. Token-level SD still operates within each reasoning step, so the
two layers of parallelism multiply. We show Lookahead Reasoning lifts the peak
speedup of SD both theoretically and empirically. Across GSM8K, AIME, and other
benchmarks, Lookahead Reasoning improves the speedup of SD from 1.4x to 2.1x
while preserving answer quality, and its speedup scales better with additional
GPU throughput. Our code is available at
https://github.com/hao-ai-lab/LookaheadReasoning