Scalabilità del Decodifica Speculativa con Ragionamento Anticipato

Scaling Speculative Decoding with Lookahead Reasoning

June 24, 2025

Autori: Yichao Fu, Rui Ge, Zelei Shao, Zhijie Deng, Hao Zhang

cs.AI

Abstract

I modelli di ragionamento eccellono generando lunghe catene di pensiero, ma la decodifica delle migliaia di token risultanti è lenta. La decodifica speculativa a livello di token (SD) aiuta, ma il suo beneficio è limitato, poiché la probabilità che un'intera ipotesi di gamma-token sia corretta diminuisce esponenzialmente all'aumentare di gamma. Ciò significa che allocare più risorse computazionali per bozze di token più lunghe incontra un limite algoritmico, rendendo il miglioramento della velocità modesto e indipendente dall'hardware. Superiamo questo limite con il Ragionamento Anticipato, che sfrutta un secondo livello di parallelismo a livello di passaggio. La nostra intuizione chiave è che i modelli di ragionamento generano passo dopo passo, e ogni passaggio deve essere solo semanticamente corretto, non una corrispondenza esatta di token. Nel Ragionamento Anticipato, un modello di bozza leggero propone diversi passaggi futuri; il modello target espande ciascuna proposta in un'unica passata in batch, e un verificatore mantiene i passaggi semanticamente corretti mentre permette al modello target di rigenerare quelli che falliscono. La SD a livello di token opera ancora all'interno di ogni passaggio di ragionamento, quindi i due livelli di parallelismo si moltiplicano. Mostriamo che il Ragionamento Anticipato aumenta il picco di miglioramento della velocità della SD sia teoricamente che empiricamente. Su GSM8K, AIME e altri benchmark, il Ragionamento Anticipato migliora il miglioramento della velocità della SD da 1.4x a 2.1x mantenendo la qualità delle risposte, e il suo miglioramento della velocità scala meglio con una maggiore capacità di elaborazione della GPU. Il nostro codice è disponibile su https://github.com/hao-ai-lab/LookaheadReasoning.

English

Reasoning models excel by generating long chain-of-thoughts, but decoding the resulting thousands of tokens is slow. Token-level speculative decoding (SD) helps, but its benefit is capped, because the chance that an entire gamma-token guess is correct falls exponentially as gamma grows. This means allocating more compute for longer token drafts faces an algorithmic ceiling -- making the speedup modest and hardware-agnostic. We raise this ceiling with Lookahead Reasoning, which exploits a second, step-level layer of parallelism. Our key insight is that reasoning models generate step-by-step, and each step needs only to be semantically correct, not exact token matching. In Lookahead Reasoning, a lightweight draft model proposes several future steps; the target model expands each proposal in one batched pass, and a verifier keeps semantically correct steps while letting the target regenerate any that fail. Token-level SD still operates within each reasoning step, so the two layers of parallelism multiply. We show Lookahead Reasoning lifts the peak speedup of SD both theoretically and empirically. Across GSM8K, AIME, and other benchmarks, Lookahead Reasoning improves the speedup of SD from 1.4x to 2.1x while preserving answer quality, and its speedup scales better with additional GPU throughput. Our code is available at https://github.com/hao-ai-lab/LookaheadReasoning