VIA-SD: Verifikation durch Intra-Modell-Routing für spekulatives Decodieren

Zusammenfassung

Spekulative Dekodierung (SD) adressiert die hohen Inferenzkosten großer Sprachmodelle, indem leichte Entwurfsmodelle Kandidaten generieren, die große Verifizierer parallel validieren. Existierende Entwurf-Verifizier-Methoden verwenden binäre Entscheidungen: Akzeptanz oder vollständige Neuberechnung. Wir stellen jedoch fest, dass viele abgelehnte Token korrekt durch ein schlankes Submodell verifiziert werden können, das aus dem vollständigen Verifizierer mittels Intra-Modell-Routing abgeleitet wird, anstatt durch den vollständigen Verifizierer. Dies motiviert unseren schlanken Verifizierer (slim-verifier), der Token mit moderatem Verifikationsaufwand behandelt und so teure Aufrufe des großen Modells reduziert. Wir schlagen Verification via Intra-Model Routing for Speculative Decoding (VIA-SD) vor, ein mehrstufiges Framework, das einen gerouteten schlanken Verifizierer verwendet. Entwurfs-Token werden hierarchisch verarbeitet: direkte Akzeptanz bei hoher Konfidenz, Regeneration durch den schlanken Verifizierer bei mittlerer Konfidenz und Verifikation durch das vollständige Modell bei Unsicherheit. Über vier repräsentative Aufgaben und mehrere Modellfamilien hinweg reduziert VIA-SD die Ablehnungsraten um 0,10–0,22 und erzielt 10–20% Beschleunigungen gegenüber starken SD-Baselines, bei 2,5- bis 3-facher Beschleunigung gegenüber Dekodierung ohne Entwurf. Darüber hinaus ist VIA-SD mit bestehenden SD-Frameworks kompatibel, ohne deren Trainingsverfahren zu ändern. Unsere Ergebnisse legen mehrstufige SD als allgemeines Paradigma für skalierbare und effiziente LLM-Inferenz nahe. Projektseite: https://zju-xyc.github.io/VIA-SD-Project-Page/

English

Speculative decoding (SD) addresses the high inference costs of LLMs by having lightweight drafters generate candidates for large verifiers to validate in parallel. Existing draft-verify methods use binary decisions: accept or fully recompute. Yet we find that many rejected tokens can be verified correctly by a slim submodel derived from the full verifier via intra-model routing, instead of the full verifier. This motivates our slim-verifier to handle tokens requiring moderate verification resources, reducing expensive large-model calls. We propose Verification via Intra-Model Routing for Speculative Decoding (VIA-SD), a multi-tier framework using a routed slim-verifier. Draft tokens are processed hierarchically: direct acceptance for high-confidence cases, slim-verifier regeneration for medium-confidence cases, and full-model verification for uncertain cases. Across four representative tasks and multiple model families, VIA-SD reduces rejection rates by 0.10-0.22 and delivers 10-20% speedups over strong SD baselines, while achieving 2.5-3x acceleration over non-drafting decoding. Moreover, VIA-SD is compatible with existing SD frameworks without modifying their training procedures. Our results suggest multi-tier SD as a general paradigm for scalable and efficient LLM inference. Project page: https://zju-xyc.github.io/VIA-SD-Project-Page/