POSS: Positionsspezialist erzeugt bessere Entwürfe für spekulatives Decodieren

POSS: Position Specialist Generates Better Draft for Speculative Decoding

June 4, 2025

Autoren: Langlin Huang, Chengsong Huang, Jixuan Leng, Di Huang, Jiaxin Huang

cs.AI

Zusammenfassung

Spekulative Decodierung beschleunigt die Inferenz von Large Language Models (LLMs), indem ein kleiner Draft-Modell verwendet wird, um mehrere Tokens vorherzusagen, und ein großes Zielmodell, um diese Tokens parallel zu verifizieren. Aktuelle Studien nutzen den verborgenen Zustand des Zielmodells, um die Vorhersagegenauigkeit des Draft-Modells zu verbessern. Allerdings leiden bestehende Methoden unter der abnehmenden Qualität der Draft-Token-Vorhersagen an späteren Positionen, was auf die Fehlerakkumulation in den vom Draft-Modell generierten Merkmalen zurückzuführen ist. In diesem Artikel schlagen wir Position Specialists (PosS) vor, die aus mehreren positionsspezialisierten Draft-Schichten bestehen, um Tokens an zugewiesenen Position(en) zu generieren. Position Specialists verbessern die Token-Akzeptanzrate an späteren Positionen pro Drafting-Runde erheblich, da jeder Specialist sich nur darauf konzentrieren muss, eine bestimmte Ebene der Merkmalsabweichung des Draft-Modells zu handhaben. Experimentelle Ergebnisse mit Llama-3-8B-Instruct und Llama-2-13B-chat über sechs Datensätze zeigen, dass PosS die Baseline-Werte in Bezug auf die durchschnittliche Akzeptanzlänge und das Beschleunigungsverhältnis effektiv verbessert. Unsere Codebasis ist unter https://github.com/shrango/PosS verfügbar.

English

Speculative decoding accelerates Large Language Model (LLM) inference by using a small draft model to predict multiple tokens, and a large target model to verify these tokens in parallel. Recent studies leverage the hidden state of the target model to enhance draft model prediction accuracy. However, existing methods suffer from the degrading quality of draft token predictions at later positions, due to error accumulation in draft model generated features. In this paper, we propose Position Specialists (PosS), which consist of multiple position-specialized draft layers to generate tokens at assigned position(s). Position specialists greatly improve token acceptance rate at later positions per drafting round, as each specialist only needs to focus on handling a certain level of draft model feature deviation. Experiment results on Llama-3-8B-Instruct and Llama-2-13B-chat across six datasets demonstrate that PosS effectively improves over baselines on average acceptance length and speed-up ratio. Our codebase is available at https://github.com/shrango/PosS.