POSS: Positiespecialist Genereert Beter Concept voor Speculatief Decoderen

POSS: Position Specialist Generates Better Draft for Speculative Decoding

June 4, 2025

Auteurs: Langlin Huang, Chengsong Huang, Jixuan Leng, Di Huang, Jiaxin Huang

cs.AI

Samenvatting

Speculatieve decodering versnelt de inferentie van Large Language Models (LLM's) door een klein conceptmodel te gebruiken om meerdere tokens te voorspellen, en een groot doelmodel om deze tokens parallel te verifiëren. Recente studies benutten de verborgen toestand van het doelmodel om de nauwkeurigheid van de voorspellingen van het conceptmodel te verbeteren. Bestaande methoden hebben echter te kampen met een afnemende kwaliteit van de voorspelde tokens op latere posities, als gevolg van foutaccumulatie in de gegenereerde kenmerken van het conceptmodel. In dit artikel stellen we Position Specialists (PosS) voor, die bestaan uit meerdere positiegespecialiseerde conceptlagen om tokens op toegewezen posities te genereren. Position specialists verbeteren aanzienlijk de acceptatiegraad van tokens op latere posities per conceptronde, aangezien elke specialist zich alleen hoeft te richten op het omgaan met een bepaald niveau van afwijking in de kenmerken van het conceptmodel. Experimentele resultaten op Llama-3-8B-Instruct en Llama-2-13B-chat over zes datasets tonen aan dat PosS effectief verbetert ten opzichte van de basislijnen wat betreft de gemiddelde acceptatielengte en snelheidsverhouding. Onze codebase is beschikbaar op https://github.com/shrango/PosS.

English

Speculative decoding accelerates Large Language Model (LLM) inference by using a small draft model to predict multiple tokens, and a large target model to verify these tokens in parallel. Recent studies leverage the hidden state of the target model to enhance draft model prediction accuracy. However, existing methods suffer from the degrading quality of draft token predictions at later positions, due to error accumulation in draft model generated features. In this paper, we propose Position Specialists (PosS), which consist of multiple position-specialized draft layers to generate tokens at assigned position(s). Position specialists greatly improve token acceptance rate at later positions per drafting round, as each specialist only needs to focus on handling a certain level of draft model feature deviation. Experiment results on Llama-3-8B-Instruct and Llama-2-13B-chat across six datasets demonstrate that PosS effectively improves over baselines on average acceptance length and speed-up ratio. Our codebase is available at https://github.com/shrango/PosS.