VOCABTRIM: Vocabulairepruning voor Efficiënte Speculatieve Decodering in LLM's

Samenvatting

In dit artikel introduceren we een eenvoudige, trainingsvrije techniek om de prestaties van drafter-gebaseerde speculatieve decodering (SpD) methoden te verbeteren, waarbij de language modeling head (LM head) wordt geïntegreerd tijdens het draftingproces. Drafter-gebaseerde speculatieve decodering maakt gebruik van een of meer kleinere taalmodellen, ook wel drafters of draftmodellen genoemd, om een draftsequentie of -boom met meerdere tokens te genereren, gevolgd door verificatie door een basis-LLM, het doelmodel, dat een subset accepteert als geldige generatie. Aangezien speculatieve decodering doorgaans een één-op-één-mapping vereist tussen de vocabulaire van het doelmodel en het draftmodel, is het van nature gebruikelijk om de vocabulaire tussen hen te delen, of zelfs de LM head te delen, zoals in EAGLE of Medusa. We identificeren eerst dat dit draft-token-samplingschema inherent een onnodige inferentie-overhead bevat tijdens het draftingproces, vooral voor sommige doel-LLM's met zeer grote vocabulaire. Vervolgens stellen we een eenvoudige techniek voor, VocabTrim, om de drafting-overhead te verminderen en de generatiesnelheid te verbeteren in een geheugengebonden omgeving. VocabTrim reconstrueert de drafter LM head om slechts een beperkte set tokens te bevatten, geselecteerd op basis van de meest frequent gesampelde tokens uit de vocabulaire van het doelmodel. Hoewel het beperken van de vocabulaire tijdens het draftingproces de acceptatiegraad enigszins vermindert, verlaagt het de drafting-latentie aanzienlijk in een geheugengebonden proces, wat vaak het geval is op edge devices, wat resulteert in een hogere geheugengebonden snelheidsverbetering (MBSU). We tonen aan dat onze methode de geheugengebonden snelheidsverbetering voor Llama-3-modellen op Spec-Bench kan verhogen, specifiek met 16% voor Llama-3.2-3B-Instruct.

English

In this paper, we introduce a simple training-free technique to improve the performance of drafter-based speculative decoding (SpD) methods that incorporates language modeling head (LM head) during drafting process. A drafter-based speculative decoding leverages one or more smaller language models, a.k.a. drafters or draft models, to sample a draft sequence or tree consisting of multiple tokens, followed by verification by a base LLM, a target model, accepting a subset as its valid generation. As it is usually considered that the speculative decoding requires one-to-one mapping between vocabularies of the target model and the draft model, it has been natural to share the vocabulary between them, or even share the LM head as in EAGLE or Medusa. We first identify that this draft token sampling scheme inherently contains an unnecessary inference overhead in drafting, especially for some target LLMs with very large vocabularies. Then, we propose a simple technique, VocabTrim, to mitigate the drafting overhead to improve the generation speed in memory-bound environment. VocabTrim reconstructs the drafter LM head to contain only a limited set of tokens, selected by the most frequently sampled from the vocabulary of the target model. While limiting the vocabulary in drafting slightly degrades the acceptance rate, it significantly reduces the drafting latency in memory-bound process which is often the case on edge devices, resulting in higher memory-bound speed up (MBSU). We show that our method can boost the memory-bound speed-up for Llama-3 models on Spec-Bench, specifically by 16% for Llama-3.2-3B-Instruct.

VOCABTRIM: Vocabulairepruning voor Efficiënte Speculatieve Decodering in LLM's

VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs

Samenvatting

Support