VOCABTRIM: Vokabularreduzierung für effizientes spekulatives Decodieren in LLMs

Zusammenfassung

In diesem Artikel stellen wir eine einfache, trainingsfreie Technik vor, um die Leistung von drafter-basierten spekulativen Dekodierungsmethoden (SpD) zu verbessern, die den Sprachmodellierungs-Kopf (LM-Kopf) während des Drafting-Prozesses einbeziehen. Eine drafter-basierte spekulative Dekodierung nutzt ein oder mehrere kleinere Sprachmodelle, sogenannte Drafters oder Draft-Modelle, um eine Draft-Sequenz oder einen Draft-Baum aus mehreren Tokens zu erzeugen, gefolgt von einer Überprüfung durch ein Basis-LLM, das Zielmodell, das eine Teilmenge als gültige Generierung akzeptiert. Da allgemein angenommen wird, dass die spekulative Dekodierung eine Eins-zu-Eins-Zuordnung zwischen den Vokabularen des Zielmodells und des Draft-Modells erfordert, war es naheliegend, das Vokabular zwischen ihnen zu teilen oder sogar den LM-Kopf zu teilen, wie in EAGLE oder Medusa. Wir identifizieren zunächst, dass dieses Draft-Token-Sampling-Schema inhärent einen unnötigen Inferenz-Overhead beim Drafting enthält, insbesondere für einige Ziel-LLMs mit sehr großen Vokabularen. Anschließend schlagen wir eine einfache Technik, VocabTrim, vor, um den Drafting-Overhead zu verringern und die Generierungsgeschwindigkeit in speicherbeschränkten Umgebungen zu verbessern. VocabTrim rekonstruiert den LM-Kopf des Drafters, sodass er nur eine begrenzte Menge von Tokens enthält, die anhand der am häufigsten gesampelten Tokens aus dem Vokabular des Zielmodells ausgewählt werden. Während die Einschränkung des Vokabulars beim Drafting die Akzeptanzrate leicht verschlechtert, reduziert sie signifikant die Drafting-Latenz in speicherbeschränkten Prozessen, was oft auf Edge-Geräten der Fall ist, und führt zu einer höheren speicherbeschränkten Beschleunigung (MBSU). Wir zeigen, dass unsere Methode die speicherbeschränkte Beschleunigung für Llama-3-Modelle auf Spec-Bench steigern kann, insbesondere um 16 % für Llama-3.2-3B-Instruct.

English

In this paper, we introduce a simple training-free technique to improve the performance of drafter-based speculative decoding (SpD) methods that incorporates language modeling head (LM head) during drafting process. A drafter-based speculative decoding leverages one or more smaller language models, a.k.a. drafters or draft models, to sample a draft sequence or tree consisting of multiple tokens, followed by verification by a base LLM, a target model, accepting a subset as its valid generation. As it is usually considered that the speculative decoding requires one-to-one mapping between vocabularies of the target model and the draft model, it has been natural to share the vocabulary between them, or even share the LM head as in EAGLE or Medusa. We first identify that this draft token sampling scheme inherently contains an unnecessary inference overhead in drafting, especially for some target LLMs with very large vocabularies. Then, we propose a simple technique, VocabTrim, to mitigate the drafting overhead to improve the generation speed in memory-bound environment. VocabTrim reconstructs the drafter LM head to contain only a limited set of tokens, selected by the most frequently sampled from the vocabulary of the target model. While limiting the vocabulary in drafting slightly degrades the acceptance rate, it significantly reduces the drafting latency in memory-bound process which is often the case on edge devices, resulting in higher memory-bound speed up (MBSU). We show that our method can boost the memory-bound speed-up for Llama-3 models on Spec-Bench, specifically by 16% for Llama-3.2-3B-Instruct.

VOCABTRIM: Vokabularreduzierung für effizientes spekulatives Decodieren in LLMs

VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs

Zusammenfassung

Support