Klee: Regression mit leichtgewichtigem spekulativem Decodieren unter Verwendung von sequenziellem Wissen

Clover: Regressive Lightweight Speculative Decoding with Sequential Knowledge

May 1, 2024

Autoren: Bin Xiao, Chunan Shi, Xiaonan Nie, Fan Yang, Xiangwei Deng, Lei Su, Weipeng Chen, Bin Cui

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) leiden unter geringer Effizienz aufgrund der Diskrepanz zwischen den Anforderungen des autoregressiven Decodings und dem Design der meisten zeitgenössischen GPUs. Speziell müssen Milliarden bis Billionen von Parametern über die begrenzte Speicherbandbreite der GPU in den GPU-Cache geladen werden, um berechnet zu werden, jedoch wird nur eine kleine Charge von Tokens tatsächlich berechnet. Folglich verbringt die GPU die meiste Zeit mit dem Speichertransfer anstelle von Berechnungen. In letzter Zeit wird das parallele Decoding, eine Art spekulativer Decoding-Algorithmen, immer beliebter und hat eine beeindruckende Effizienzsteigerung bei der Generierung gezeigt. Es führt zusätzliche Decoding-Köpfe in große Modelle ein, die es ihnen ermöglichen, mehrere nachfolgende Tokens gleichzeitig vorherzusagen und diese Kandidatenfortsetzungen in einem einzigen Decoding-Schritt zu überprüfen. Allerdings weicht dieser Ansatz vom Trainingsziel der nächsten Token-Vorhersage ab, das während des Pre-Trainings verwendet wird, was zu einer niedrigen Trefferquote für Kandidatentokens führt. In diesem Paper schlagen wir einen neuen spekulativen Decoding-Algorithmus namens Clover vor, der sequenzielles Wissen in den parallelen Decoding-Prozess integriert. Diese Verbesserung erhöht die Trefferquote der Spekulanten und steigert somit die Gesamteffizienz. Clover überträgt das sequenzielle Wissen von vorher spekulierten Tokens über die Regressive Verbindung und verwendet dann einen Aufmerksamkeitsdecoder, um diese spekulierten Tokens zu integrieren. Darüber hinaus integriert Clover einen Augmenting Block, der die verborgenen Zustände modifiziert, um besser mit dem Zweck der spekulativen Generierung anstatt der nächsten Token-Vorhersage übereinzustimmen. Die Experimentergebnisse zeigen, dass Clover die Baseline um bis zu 91% bei Baichuan-Small und 146% bei Baichuan-Large übertrifft und die Leistung der zuvor besten Methode, Medusa, um bis zu 37% bei Baichuan-Small und 57% bei Baichuan-Large übertrifft.

English

Large language models (LLMs) suffer from low efficiency as the mismatch between the requirement of auto-regressive decoding and the design of most contemporary GPUs. Specifically, billions to trillions of parameters must be loaded to the GPU cache through its limited memory bandwidth for computation, but only a small batch of tokens is actually computed. Consequently, the GPU spends most of its time on memory transfer instead of computation. Recently, parallel decoding, a type of speculative decoding algorithms, is becoming more popular and has demonstrated impressive efficiency improvement in generation. It introduces extra decoding heads to large models, enabling them to predict multiple subsequent tokens simultaneously and verify these candidate continuations in a single decoding step. However, this approach deviates from the training objective of next token prediction used during pre-training, resulting in a low hit rate for candidate tokens. In this paper, we propose a new speculative decoding algorithm, Clover, which integrates sequential knowledge into the parallel decoding process. This enhancement improves the hit rate of speculators and thus boosts the overall efficiency. Clover transmits the sequential knowledge from pre-speculated tokens via the Regressive Connection, then employs an Attention Decoder to integrate these speculated tokens. Additionally, Clover incorporates an Augmenting Block that modifies the hidden states to better align with the purpose of speculative generation rather than next token prediction. The experiment results demonstrate that Clover outperforms the baseline by up to 91% on Baichuan-Small and 146% on Baichuan-Large, respectively, and exceeds the performance of the previously top-performing method, Medusa, by up to 37% on Baichuan-Small and 57% on Baichuan-Large, respectively.