RecycleGPT: Un Modello Linguistico Autoregressivo con Modulo Riciclabile
RecycleGPT: An Autoregressive Language Model with Recyclable Module
August 7, 2023
Autori: Yufan Jiang, Qiaozhi He, Xiaomin Zhuang, Zhihua Wu, Kunpeng Wang, Wenlai Zhao, Guangwen Yang
cs.AI
Abstract
I modelli linguistici di grandi dimensioni esistenti devono essere eseguiti K volte per generare una sequenza di K token. In questo articolo, presentiamo RecycleGPT, un modello linguistico generativo con una velocità di decodifica rapida, ottenuta riciclando gli stati del modello pre-generati senza eseguire l'intero modello in più passaggi. Il nostro approccio si basa sull'osservazione che i token adiacenti in una sequenza hanno solitamente forti correlazioni e che il token successivo in una sequenza può essere ragionevolmente indovinato o dedotto in base a quelli precedenti. Attraverso valutazioni teoriche e test pratici su compiti di generazione del testo downstream, dimostriamo l'efficacia del nostro approccio nel ridurre la latenza di inferenza, ottenendo un accelerazione fino a 1,4x mantenendo un'elevata prestazione.
English
Existing large language models have to run K times to generate a sequence of
K tokens. In this paper, we present RecycleGPT, a generative language model
with fast decoding speed by recycling pre-generated model states without
running the whole model in multiple steps. Our approach relies on the
observation that adjacent tokens in a sequence usually have strong correlations
and the next token in a sequence can be reasonably guessed or inferred based on
the preceding ones. Through theoretical evaluations and practical tests on
downstream text generation tasks, we demonstrate the effectiveness of our
approach in lowering inference latency, achieving up to 1.4x speedup while
preserving high performance.