RecycleGPT: Een Autoregressief Taalmodel met Recycleerbare Module
RecycleGPT: An Autoregressive Language Model with Recyclable Module
August 7, 2023
Auteurs: Yufan Jiang, Qiaozhi He, Xiaomin Zhuang, Zhihua Wu, Kunpeng Wang, Wenlai Zhao, Guangwen Yang
cs.AI
Samenvatting
Bestaande grote taalmodellen moeten K keer worden uitgevoerd om een reeks van K tokens te genereren. In dit artikel presenteren we RecycleGPT, een generatief taalmodel met een snelle decodeersnelheid door het hergebruiken van vooraf gegenereerde modelstatussen zonder het hele model in meerdere stappen te hoeven uitvoeren. Onze aanpak is gebaseerd op de observatie dat aangrenzende tokens in een reeks meestal sterke correlaties hebben en dat het volgende token in een reeks redelijk kan worden geraden of afgeleid op basis van de voorgaande. Door theoretische evaluaties en praktische tests op downstream tekstgeneratietaken, tonen we de effectiviteit van onze aanpak aan in het verminderen van inferentielatentie, met een versnelling tot 1,4x terwijl de hoge prestaties behouden blijven.
English
Existing large language models have to run K times to generate a sequence of
K tokens. In this paper, we present RecycleGPT, a generative language model
with fast decoding speed by recycling pre-generated model states without
running the whole model in multiple steps. Our approach relies on the
observation that adjacent tokens in a sequence usually have strong correlations
and the next token in a sequence can be reasonably guessed or inferred based on
the preceding ones. Through theoretical evaluations and practical tests on
downstream text generation tasks, we demonstrate the effectiveness of our
approach in lowering inference latency, achieving up to 1.4x speedup while
preserving high performance.