RecycleGPT: Ein autoregressives Sprachmodell mit recycelbarem Modul
RecycleGPT: An Autoregressive Language Model with Recyclable Module
August 7, 2023
papers.authors: Yufan Jiang, Qiaozhi He, Xiaomin Zhuang, Zhihua Wu, Kunpeng Wang, Wenlai Zhao, Guangwen Yang
cs.AI
papers.abstract
Bestehende große Sprachmodelle müssen K Mal ausgeführt werden, um eine Sequenz von K Tokens zu generieren. In diesem Artikel präsentieren wir RecycleGPT, ein generatives Sprachmodell mit schneller Dekodierungsgeschwindigkeit, das vorgefertigte Modellzustände recycelt, ohne das gesamte Modell in mehreren Schritten ausführen zu müssen. Unser Ansatz basiert auf der Beobachtung, dass benachbarte Tokens in einer Sequenz in der Regel starke Korrelationen aufweisen und der nächste Token in einer Sequenz auf der Grundlage der vorhergehenden Tokens vernünftig erraten oder abgeleitet werden kann. Durch theoretische Bewertungen und praktische Tests bei nachgelagerten Textgenerierungsaufgaben demonstrieren wir die Wirksamkeit unseres Ansatzes bei der Reduzierung der Inferenzlatenz, wobei wir eine Beschleunigung von bis zu 1,4x bei gleichbleibend hoher Leistung erreichen.
English
Existing large language models have to run K times to generate a sequence of
K tokens. In this paper, we present RecycleGPT, a generative language model
with fast decoding speed by recycling pre-generated model states without
running the whole model in multiple steps. Our approach relies on the
observation that adjacent tokens in a sequence usually have strong correlations
and the next token in a sequence can be reasonably guessed or inferred based on
the preceding ones. Through theoretical evaluations and practical tests on
downstream text generation tasks, we demonstrate the effectiveness of our
approach in lowering inference latency, achieving up to 1.4x speedup while
preserving high performance.