RecycleGPT: リサイクル可能なモジュールを備えた自己回帰型言語モデル
RecycleGPT: An Autoregressive Language Model with Recyclable Module
August 7, 2023
著者: Yufan Jiang, Qiaozhi He, Xiaomin Zhuang, Zhihua Wu, Kunpeng Wang, Wenlai Zhao, Guangwen Yang
cs.AI
要旨
既存の大規模言語モデルは、K個のトークンからなるシーケンスを生成するためにK回実行する必要がある。本論文では、RecycleGPTを提案する。これは、モデル全体を複数ステップで実行することなく、事前に生成されたモデル状態を再利用することで高速なデコード速度を実現する生成型言語モデルである。我々のアプローチは、シーケンス内の隣接するトークンは通常強い相関関係を持ち、シーケンス内の次のトークンは先行するトークンに基づいて合理的に推測または推論できるという観察に基づいている。理論的評価と下流のテキスト生成タスクにおける実践的なテストを通じて、我々のアプローチが推論遅延を低減し、高性能を維持しながら最大1.4倍の高速化を達成する有効性を実証する。
English
Existing large language models have to run K times to generate a sequence of
K tokens. In this paper, we present RecycleGPT, a generative language model
with fast decoding speed by recycling pre-generated model states without
running the whole model in multiple steps. Our approach relies on the
observation that adjacent tokens in a sequence usually have strong correlations
and the next token in a sequence can be reasonably guessed or inferred based on
the preceding ones. Through theoretical evaluations and practical tests on
downstream text generation tasks, we demonstrate the effectiveness of our
approach in lowering inference latency, achieving up to 1.4x speedup while
preserving high performance.