RecycleGPT: Авторегрессионная языковая модель с перерабатываемым модулем
RecycleGPT: An Autoregressive Language Model with Recyclable Module
August 7, 2023
Авторы: Yufan Jiang, Qiaozhi He, Xiaomin Zhuang, Zhihua Wu, Kunpeng Wang, Wenlai Zhao, Guangwen Yang
cs.AI
Аннотация
Существующие крупные языковые модели требуют выполнения K раз для генерации последовательности из K токенов. В данной статье мы представляем RecycleGPT, генеративную языковую модель с высокой скоростью декодирования, которая повторно использует предварительно сгенерированные состояния модели без необходимости полного выполнения модели на каждом шаге. Наш подход основывается на наблюдении, что соседние токены в последовательности обычно имеют сильные корреляции, и следующий токен в последовательности может быть достаточно точно предсказан или выведен на основе предыдущих. Благодаря теоретическим оценкам и практическим тестам на задачах генерации текста, мы демонстрируем эффективность нашего подхода в снижении задержки вывода, достигая ускорения до 1.4 раза при сохранении высокой производительности.
English
Existing large language models have to run K times to generate a sequence of
K tokens. In this paper, we present RecycleGPT, a generative language model
with fast decoding speed by recycling pre-generated model states without
running the whole model in multiple steps. Our approach relies on the
observation that adjacent tokens in a sequence usually have strong correlations
and the next token in a sequence can be reasonably guessed or inferred based on
the preceding ones. Through theoretical evaluations and practical tests on
downstream text generation tasks, we demonstrate the effectiveness of our
approach in lowering inference latency, achieving up to 1.4x speedup while
preserving high performance.