RecycleGPT : Un modèle de langage autorégressif avec module recyclable
RecycleGPT: An Autoregressive Language Model with Recyclable Module
August 7, 2023
papers.authors: Yufan Jiang, Qiaozhi He, Xiaomin Zhuang, Zhihua Wu, Kunpeng Wang, Wenlai Zhao, Guangwen Yang
cs.AI
papers.abstract
Les grands modèles de langage existants doivent s'exécuter K fois pour générer une séquence de K tokens. Dans cet article, nous présentons RecycleGPT, un modèle de langage génératif avec une vitesse de décodage rapide en recyclant les états du modèle pré-générés sans exécuter l'intégralité du modèle en plusieurs étapes. Notre approche repose sur l'observation que les tokens adjacents dans une séquence ont généralement des corrélations fortes et que le token suivant dans une séquence peut être raisonnablement deviné ou inféré à partir des précédents. Grâce à des évaluations théoriques et des tests pratiques sur des tâches de génération de texte en aval, nous démontrons l'efficacité de notre approche pour réduire la latence d'inférence, atteignant une accélération allant jusqu'à 1,4x tout en maintenant des performances élevées.
English
Existing large language models have to run K times to generate a sequence of
K tokens. In this paper, we present RecycleGPT, a generative language model
with fast decoding speed by recycling pre-generated model states without
running the whole model in multiple steps. Our approach relies on the
observation that adjacent tokens in a sequence usually have strong correlations
and the next token in a sequence can be reasonably guessed or inferred based on
the preceding ones. Through theoretical evaluations and practical tests on
downstream text generation tasks, we demonstrate the effectiveness of our
approach in lowering inference latency, achieving up to 1.4x speedup while
preserving high performance.