RecycleGPT: Um Modelo de Linguagem Autoregressivo com Módulo Reciclável
RecycleGPT: An Autoregressive Language Model with Recyclable Module
August 7, 2023
Autores: Yufan Jiang, Qiaozhi He, Xiaomin Zhuang, Zhihua Wu, Kunpeng Wang, Wenlai Zhao, Guangwen Yang
cs.AI
Resumo
Os grandes modelos de linguagem existentes precisam ser executados K vezes para gerar uma sequência de K tokens. Neste artigo, apresentamos o RecycleGPT, um modelo de linguagem generativo com velocidade de decodificação rápida, reciclando estados do modelo pré-gerados sem a necessidade de executar o modelo completo em múltiplas etapas. Nossa abordagem se baseia na observação de que tokens adjacentes em uma sequência geralmente possuem fortes correlações, e o próximo token em uma sequência pode ser razoavelmente adivinhado ou inferido com base nos anteriores. Por meio de avaliações teóricas e testes práticos em tarefas de geração de texto, demonstramos a eficácia de nossa abordagem na redução da latência de inferência, alcançando uma aceleração de até 1,4x enquanto mantém um alto desempenho.
English
Existing large language models have to run K times to generate a sequence of
K tokens. In this paper, we present RecycleGPT, a generative language model
with fast decoding speed by recycling pre-generated model states without
running the whole model in multiple steps. Our approach relies on the
observation that adjacent tokens in a sequence usually have strong correlations
and the next token in a sequence can be reasonably guessed or inferred based on
the preceding ones. Through theoretical evaluations and practical tests on
downstream text generation tasks, we demonstrate the effectiveness of our
approach in lowering inference latency, achieving up to 1.4x speedup while
preserving high performance.