RecycleGPT: Un modelo de lenguaje autorregresivo con módulo reciclable

Resumen

Los modelos de lenguaje grandes existentes deben ejecutarse K veces para generar una secuencia de K tokens. En este artículo, presentamos RecycleGPT, un modelo de lenguaje generativo con una velocidad de decodificación rápida al reciclar estados del modelo pregenerados sin ejecutar el modelo completo en múltiples pasos. Nuestro enfoque se basa en la observación de que los tokens adyacentes en una secuencia suelen tener fuertes correlaciones y el siguiente token en una secuencia puede ser razonablemente adivinado o inferido basándose en los anteriores. A través de evaluaciones teóricas y pruebas prácticas en tareas de generación de texto, demostramos la efectividad de nuestro enfoque para reducir la latencia de inferencia, logrando una aceleración de hasta 1.4x mientras se mantiene un alto rendimiento.

English

Existing large language models have to run K times to generate a sequence of K tokens. In this paper, we present RecycleGPT, a generative language model with fast decoding speed by recycling pre-generated model states without running the whole model in multiple steps. Our approach relies on the observation that adjacent tokens in a sequence usually have strong correlations and the next token in a sequence can be reasonably guessed or inferred based on the preceding ones. Through theoretical evaluations and practical tests on downstream text generation tasks, we demonstrate the effectiveness of our approach in lowering inference latency, achieving up to 1.4x speedup while preserving high performance.

RecycleGPT: Un modelo de lenguaje autorregresivo con módulo reciclable

RecycleGPT: An Autoregressive Language Model with Recyclable Module

Resumen

Support