Transmisión Especulativa: Inferencia Rápida en LLM sin Modelos Auxiliares

Speculative Streaming: Fast LLM Inference without Auxiliary Models

February 16, 2024

Autores: Nikhil Bhendawade, Irina Belousova, Qichen Fu, Henry Mason, Mohammad Rastegari, Mahyar Najibi

cs.AI

Resumen

La decodificación especulativa es una técnica destacada para acelerar la inferencia de un modelo de lenguaje objetivo grande basándose en las predicciones de un modelo auxiliar de borrador. Aunque es efectiva, en entornos específicos de aplicación, a menudo implica ajustar tanto el modelo de borrador como el modelo objetivo para lograr altas tasas de aceptación. A medida que crece el número de tareas posteriores, estos modelos de borrador añaden una complejidad significativa a los sistemas de inferencia. Proponemos *Speculative Streaming*, un método de decodificación especulativa de un solo modelo que fusiona la creación de borradores en el modelo objetivo al cambiar el objetivo de ajuste fino de la predicción del siguiente token a la predicción de n-gramas futuros. *Speculative Streaming* acelera la decodificación entre 1.8 y 3.1 veces en un conjunto diverso de tareas, como Resumen, Consultas Estructuradas y Representación de Significado, sin sacrificar la calidad de la generación. Además, *Speculative Streaming* es eficiente en parámetros. Logra aceleraciones iguales o superiores a las arquitecturas estilo Medusa mientras utiliza aproximadamente 10,000 veces menos parámetros adicionales, lo que lo hace ideal para dispositivos con recursos limitados.

English

Speculative decoding is a prominent technique to speed up the inference of a large target language model based on predictions of an auxiliary draft model. While effective, in application-specific settings, it often involves fine-tuning both draft and target models to achieve high acceptance rates. As the number of downstream tasks grows, these draft models add significant complexity to inference systems. We propose Speculative Streaming, a single-model speculative decoding method that fuses drafting into the target model by changing the fine-tuning objective from next token prediction to future n-gram prediction. Speculative Streaming speeds up decoding by 1.8 - 3.1X in a diverse set of tasks, such as Summarization, Structured Queries, and Meaning Representation, without sacrificing generation quality. Additionally, Speculative Streaming is parameter-efficient. It achieves on-par/higher speed-ups than Medusa-style architectures while using ~10000X fewer extra parameters, making it well-suited for resource-constrained devices.