LiveMind: Modelos de Lenguaje de Gran Escala con Baja Latencia e Inferencia Simultánea

LiveMind: Low-latency Large Language Models with Simultaneous Inference

June 20, 2024

Autores: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Ulf Schlichtmann, Bing Li

cs.AI

Resumen

En este artículo, presentamos un novedoso marco de inferencia de baja latencia para modelos de lenguaje grandes (LLMs, por sus siglas en inglés) que permite realizar inferencias con indicaciones incompletas. Al reasignar los procesos computacionales a la fase de entrada de la indicación, logramos una reducción sustancial en la latencia, mejorando significativamente la experiencia interactiva de los usuarios de LLMs. El marco gestiona de manera eficiente la visibilidad de la indicación en flujo para el modelo, permitiéndole inferir a partir de indicaciones incompletas o esperar indicaciones adicionales. En comparación con los métodos tradicionales de inferencia que utilizan indicaciones completas, nuestro enfoque demuestra una reducción promedio del 59% en la latencia de respuesta en el conjunto de datos MMLU-Pro, manteniendo una precisión comparable. Además, nuestro marco facilita la inferencia colaborativa y la generación de salida entre diferentes modelos. Al emplear un LLM para la inferencia y un modelo de lenguaje pequeño (SLM, por sus siglas en inglés) para la salida, logramos una reducción promedio del 68% en la latencia de respuesta, junto con una mejora del 5.5% en la precisión en el conjunto de datos MMLU-Pro en comparación con la línea base del SLM. Para indicaciones largas que superan las 20 oraciones, la latencia de respuesta puede reducirse hasta en un 93%.

English

In this paper, we introduce a novel low-latency inference framework for large language models (LLMs) inference which enables LLMs to perform inferences with incomplete prompts. By reallocating computational processes to prompt input phase, we achieve a substantial reduction in latency, thereby significantly enhancing the interactive experience for users of LLMs. The framework adeptly manages the visibility of the streaming prompt to the model, allowing it to infer from incomplete prompts or await additional prompts. Compared with traditional inference methods that utilize complete prompts, our approach demonstrates an average reduction of 59% in response latency on the MMLU-Pro dataset, while maintaining comparable accuracy. Additionally, our framework facilitates collaborative inference and output across different models. By employing an LLM for inference and a small language model (SLM) for output, we achieve an average 68% reduction in response latency, alongside a 5.5% improvement in accuracy on the MMLU-Pro dataset compared with the SLM baseline. For long prompts exceeding 20 sentences, the response latency can be reduced by up to 93%.