LiveMind : Modèles de langage à grande échelle à faible latence avec inférence simultanée

LiveMind: Low-latency Large Language Models with Simultaneous Inference

June 20, 2024

Auteurs: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Ulf Schlichtmann, Bing Li

cs.AI

Résumé

Dans cet article, nous présentons un nouveau cadre d'inférence à faible latence pour les grands modèles de langage (LLMs), permettant à ces derniers d'effectuer des inférences avec des prompts incomplets. En réallouant les processus de calcul à la phase de saisie du prompt, nous obtenons une réduction significative de la latence, améliorant ainsi considérablement l'expérience interactive des utilisateurs des LLMs. Ce cadre gère habilement la visibilité du prompt en flux continu pour le modèle, lui permettant d'inférer à partir de prompts incomplets ou d'attendre des prompts supplémentaires. Par rapport aux méthodes d'inférence traditionnelles utilisant des prompts complets, notre approche démontre une réduction moyenne de 59 % de la latence de réponse sur le jeu de données MMLU-Pro, tout en maintenant une précision comparable. De plus, notre cadre facilite l'inférence collaborative et la production de résultats entre différents modèles. En utilisant un LLM pour l'inférence et un petit modèle de langage (SLM) pour la production, nous obtenons une réduction moyenne de 68 % de la latence de réponse, ainsi qu'une amélioration de 5,5 % de la précision sur le jeu de données MMLU-Pro par rapport au SLM de référence. Pour les prompts longs dépassant 20 phrases, la latence de réponse peut être réduite jusqu'à 93 %.

English

In this paper, we introduce a novel low-latency inference framework for large language models (LLMs) inference which enables LLMs to perform inferences with incomplete prompts. By reallocating computational processes to prompt input phase, we achieve a substantial reduction in latency, thereby significantly enhancing the interactive experience for users of LLMs. The framework adeptly manages the visibility of the streaming prompt to the model, allowing it to infer from incomplete prompts or await additional prompts. Compared with traditional inference methods that utilize complete prompts, our approach demonstrates an average reduction of 59% in response latency on the MMLU-Pro dataset, while maintaining comparable accuracy. Additionally, our framework facilitates collaborative inference and output across different models. By employing an LLM for inference and a small language model (SLM) for output, we achieve an average 68% reduction in response latency, alongside a 5.5% improvement in accuracy on the MMLU-Pro dataset compared with the SLM baseline. For long prompts exceeding 20 sentences, the response latency can be reduced by up to 93%.