LiveMind: Modelli Linguistici di Grande Dimensione a Bassa Latenza con Inferenza Simultanea

LiveMind: Low-latency Large Language Models with Simultaneous Inference

June 20, 2024

Autori: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Ulf Schlichtmann, Bing Li

cs.AI

Abstract

In questo articolo, presentiamo un nuovo framework per l'inferenza a bassa latenza nei grandi modelli linguistici (LLM) che consente agli LLM di eseguire inferenze con prompt incompleti. Riallocando i processi computazionali alla fase di input del prompt, otteniamo una riduzione significativa della latenza, migliorando così notevolmente l'esperienza interattiva per gli utenti degli LLM. Il framework gestisce abilmente la visibilità del prompt in streaming al modello, permettendogli di inferire da prompt incompleti o di attendere ulteriori prompt. Rispetto ai metodi tradizionali di inferenza che utilizzano prompt completi, il nostro approccio dimostra una riduzione media del 59% nella latenza di risposta sul dataset MMLU-Pro, mantenendo un'accuratezza comparabile. Inoltre, il nostro framework facilita l'inferenza e l'output collaborativi tra diversi modelli. Utilizzando un LLM per l'inferenza e un piccolo modello linguistico (SLM) per l'output, otteniamo una riduzione media del 68% nella latenza di risposta, insieme a un miglioramento del 5,5% nell'accuratezza sul dataset MMLU-Pro rispetto al baseline SLM. Per prompt lunghi che superano le 20 frasi, la latenza di risposta può essere ridotta fino al 93%.

English

In this paper, we introduce a novel low-latency inference framework for large language models (LLMs) inference which enables LLMs to perform inferences with incomplete prompts. By reallocating computational processes to prompt input phase, we achieve a substantial reduction in latency, thereby significantly enhancing the interactive experience for users of LLMs. The framework adeptly manages the visibility of the streaming prompt to the model, allowing it to infer from incomplete prompts or await additional prompts. Compared with traditional inference methods that utilize complete prompts, our approach demonstrates an average reduction of 59% in response latency on the MMLU-Pro dataset, while maintaining comparable accuracy. Additionally, our framework facilitates collaborative inference and output across different models. By employing an LLM for inference and a small language model (SLM) for output, we achieve an average 68% reduction in response latency, alongside a 5.5% improvement in accuracy on the MMLU-Pro dataset compared with the SLM baseline. For long prompts exceeding 20 sentences, the response latency can be reduced by up to 93%.