LiveMind: Modelos de Linguagem de Grande Escala com Baixa Latência e Inferência Simultânea

LiveMind: Low-latency Large Language Models with Simultaneous Inference

June 20, 2024

Autores: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Ulf Schlichtmann, Bing Li

cs.AI

Resumo

Neste artigo, apresentamos uma nova estrutura de inferência de baixa latência para modelos de linguagem de grande escala (LLMs, na sigla em inglês), que permite que os LLMs realizem inferências com prompts incompletos. Ao realocar processos computacionais para a fase de entrada do prompt, alcançamos uma redução substancial na latência, melhorando significativamente a experiência interativa dos usuários de LLMs. A estrutura gerencia habilmente a visibilidade do prompt em fluxo para o modelo, permitindo que ele infira a partir de prompts incompletos ou aguarde prompts adicionais. Em comparação com métodos tradicionais de inferência que utilizam prompts completos, nossa abordagem demonstra uma redução média de 59% na latência de resposta no conjunto de dados MMLU-Pro, mantendo uma precisão comparável. Além disso, nossa estrutura facilita a inferência e a saída colaborativa entre diferentes modelos. Ao empregar um LLM para inferência e um modelo de linguagem pequeno (SLM, na sigla em inglês) para saída, alcançamos uma redução média de 68% na latência de resposta, juntamente com uma melhoria de 5,5% na precisão no conjunto de dados MMLU-Pro em comparação com a linha de base do SLM. Para prompts longos que excedem 20 frases, a latência de resposta pode ser reduzida em até 93%.

English

In this paper, we introduce a novel low-latency inference framework for large language models (LLMs) inference which enables LLMs to perform inferences with incomplete prompts. By reallocating computational processes to prompt input phase, we achieve a substantial reduction in latency, thereby significantly enhancing the interactive experience for users of LLMs. The framework adeptly manages the visibility of the streaming prompt to the model, allowing it to infer from incomplete prompts or await additional prompts. Compared with traditional inference methods that utilize complete prompts, our approach demonstrates an average reduction of 59% in response latency on the MMLU-Pro dataset, while maintaining comparable accuracy. Additionally, our framework facilitates collaborative inference and output across different models. By employing an LLM for inference and a small language model (SLM) for output, we achieve an average 68% reduction in response latency, alongside a 5.5% improvement in accuracy on the MMLU-Pro dataset compared with the SLM baseline. For long prompts exceeding 20 sentences, the response latency can be reduced by up to 93%.