LiveMind: Модели больших языков с низкой задержкой с одновременным выводом

LiveMind: Low-latency Large Language Models with Simultaneous Inference

June 20, 2024

Авторы: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Ulf Schlichtmann, Bing Li

cs.AI

Аннотация

В данной статье мы представляем новую схему вывода с низкой задержкой для больших языковых моделей (LLM), которая позволяет LLM выполнять выводы с неполными подсказками. Перераспределяя вычислительные процессы на этапе ввода подсказки, мы добиваемся существенного снижения задержки, тем самым значительно улучшая интерактивный опыт пользователей LLM. Схема умело управляет видимостью потоковой подсказки для модели, позволяя ей делать выводы на основе неполных подсказок или ожидать дополнительных. По сравнению с традиционными методами вывода, использующими полные подсказки, наш подход демонстрирует среднее сокращение задержки ответа на 59% на наборе данных MMLU-Pro, сохраняя при этом сопоставимую точность. Кроме того, наша схема облегчает совместный вывод и вывод по разным моделям. Используя LLM для вывода и небольшую языковую модель (SLM) для вывода, мы добиваемся среднего сокращения задержки ответа на 68%, а также улучшения точности на 5.5% на наборе данных MMLU-Pro по сравнению с базовым значением SLM. Для длинных подсказок, превышающих 20 предложений, задержка ответа может быть сокращена до 93%.

English

In this paper, we introduce a novel low-latency inference framework for large language models (LLMs) inference which enables LLMs to perform inferences with incomplete prompts. By reallocating computational processes to prompt input phase, we achieve a substantial reduction in latency, thereby significantly enhancing the interactive experience for users of LLMs. The framework adeptly manages the visibility of the streaming prompt to the model, allowing it to infer from incomplete prompts or await additional prompts. Compared with traditional inference methods that utilize complete prompts, our approach demonstrates an average reduction of 59% in response latency on the MMLU-Pro dataset, while maintaining comparable accuracy. Additionally, our framework facilitates collaborative inference and output across different models. By employing an LLM for inference and a small language model (SLM) for output, we achieve an average 68% reduction in response latency, alongside a 5.5% improvement in accuracy on the MMLU-Pro dataset compared with the SLM baseline. For long prompts exceeding 20 sentences, the response latency can be reduced by up to 93%.