Сверточный слой KV-кэша для эффективного вывода больших языковых моделей

Layer-Condensed KV Cache for Efficient Inference of Large Language Models

May 17, 2024

Авторы: Haoyi Wu, Kewei Tu

cs.AI

Аннотация

Огромное потребление памяти долгое время является основным узким местом для развертывания высокопроизводительных крупных языковых моделей в реальных приложениях. Помимо большого количества параметров, кэш ключ-значение (KV) для механизма внимания в архитектуре трансформера потребляет значительное количество памяти, особенно когда количество слоев велико для глубоких языковых моделей. В данной статье мы предлагаем новый метод, который вычисляет и кэширует только ключи и значения небольшого количества слоев, что значительно экономит память и повышает производительность вывода. Наши эксперименты на крупных языковых моделях показывают, что наш метод достигает до 26 раз более высокой производительности, чем стандартные трансформеры, и конкурентоспособное качество в языковом моделировании и задачах на уровне. Кроме того, наш метод ортогонален существующим техникам экономии памяти трансформера, поэтому его легко интегрировать с нашей моделью, достигая дальнейшего улучшения эффективности вывода. Наш код доступен по адресу https://github.com/whyNLP/LCKV.

English

Huge memory consumption has been a major bottleneck for deploying high-throughput large language models in real-world applications. In addition to the large number of parameters, the key-value (KV) cache for the attention mechanism in the transformer architecture consumes a significant amount of memory, especially when the number of layers is large for deep language models. In this paper, we propose a novel method that only computes and caches the KVs of a small number of layers, thus significantly saving memory consumption and improving inference throughput. Our experiments on large language models show that our method achieves up to 26times higher throughput than standard transformers and competitive performance in language modeling and downstream tasks. In addition, our method is orthogonal to existing transformer memory-saving techniques, so it is straightforward to integrate them with our model, achieving further improvement in inference efficiency. Our code is available at https://github.com/whyNLP/LCKV.